Семантическая сегментация

Определение

Семантическая сегментация — это задача компьютерного зрения по классификации каждого пикселя изображения по категории, например, дорога, здание или пешеход.

Цель

Целью является обеспечение детального понимания обстановки для приложений ИИ в области беспилотного вождения, медицинской визуализации и робототехники.

Значение

• Необходим для восприятия на уровне пикселей в системах, критически важных для безопасности.
• Позволяет точно определить границы объекта по сравнению с ограничивающими рамками.
• Требуются большие аннотированные наборы данных.
• Требуются большие вычислительные мощности при высоком разрешении.

Как это работает

1. Собирайте и маркируйте аннотированные на уровне пикселей изображения.
2. Обучайте модели глубокого обучения, такие как полностью сверточные сети.
3. Входное изображение преобразуется в прогнозы на уровне пикселей.
4. Выходная маска присваивает каждому пикселю класс.
5. Оцените с помощью таких метрик, как пересечение по объединению (IoU).

Примеры (реальный мир)

• Набор данных Cityscapes: семантическая сегментация городских сцен.
• Tesla Autopilot: сегментация на уровне пикселей для дорожной навигации.
• Медицинская визуализация: сегментация опухолей при МРТ-сканировании.

Ссылки/Дополнительная литература

• Лонг и др. «Полностью сверточные сети для семантической сегментации». CVPR 2015.
• Набор данных городских пейзажей.
• Труды IEEE по медицинской визуализации.