Полная семантическая сегментация сцены
Как компания Shaip обеспечила семантическую сегментацию на уровне пикселей по всей площади уличных сцен — маркируя каждый объект и поверхность, от дорог и неба до дорожной разметки и тонких столбиков, — создав набор данных производственного уровня для автономного вождения, умных городов и экологического ИИ.
Обзор проекта
Поскольку понимание сцены становится основой автономного вождения, планирования умных городов и искусственного интеллекта для мониторинга окружающей среды, клиенту потребовался комплексный конвейер сегментации, способный маркировать каждый пиксель изображения, а не только ограничивающие рамки или основные объекты.
Компания Shaip разработала комплексный конвейер аннотирования на уровне пикселей, включающий инструменты для работы с полигонами и семантическими масками, всестороннее покрытие классов, обработку границ с высокой точностью и двухуровневый контроль качества, что позволило создать готовые к использованию наборы данных для искусственного интеллекта, предназначенного для понимания всей сцены.
Основная статистика
Точность пикселей
99%
Уровни контроля качества
2-Tier
Покрытие
Каждый пиксель
Классный набор
Всесторонний
Задачи
- Маркировка каждый пиксель На изображении — области без подписей не допускаются.
- трассировка нерегулярные границы растительного покрова, поверхности воды и трещин на дорогах
- отличительный дорожная разметка с дорожного покрытия в изношенном или выцветшем состоянии
- отделяющий небо из тумана или пасмурный фон с точностью
- Сохранение четкие границы классов на переходах от дороги к тротуару, от растительности к почве, от воды к земле.
Решение
Полный комплект для класса
Аннотации охватывали полный набор категорий сцены — дорожное покрытие, небо, растительность, почва и рельеф, водоемы, столбы и дорожные знаки, дорожная разметка (полосы движения, стрелки, пешеходные переходы), транспортные средства (легковые автомобили, грузовики, автобусы, мотоциклы, велосипеды), а также здания и искусственные сооружения. Каждому пикселю был присвоен один из определенных классов.
Инструменты для создания полигональных и семантических масок.
Аннотаторы использовали специализированные инструменты для работы с многоугольниками и кисти для семантических масок, чтобы с точностью до пикселя обрабатывать изогнутые, неправильные и плотно расположенные границы объектов. Выбор инструментов соответствовал сложности формы объекта — маски для органических форм, таких как растительность, многоугольники для структурированных объектов, таких как транспортные средства.
Рекомендации по точности обработки кромок
Для обеспечения четких границ между смежными классами, особенно в переходных зонах, таких как границы между дорогой и тротуаром, растительностью и почвой, а также водой и землей, были соблюдены строгие правила определения классов и точности границ. Именно эта точность делает надежными последующие модели обнаружения проезжей части и препятствий.
Обработка тонких структур
Мелкие элементы, такие как столбы, дорожные знаки и указатели, занимают всего несколько пикселей на широкоугольных изображениях, но имеют решающее значение для последующего анализа с помощью ИИ. Аннотаторы следовали специальным рекомендациям, чтобы запечатлеть эти мелкие детали, не жертвуя при этом точностью определения границ сцены в целом.
Двухуровневый контроль качества и 99% точность пикселей
Каждое сегментированное изображение проходило строгий двухэтапный процесс контроля качества, включающий проверку согласованности между аннотаторами, проверку точности границ и валидацию границ классов. Минимальная точность на уровне пикселей в 99% устанавливалась для каждого набора данных перед отправкой.
Объем проекта
| Тип набора данных | Покрытие | Инструменты аннотации | Классный набор | QA | Точность подачи |
|---|---|---|---|---|---|
| Полная семантическая сегментация сцены | Каждый пиксель помечен | Многоугольники + семантические маски | Комплексные уроки по сценарному мастерству | Двухуровневый контроль качества | 99% на уровне пикселей |
Результаты
- Создал конвейер понимания сцены на уровне пикселей для беспилотных автомобилей и искусственного интеллекта для умных городов
- Стандартизированный всестороннее освещение класса каждый пиксель помечен
- Сдан чистые переходы границ классов в сложных зонах
- Поддерживается Точность на уровне пикселей: 99%. через двухуровневый контроль качества
- Включено для клиента проезжая часть, городское планирование, экологический мониторинг и отслеживание строительства. AI
В целом, компания Shaip помогла преобразовать требование к пониманию сцены на уровне пикселей в структурированный, готовый к производству конвейер сегментации, способный поддерживать автономное вождение, аналитику умного города, мониторинг окружающей среды и искусственный интеллект для отслеживания хода строительства с точностью маркировки всей сцены.
Компания Shaip помогла нам превратить субъективную оценку качества звука в измеримую программу улучшения. Их система оценки дала нам четкие указания на то, что нужно исправить, где нужно улучшить и как уверенно приблизиться к запуску производства.
