Аннотирование ограничивающих рамок 3D LiDAR для автономного вождения
Как компания Shaip обеспечила точную аннотацию ограничивающих рамок в виде 3D-кубоидов для 14 классов объектов с примерно 53 рамками на кадр на основе однокадровых данных облака точек — откалиброванных по 2D-изображениям для распознавания объектов автономными транспортными средствами в производственных масштабах.
Обзор проекта
По мере приближения к внедрению систем распознавания объектов в системах автономного вождения в производство, клиенту потребовался высокоспециализированный конвейер аннотирования 3D-данных LiDAR, способный размещать точные кубовидные ограничивающие рамки с плотностью, необходимой для реальных обучающих данных для беспилотных автомобилей, — с многоатрибутной разметкой и калибровкой 2D-изображений.
Компания Shaip разработала комплексный конвейер аннотирования, охватывающий размещение 3D-кубоидов, обеспечение заданного размера по умолчанию, многоатрибутную маркировку, обработку граничных случаев окружающей среды и проверку эталонного изображения, — в результате чего были получены готовые к использованию наборы данных для распознавания объектов в системах автономного вождения по 14 классам объектов.
Ключевой статус
Классы объектов
14
Коробки на кадр
~1600
Слои атрибутов
5
Уровни окклюзии
4
Задачи
- Размещение ~53 трехмерных кубовидных параллелепипеда на кадр с точной плотной посадкой по краям облака точек
- Управляемость 14 классов объектов в отношении транспортных средств, пешеходов, животных и движущихся объектов.
- Работы одновременно с калибровочными изображениями в 2D и облаком точек в 3D данным
- Управление Призрачные точечные облака, отражения на земле, туман, дымка и брызги воды.
- Обеспечение стандартные размеры для каждого класса для обеспечения согласованности между кадрами
Решение
Рабочий процесс размещения 3D-кубовидных объектов
Аннотаторы размещали точные трехмерные кубовидные ограничивающие рамки на данных облака точек, полученных из одного кадра, одновременно с эталонным двухмерным калибровочным изображением. Для каждого класса были заданы стандартные размеры ограничивающих рамок для обеспечения единообразия размеров на разных кадрах — автомобили 3.4–5.1 м, грузовики 3.4–14 м, пешеходы 0.4–1.2 м в ширину.
Многоатрибутная маркировка
Помимо размещения ограничивающих рамок, каждому аннотированному объекту были присвоены атрибутивные метки, охватывающие состояние транспортного средства (в движении/припарковано), состояние двухколесного транспортного средства (с/без водителя), состояние пешехода (стоит/сидит/лежит), состояние перекрытия (4 уровня: отсутствует, частичное, максимальное, полное) и состояние конечностей (выступающие объекты, открытые двери, прикрепленное оборудование).
Обработка нестандартных ситуаций в окружающей среде
Строгие правила регулировали аннотирование сильно заслоненных или удаленных объектов, облаков точек-призраков, вызванных неправильной калибровкой двух лидаров, отражений от земли и фонового шума от брызг воды, тумана и дымки. Боковые зеркала, открытые двери, стрелы кранов, багажники на крыше и багаж пешеходов были явно исключены; сирены аварийной сигнализации и контейнеры в кузове грузовика были включены.
Проверка соответствия размеров коробки
Требовалось, чтобы прямоугольники плотно прилегали к краям облака точек с минимальными видимыми зазорами. Ориентация проверялась с помощью калибровочных данных и контекста полосы движения в тех случаях, когда облака точек были неоднозначными. Ночные и дождливые сцены рассматривались как эквивалентные дневным условиям для обеспечения согласованности аннотаций.
Межмодальное тестирование качества
Все аннотации были проверены по эталонным 2D-изображениям для подтверждения правильности размеров и ориентации. Этот кросс-модальный слой контроля качества выявил смещения, которые не были бы видны только при использовании облака точек, обеспечивая точность производственного уровня для последующего обучения модели восприятия автономных транспортных средств.
Объем проекта
| Тип набора данных | Классы | Коробки/Рамки | Атрибуты | Уровни окклюзии | Проверка |
|---|---|---|---|---|---|
| 3D LiDAR AV восприятие | 14 | ~53 в среднем | 5 слоев атрибутов | 4 0 (100–XNUMX%) | Перепроверка 2D-изображения |
Результаты
- Создал конвейер плотной 3D-аннотации LiDAR с точностью до 53 ячеек на кадр при производственной точности.
- Стандартизированный Онтология объектов с 14 классами с обязательным ограничением размера по умолчанию для каждого класса.
- Сдан 5 слоев атрибутов включая 4-уровневую классификацию окклюзии
- Реализован кросс-модальный контроль качества проверка 3D-объектов по калибровочным 2D-изображениям
- Включено для клиента Системы распознавания объектов в автономном режиме, ADAS и беспилотные автомобили модельное обучение
В целом, компания Shaip помогла преобразовать сложные требования к трехмерному восприятию с помощью LiDAR в структурированный, готовый к производству конвейер аннотирования, способный поддерживать разработку систем автономного вождения, ADAS, роботакси и беспилотных грузовиков с точностью калибровочного уровня в сложных реальных условиях.
Компания Shaip справилась с крайними случаями в системах распознавания объектов, которые часто приводят к сбоям в большинстве конвейеров аннотирования — туман, облака точек-призраков, плотное затенение и около 53 ограничивающих рамок на кадр. Их перекрестная проверка 2D-3D позволила нам получить данные для обучения системы распознавания объектов, которым мы доверяли.
