Преобразование понимания железнодорожной обстановки с помощью LiDAR и 2D-аннотаций.
Узнайте, как сервисы Shaip, использующие LiDAR, камеры и аннотирование 2D-данных, помогают моделям ИИ обнаруживать объекты, понимать железнодорожную среду и улучшать восприятие в условиях автономного движения.
Обзор проекта
Современные системы распознавания железнодорожных путей требуют большего, чем просто общая маркировка объектов. Им необходим контекст, специфичный для рельсов, точная геометрия и надежная согласованность данных от разных датчиков в облаках точек LiDAR и синхронизированных изображениях с камер.
Для решения этой задачи компания Shaip была привлечена к проекту аннотирования данных LiDAR, охватывающему сцены железнодорожной инфраструктуры. В объем работ входила аннотация облаков точек LiDAR, поддерживаемых пятью синхронизированными 2D-изображениями-ориентирами для каждой сцены, с использованием таксономии из 29 классов с обязательными и необязательными элементами.
атрибуты для каждого класса.
Целью было создание структурированного, прошедшего контроль качества набора данных, способного обучать и проверять модели восприятия железнодорожной инфраструктуры для обнаружения объектов, понимания сцены, осведомленности о путях и интерпретации инфраструктуры.
Основная статистика
Настройка датчика
облако точек LiDAR
Таксономия
29 классов, специфичных для железных дорог
Цели качества
Общая точность аннотирования ≥99%.
Согласованность показаний различных датчиков
≥99% LiDAR – 2D выравнивание
Задачи
- Последовательное аннотирование мультимодальных железнодорожных сцен на основе данных LiDAR и 2D-изображений.
- Управление таксономией, специфичной для железнодорожной отрасли, состоящей из 29 классов с подробными атрибутами и объектными связями.
- Обеспечение согласованности между 3D и 2D аннотациями, полученными с помощью разных датчиков.
- Сохранение геометрической точности для линейных конструкций, таких как рельсы и кабели.
- В пилотной среде достигнуты строгие пороговые значения точности для меток классов, геометрии и атрибутов.
Решение
Компания Shaip разработала рабочий процесс аннотирования, ориентированный на железнодорожную тематику, с учетом технических требований проекта.
Стратегия данных
Разработан многомодальный конвейер аннотирования, охватывающий данные облака точек LiDAR и пять синхронизированных 2D-эталонных изображений для каждого кадра LiDAR.
Структура аннотирования
Применены различные методы аннотирования в зависимости от типа объекта и структуры сцены:
- Аннотирование 3D-кубовидных объектов для дискретных объемных объектов
- Трехмерная полилинейная аннотация для линейных рельсовых конструкций.
- Двумерная ограничивающая рамка для локализации объектов на изображениях
- Двумерный многоугольник для обозначения границ объектов неправильной формы.
- Двумерная полилиния для рельсов, кабелей и разметки.
- Трехмерный параллелепипед в двухмерном изображении, где требовались ориентация и контекст глубины.
Разработка таксономии, специфичной для железнодорожной отрасли.
Аннотировано 29 предопределенных классов, охватывающих людей, личные вещи, транспортные средства, поезда, вагоны, животных, пути, стрелки, опоры контактной сети, сигнальные столбы, сигналы, сигнальные мосты, буферные упоры, отражающие тестовые объекты и другие объекты железнодорожной обстановки.
Аннотация, насыщенная атрибутами
Учитывались как обязательные, так и необязательные атрибуты, в том числе:
- Уровни окклюзии
- Штат и тип
- Подключение через connectedTo
- Идентификаторы железнодорожных путей и рельсов
- Порядок и ориентация объектов
- Сигнальные характеристики поверхности, внешнего вида и структуры.
Целостность личности и взаимоотношений
Обеспечено наличие уникального идентификатора для каждой аннотации и уникального идентификатора объекта в формате UUID для каждого объекта, с двунаправленными связями connectedTo с учетом данных датчиков.
Правила точности и контроль качества
Внедрены правила аннотирования, в том числе:
- Оценка окклюзии в 2D и 3D режимах
- Пороговое значение для двумерной маркировки объектов высотой или шириной ≥25 пикселей.
- Допуск по 2D составляет ±3 пикселя.
- Допуск по 3D-моделированию до 10 см.
- Выравнивание вращения по оси Z для обеспечения единообразия отображения объектов.
- Трехуровневая система контроля качества с контурами коррекции для выходных сигналов ниже порогового значения.
Объем проекта
| Элемент набора данных | Параметр |
|---|---|
| Основной модальность | данные облака точек LiDAR |
| Референтная модальность | 5 синхронизированных 2D-изображений на каждый кадр LiDAR: 3 ИК-изображения и 5 RGB-изображений. |
| Всего классов | 29 классов, специфичных для железных дорог |
| Типы 3D-аннотаций | 3D-параллелепипед, 3D-полилиния |
| Типы 2D-аннотаций | Двумерный ограничивающий прямоугольник, двумерный многоугольник, двумерная ломаная линия, трехмерный параллелепипед в двумерном виде |
| Пилотный том | 2 последовательности |
| Стандарт идентификации | Идентификатор аннотации на основе UUID и идентификатор объекта. |
| Целевые показатели точности | Общая согласованность ≥99%, согласованность атрибутов ≥99%, согласованность между датчиками ≥99%. |
Пример покрытия классов
| Категория | Примеры классов | Тип аннотации |
|---|---|---|
| Люди и мобильность | человек, инвалидная коляска, скутер, велосипед, толпа | 2D BB / 4-точечный многоугольник / 3D BB |
| Железнодорожные активы | поезд, передняя часть поезда, вагоны, рельсы, стрелка, башмак | контурный многоугольник / полилиния / 3D BB |
| Сигнализация и контактная сеть | сигнал, сигнальный столб, сигнальный мост, контактная сеть | 2D BB / контурный многоугольник / 3D BB |
| Окружающая среда и прочее. | дорожное транспортное средство, животное, группа животных, отражающие тестовые объекты, дым, пламя | различаются в зависимости от класса |
Результаты
- Разработана специализированная система многомодальной аннотации данных LiDAR и изображений для железнодорожных путей.
- Разработана 29-классовая железнодорожная таксономия с детальной обработкой атрибутов.
- Установите стандарты качества ≥99% по точности аннотаций, атрибутам и согласованности между датчиками.
- Создана готовая к пилотному внедрению основа для построения высоконадежных моделей восприятия железнодорожной обстановки.
В стратегическом плане этот проект обеспечивает клиентам системы искусственного интеллекта для поездов более глубокое понимание обстановки в железнодорожных условиях, где геометрия, непрерывность объектов и контекст инфраструктуры имеют решающее значение.
Подход Шаипа к мультимодальной аннотации помог нам структурировать узкоспециализированный набор данных о железнодорожной отрасли с точностью, необходимой для разработки модели восприятия. Их внимание к глубине таксономии, геометрической точности и согласованности между датчиками создало прочную основу для нашего конвейера искусственного интеллекта для железнодорожной отрасли.
