Железнодорожная мультимодальная лидарная съемка и 2D-аннотирование
Как компания Shaip реализовала один из самых разнообразных по типам аннотаций проектов в области искусственного интеллекта для железных дорог — объединив двухмерные изображения с камер и трехмерные облака точек LiDAR для более чем 39 классов объектов и 8 различных типов меток, чтобы обеспечить работу систем автономного распознавания поездов и безопасности на железной дороге.
Обзор проекта
По мере приближения к внедрению в производство систем автономного восприятия поездов, клиенту потребовался крупномасштабный многомодальный конвейер аннотирования, способный маркировать всю железнодорожную среду как на основе 2D-изображений с камер, так и на основе 3D-данных облака точек LiDAR с неизменной пространственной точностью.
Компания Shaip разработала комплексный многомодальный конвейер аннотирования, охватывающий 8 различных типов меток, более 39 классов объектов и более 25 классификаций состояний сигналов в системах H/V и Ks, — предоставляя перекрестно проверенные, готовые к использованию в моделях наборы данных для автономного управления железными дорогами и обеспечения безопасности с помощью ИИ.
Ключевой статус
Классы объектов
39+
Типы аннотаций
8
Сигнальные состояния
25+
Условия
2D + 3D
Задачи
- Управляемость Мультимодальная аннотация 2D + 3D с перекрестной проверкой пространственной согласованности
- Аннотирование 39+ классов объектов охватывая людей, транспортные средства, инфраструктуру, животных и объекты безопасности.
- Действуя по всей 8 типов аннотаций — Ограничивающие рамки 2D/3D, параллелепипеды, ломаные линии, многоугольники
- сортировка Более 25 различных состояний сигнала в немецких системах сигнализации H/V и Ks
- Применение логика порогового значения толпы и непрерывная аннотация пути под объектами вагонов.
Решение
Многомодальный конвейер аннотирования
Компания Shaip настроила параллельный конвейер аннотирования данных с 2D-камер и 3D-LiDAR с перекрестной проверкой между модальностями. Аннотаторы работали одновременно с обоими источниками данных для обеспечения пространственной согласованности, при этом состояния окклюзии оценивались исключительно на основе данных облака точек, а не 2D-изображений.
39+ Классовая онтология
Онтология аннотаций охватывала людей (с указанием возрастной группы, средств передвижения, функциональной роли, позы тела, переносимых предметов и отвлекающих факторов), транспортные средства (велосипеды, мотоциклы, дорожные транспортные средства по подкатегориям), 18 видов животных и железнодорожную инфраструктуру, включая пути, стрелки, опоры контактной сети, сигналы, буферные упоры, сигнальные мосты, тормозные колодки и светоотражающие тестовые объекты.
Классификация состояний сигнала
Сигналы были аннотированы с подробной классификацией аспектов в системах сигнализации H/V и Ks, охватывающей более 25 различных состояний сигналов. Аннотаторы определили точные аспекты сигналов как с передней, так и с задней стороны, различая световые и геометрические сигналы в различных системах сигнализации немецких железных дорог.
Пороговое значение для толпы и групповая логика
Для аннотирования толпы требовалось наличие как минимум 6 перекрывающихся человек, прежде чем переключаться с индивидуального на групповое аннотирование. Для групп велосипедов и животных применялась та же логика порогового значения с согласованными правилами определения поз и видов внутри групп. Это обеспечивало эффективную разметку сцен с высокой плотностью без потери детализации.
Непрерывная аннотация трека
Пути были непрерывно размечены даже под поездами или вагонами, при этом зоны стрелок и буферные упоры были точно отображены. Этот слой непрерывности имеет важное значение для последующего планирования железнодорожных путей и моделей обнаружения препятствий.
Объем проекта
| Тип набора данных | Условия | Классы | Типы этикеток | Сигнальные состояния | системы |
|---|---|---|---|---|---|
| Восприятие железнодорожной среды | 2D + 3D LiDAR | 39+ | 8 (прямоугольники, параллелепипеды, ломаные линии, многоугольники) | 25+ | H/V, Ks |
Результаты
- Создал многомодальный конвейер аннотирования 2D + 3D LiDAR для автономного восприятия поезда
- Стандартизированный Онтология классов объектов 39+ охватывая людей, транспортные средства, животных и железнодорожную инфраструктуру.
- Сдан Более 25 классификаций состояний сигналов в немецких системах сигнализации H/V и Ks
- Реализован логика порогового значения толпы и непрерывная разметка путей под вагонами.
- Включено для клиента Автономное движение поездов, безопасность и обнаружение препятствий с помощью ИИ. Дорожная карта
В целом, компания Shaip помогла преобразовать требования к многомодальному восприятию железнодорожных путей в структурированный, готовый к внедрению конвейер аннотирования, способный поддерживать автономное управление поездами, системы искусственного интеллекта для обеспечения безопасности на железных дорогах и системы распознавания сигналов с перекрестной проверкой пространственной согласованности 2D-3D в масштабе.
Компания Shaip справилась со сложностью аннотирования, за которую большинство поставщиков не берутся. Более 39 классов, 8 типов меток, более 25 состояний сигналов, 2D + 3D перекрестная проверка — и они предоставили все это в виде единого скоординированного конвейера. В результате наши модели распознавания рельсов обучались быстрее.
