Аннотирование объектов в помещении для сервисной робототехники и воплощенного искусственного интеллекта — пример из практики.
Как компания Shaip обеспечила комплексную аннотацию внутренних помещений для ведущей компании в области робототехники — обнаружив и маркируя каждый объект в комнате с помощью пространственных меток — и создала набор данных производственного уровня для искусственного интеллекта, предназначенного для восприятия и навигации роботов в домах, офисах, складах и медицинских учреждениях.
Обзор проекта
Поскольку робототехника все активнее внедряется в реальном мире — в домах, офисах, складах и больницах — клиенту потребовался комплексный конвейер аннотирования, способный маркировать каждый видимый объект в плотно загроможденных помещениях, с достаточным набором атрибутов для задач взаимодействия с роботами.
Компания Shaip разработала комплексный конвейер аннотирования, охватывающий сегментацию ограничивающих рамок и полигонов, плотное включение объектов, разметку пространственных отношений и обработку отражающих поверхностей, — в результате чего были получены готовые к использованию наборы данных для роботизированного восприятия, навигации и взаимодействия человека с окружающей средой.
Основная статистика
Объекты / Изображение
100s
Категории
Плотный
методы
Коробка + Многоугольник
Слои атрибутов
4
Задачи
- Аннотирование каждый видимый объект на изображениях плотно загроможденных помещений — сотни кадров в кадре.
- Выбор правильного метода — Сегментация ограничивающей рамки и многоугольника — на основе сложности объекта
- В том числе мелкие предметы например, выключатели, розетки и декоративные элементы, имеющие решающее значение для взаимодействия с роботами.
- Управляемость отражающие поверхности (зеркала, стеклянные столы) без остаточных аннотаций
- Tagging пространственные отношения и состояния объектов для контекстно-ориентированного роботизированного ИИ.
Решение
Комплексное включение объектов
Каждый видимый объект на каждом изображении комнаты был индивидуально аннотирован по широкому спектру категорий — мебель (стулья, столы, диваны, кровати, полки), бытовая техника (телевизоры, холодильники, микроволновые печи, лампы), личные вещи (сумки, книги, бутылки, одежда), элементы конструкции (двери, окна, стены, полы) и мелкие предметы (пульты дистанционного управления, чашки, тарелки, клавиатуры, выключатели, вилки).
Выбор метода для каждого объекта
Объекты были точно обозначены с помощью ограничивающих рамок или сегментации многоугольниками в зависимости от формы и сложности объекта. Рамки использовались для правильных прямоугольных объектов; многоугольники охватывали органические формы и плотно расположенные предметы, где рамки чрезмерно перекрывались. Такой метод выбора границ для каждого объекта обеспечивал четкие границы даже в загроможденных сценах.
Тегирование пространственных отношений
Каждый аннотированный объект был дополнен атрибутами, охватывающими состояние объекта (открыт или закрыт для дверей и ящиков), метки пространственных отношений, указывающие на близость и расположение относительно других объектов, статус перекрытия и состояние объекта. Этот слой пространственного интеллекта позволяет роботизированным системам искусственного интеллекта понимать контекст, а не просто обнаруживать объекты.
Покрытие критически важных параметров для работы с мелкими объектами и взаимодействиями
Аннотаторы придерживались строгих правил включения, чтобы пометить каждый видимый объект независимо от его размера, включая мелкие предметы, такие как выключатели, вилки и декоративные элементы, которые имеют решающее значение для задач взаимодействия с роботом. Эти предметы часто определяют, сможет ли робот выполнить свою задачу, поэтому их нельзя было отодвигать на второй план.
Обработка отражающих поверхностей
Для отражения света на таких поверхностях, как зеркала и стеклянные столы, требовалась специальная обработка во избежание дублирования или ложных аннотаций. Были установлены конкретные правила, определяющие, следует ли помечать отражающие объекты отдельно, игнорировать или отмечать их отдельно — это гарантировало, что последующие модели не будут обучаться на основе меток, содержащих артефакты.
Объем проекта
| Тип набора данных | Покрытие | методы | Категории | Атрибуты | Специальная обработка |
|---|---|---|---|---|---|
| Аннотация объекта в интерьере | Каждый видимый объект | Коробка + многоугольник | Мебель, бытовая техника, личные вещи, строительные конструкции, мелкие предметы. | 4 слоя (состояние, пространственное положение, перекрытие, условие) | Правила для отражающих поверхностей |
Результаты
- Установил конвейер аннотирования объектов для восприятия роботами внутри помещений
- Стандартизированный выбор метода для каждого объекта между ограничивающими рамками и сегментацией полигонов
- Сдан маркировка пространственных отношений обеспечение контекстно-зависимого роботизированного ИИ
- Реализован обработка отражающих поверхностей для предотвращения появления фантомных аннотаций
- Включено для клиента дома, склады, магазины розничной торговли и медицинские учреждения внедрение ИИ в робототехнику
В целом, компания Shaip помогла преобразовать требования к аннотированию объектов внутри помещений в структурированный, готовый к производству конвейер, способный поддерживать роботизированную навигацию, автоматизацию захвата и перемещения, интеллектуальный мониторинг окружающей среды и взаимодействие человека и робота в различных условиях развертывания внутри помещений.
Компания Shaip аннотировала комнаты так, как их видят наши роботы — каждый объект, каждое взаимодействие, каждый важный мелкий предмет. Благодаря их вниманию к выключателям, розеткам и отражающим поверхностям, наша модель восприятия не срабатывала на то, что большинство наборов данных игнорируют.
