Масштабирование физического ИИ и человекоподобной робототехники с использованием 10 000 часов данных о движении от моделирования к реальности.
Как компания Shaip обработала 10 000 часов эгоцентрических данных захвата движений в виртуальной реальности для 4,000 участников, 100 задач и более чем 5 реальных условий — создав конвейер обработки данных для обучения физического ИИ производственного уровня для человекоподобных роботов, позволяющих перевести модели из симуляции в реальность.
Обзор проекта
По мере внедрения физического искусственного интеллекта и человекоподобной робототехники в реальный мир, клиенту потребовалась масштабируемая платформа для сбора 10 000 часов данных о движении в виртуальной реальности, основанных на выполнении задач, в различных средах с обеспечением согласованной калибровки, выполнения и контроля качества.
Компания Shaip разработала комплексный конвейер обработки данных, охватывающий настройку сцены, создание QR-кодов, отслеживание с помощью пяти датчиков, репетицию с участниками, модерируемый сбор данных и рабочие процессы проверки, для поддержки 100 задач, определенных заказчиком, и предоставления готовых к использованию в моделях наборов данных, созданных с помощью искусственного интеллекта, в масштабе.
Основная статистика
Участниками
~1600
Объем данных
10 000 действительных часов
Освещение вопросов окружающей среды
Офис, дом, завод, кафе, склад и т. д.
Лента
1 месяц
Задачи
- Масштабирование сбора данных о движении из контролируемых рабочих процессов пилотного типа в 10 000 часов работы в различных средах программу.
- Сохранение стабильная точность отслеживания в различных реальных условиях и при разных конфигурациях участников.
- Обеспечение соответствия каждой сессии строгим требованиям. Управление версиями APK, настройка общей сети, запись экрана и сопряжение датчиков.
- Управление 100 задач, заданных заказчиком. в таких категориях, как передвижение, манипулирование объектами, взаимодействие в быту, взаимодействие в офисе и многоэтапные физические рабочие процессы, каждый из которых требует правильной настройки сцены, размещения объектов, готовности участников и проверки модератором.
- Преобразование исходных сессий в готовые к моделированию выходные данные посредством повторяемых рабочих процессов контроля качества, обработки повторных проб и проверки загрузки.
Решение
Стратегия сбора
Компания Shaip разработала масштабируемую систему сбора данных для 10 000 действительных часов Данные о движении в виртуальной реальности, предоставляемые поэтапно, партиями. На основе коэффициента планирования источника. 3–5 участников на каждые 10 действительных часовВ целом, масштабируемость программы составляет приблизительно... 3,000–5,000 участников, где ~4,000 участников используется в качестве промежуточного показателя для планирования.
Управление окружающей средой и сценой
Каждое место съемки рассматривалось как структурированная сцена. Шаип документировал окружающую среду с помощью широкоугольной фотосъемки помещений, настраивал сцены в административной системе, координировал проверку заказчиком и экспортировал PDF-файлы сцен для физического размещения. Связывание сцен с QR-кодами гарантировало надежную привязку каждой реальной среды к правильному контексту записи.
Готовность устройств и приложений
Компания Shaip стандартизировала техническую готовность, обеспечив подключение VR-гарнитуры и устройства мониторинга к одной и той же сети, контролируя процесс установки/обновления APK-файлов и включив возможность трансляции экрана через браузер для обеспечения видимости модератора на протяжении всей сессии.
Отслеживание и калибровка движения
Перед каждым сеансом все пять трекеров движений были сопряжены и проверены. Калибровка была обязательной для каждого участника и включала проверку выравнивания аватара, корректировку положения на полу и настройку пользовательских границ для обеспечения точного захвата движений всего тела в пределах записываемого пространства.
Выполнение задач и модерация
Перед началом записи участники прошли подготовку к заданию, специфичному для каждой сцены, и репетицию. Модераторы наблюдали за процессом с помощью видеозаписи экрана, проверяли точность выполнения задания и четкость движений, и переходили к записи в реальном времени только после того, как поведение датчиков и движения участников соответствовали ожиданиям по качеству. Запуск/остановка записи осуществлялись в соответствии с определенным алгоритмом жестов.
Обеспечение качества и готовые к использованию результаты моделирования
После записи сессии загружались в историю для проверки. Shaip проверял четкость движений, правильность выполнения задач, выравнивание сцены и точность датчиков, при необходимости отменяя или переснимая непригодные записи. Это создало более надежный путь к готовым к аннотированию, проверенным на качество и готовым к моделированию наборам данных для обучения искусственного интеллекта и робототехники.
Объем проекта
| Тип набора данных | Участниками | Громкость записи | Среды | Объем задач | Настройка захвата | Лента |
|---|---|---|---|---|---|---|
| Эгоцентрическая VR-захват движений | ~1600 | 10 000 действительных часов | Офис, дом, кафе, завод, склад и другие реальные условия окружающей среды. | 100 задач, заданных заказчиком. | VR-гарнитура + 5 трекеров движения | 1 месяц |
Результат
- Разработана масштабируемая система обработки данных для 10 000 часов обучающих данных для физического ИИ
- Стандартизированный Управление сценой, отображение на основе QR-кодов и калибровка пяти датчиков. в распределенных средах
- Повышение согласованности сбора данных за счет модерируемая репетиция, просмотр видеозаписей в режиме реального времени и контроль качества на уровне сессии.
- Включено Результаты, прошедшие проверку по заданию и готовые к аннотированию. для последующей разработки моделей воплощенного искусственного интеллекта, моделирования и робототехники.
- Укрепил позиции клиента. конвейер обработки данных от симуляции к реальности с высококачественной эгоцентрической системой захвата движений
из различных реальных условий
В целом, компания Shaip помогла преобразовать сложную задачу захвата VR-контента в структурированный, готовый к производству конвейер обработки данных, способный поддерживать Физический искусственный интеллект, воплощенный интеллект и человекоподобная робототехника инициативы, отличающиеся большей согласованностью, отслеживаемостью и масштабируемостью.
Компания Shaip помогла нам создать основу для обработки данных в рамках нашей дорожной карты по физическому ИИ. Их команда структурировала захват движений в различных средах, управление участниками, настройку сцен, калибровку и контроль качества, что позволило нам генерировать готовые к использованию наборы данных для моделей, поддерживающие обучение от симуляции к реальности для воплощенного ИИ и человекоподобной робототехники.
