Сбор данных в области человекоподобной робототехники в больших масштабах: 5,000 часов в месяц данных о движении от модели к реальности.
Как компания Shaip ежемесячно предоставляет 5,000 часов достоверных данных захвата движений в виртуальной реальности с использованием эгоцентрической модели, охватывающих 1,500–2,500 участников, 300–400 задач и более 50 различных настроек захвата в шести типах среды.
Обзор проекта
По мере внедрения физического искусственного интеллекта и человекоподобной робототехники в реальный мир, клиенту потребовалась масштабируемая платформа для сбора 5,000 часов достоверных данных о движении в виртуальной реальности в месяц в различных условиях с обеспечением согласованной калибровки, выполнения и контроля качества (QA).
Компания Shaip разработала комплексный конвейер обработки данных, охватывающий настройку сцены, создание QR-кодов, отслеживание с помощью пяти датчиков, репетицию с участниками, модерируемый сбор данных и рабочие процессы проверки, для поддержки 300–400 задач, определяемых заказчиком, и предоставления готовых к использованию в моделях наборов данных, созданных с помощью искусственного интеллекта, в масштабе предприятия.
Основная статистика
Участниками
1,500–2,500 за цикл
Объем данных
5,000 действительных часов в месяц
Освещение вопросов окружающей среды
Более 50 вариантов настроек съемки для офиса, дома, завода, кафе, склада, фармацевтической промышленности и многого другого.
Лента
Текущий ежемесячный цикл
Задачи
- Масштабирование сбора данных о движении из контролируемых рабочих процессов пилотного типа в повторяющийся процесс. 5,000 действительных часов ежемесячная программа.
- Сохранение стабильная точность отслеживания в различных реальных условиях и при разных конфигурациях участников.
- Обеспечение соответствия каждой сессии строгим требованиям к подаче заявки. Сборка и контроль версий, настройка общей сети, запись экрана и сопряжение датчиков.
- Управление 300–400 задач, заданных заказчиком. в таких категориях, как передвижение, манипулирование объектами, взаимодействие в быту, взаимодействие в офисе и многоэтапные физические рабочие процессы, каждый из которых требует правильной настройки сцены, размещения объектов, готовности участников и проверки модератором.
- Преобразование исходных сессий в готовые к моделированию выходные данные посредством повторяемых рабочих процессов контроля качества, обработки повторных проб и проверки загрузки.
Решение
Стратегия сбора
Компания Shaip разработала систему сбора данных, обеспечивающую получение 5,000 часов достоверных данных о движении в виртуальной реальности в месяц партиями, распределенными по этапам. Исходя из планируемого соотношения 3–5 участников на 10 часов достоверных данных, для каждого месячного цикла требуется приблизительно 1,500–2,500 участников.
Управление окружающей средой и сценой
Среда структурирована на двух уровнях. Шесть основных типов среды — офис, дом, завод, кафе, склад и фармацевтическая компания — подразделяются на более чем 50 различных вариантов съемки, каждый из которых представляет собой конкретное физическое место, такое как гостевая комната, кофейная станция, сборочный стол или упаковочная линия. Каждый вариант рассматривается как структурированная сцена. Shaip документирует ее с помощью широкоугольной съемки помещений, настраивает сцены в административной системе, координирует проверку заказчиком и экспортирует PDF-файлы сцен для физического размещения. Связывание сцен с QR-кодами гарантирует надежную привязку каждого варианта к правильному контексту записи.
Готовность устройств и приложений
Shaip стандартизирует техническую готовность, обеспечивая подключение VR-гарнитуры и устройства мониторинга к одной и той же сети, контролируя процесс установки и обновления приложений, а также позволяя осуществлять трансляцию экрана через браузер для обеспечения видимости модератора на протяжении всей сессии.
Отслеживание и калибровка движения
Перед каждым сеансом все пять трекеров движений сопрягаются и проверяются. Калибровка обязательна для каждого участника и включает проверку выравнивания аватара, корректировку положения на полу и настройку пользовательских границ для обеспечения точного захвата движений всего тела в пределах записываемого пространства.
Выполнение задач и модерация
Перед началом записи участники проходят подготовку к заданию, специфичному для каждой сцены, и репетицию. Модераторы наблюдают за процессом с помощью видеозаписи экрана, проверяют точность выполнения задания и четкость движений, и переходят к записи в реальном времени только после того, как поведение датчиков и движения участников соответствуют ожиданиям по качеству. Начало/остановка записи осуществляется в соответствии с определенным алгоритмом жестов.
Обеспечение качества и готовые к использованию результаты моделирования
После записи сессии загружаются для проверки. Shaip проверяет четкость движений, правильность выполнения задачи, выравнивание сцены и точность датчиков, при необходимости отменяя или переснимая непригодные записи. Это создает более надежный путь к готовым к аннотированию, проверенным на качество и готовым к использованию в моделях наборам данных для обучения искусственного интеллекта и робототехники.
Объем проекта
| Тип набора данных | Участниками | Громкость записи | Освещение вопросов окружающей среды | Объем задач | Настройка захвата | Лента |
|---|---|---|---|---|---|---|
| Эгоцентрическая VR-захват движений | 1,500–2,500 за цикл | 5,000 действительных часов в месяц | Более 50 вариантов настроек съемки для офисов, домов, кафе, заводов, складов, фармацевтических компаний и других реальных условий. | 300–400 задач, заданных заказчиком. | VR-гарнитура + 5 трекеров движения | Текущий ежемесячный цикл |
Результат
- Разработана масштабируемая система обработки данных для 5,000 количество часов физического ИИ в месяц данные обучения
- Стандартизированный Управление сценой, отображение на основе QR-кодов и калибровка пяти датчиков. в распределенных средах
- Повышение согласованности сбора данных за счет модерируемая репетиция, просмотр видеозаписей в режиме реального времени и контроль качества на уровне сессии.
- Включено Результаты, прошедшие проверку по заданию и готовые к аннотированию. для последующей разработки моделей воплощенного искусственного интеллекта, моделирования и робототехники.
- Укрепил позиции клиента. конвейер обработки данных от симуляции к реальности с использованием высококачественной эгоцентрической съемки движений в различных реальных условиях.
В целом, компания Shaip помогла преобразовать сложную задачу захвата VR-данных в структурированный, готовый к производству конвейер обработки данных, способный поддерживать инициативы в области физического искусственного интеллекта, воплощенного интеллекта и человекоподобной робототехники с большей согласованностью, отслеживаемостью и масштабируемостью.
Компания Shaip помогла нам создать основу для обработки данных в рамках нашей дорожной карты по физическому ИИ. Их команда структурировала захват движений в различных средах, управление участниками, настройку сцен, калибровку и контроль качества, что позволило нам генерировать готовые к использованию наборы данных для моделей, поддерживающие обучение от симуляции к реальности для воплощенного ИИ и человекоподобной робототехники.
