Развитие воплощенного ИИ с использованием реальных эгоцентрических видеоданных
Разработка моделей распознавания человеческой активности, робототехники и взаимодействия рук с объектами с использованием масштабируемого видео, снятого в бытовых и промышленных условиях.
Обзор проекта
Клиент сотрудничал с компанией Shaip для создания масштабируемой программы сбора высококачественных эгоцентрических видеоданных. Участники программы записывали реальные бытовые и промышленные действия с помощью надежно закрепленных мобильных устройств, расположенных на уровне лба.
Целью было создание разнообразного, реалистичного видеонабора данных, подходящего для обучения моделей с целью:
- Распознавать сложные виды человеческой деятельности и последовательности задач.
- Интерпретируйте взаимодействие руки с предметом.
- Понимание реальных условий в быту и на рабочем месте.
- Поддержка робототехники и приложений искусственного интеллекта.
- Улучшить обобщающую способность модели в зависимости от местоположения, устройства, объекта и условий эксплуатации.
В процессе работы особое внимание уделялось естественному выполнению задачи, стабильному положению камеры, непрерывному выполнению, согласию участников и строгой проверке качества.
Эгоцентрический видеоданный набор: основные характеристики
Объем данных
Собрано 30 000 часов данных, аннотировано более 24 000 часов.
Вкладчик
До 100 утвержденных видеочасов на каждого участника.
Утвержденные устройства
iPhone 11+, Google Pixel 6+ и Samsung Galaxy S21+
Географическое покрытие
Соединенные Штаты и Латинская Америка
Среды деятельности
Бытовые, промышленные и коммерческие помещения
Проблемы сбора видеоданных с учетом эгоцентрических факторов
- Фиксация естественного поведения человека: Участники должны были выполнять реальные действия без постановочных, преувеличенных или роботизированных движений.
- Сохранение повествования от первого лица: Обе руки, рабочая зона и соответствующие предметы должны были оставаться видимыми на протяжении всего активного выполнения задачи.
- Управление стабильностью камеры: Наголовные мобильные устройства должны надежно фиксироваться, минимизируя люфт, чрезмерный наклон или препятствия.
- Сбор данных в различных условиях: Для создания набора данных требовались подлинные видеоматериалы из жилых, промышленных, торговых, гостиничных, сельскохозяйственных, строительных и сервисных зон.
- Минимизация неактивных или не относящихся к делу видеоматериалов: Записи должны были демонстрировать непрерывную, целенаправленную работу с минимальным количеством пауз и ненужных движений.
- Обеспечение авторизации и согласия: Для каждого участника и места записи требовалось соответствующее разрешение, согласие и подтверждение соответствия требованиям.
- Масштабирование без ущерба для качества: Необходимо было оперативно просмотреть большие объемы видеоматериалов, четко обозначив причины отклонения и разработав эффективные процедуры повторной съемки.
Как компания Shaip собирала эгоцентричные видеоданные
Стратегия сбора
Шаип разработал гибкую структуру, охватывающую реальные бытовые, коммерческие и промышленные виды деятельности. Участники выбирали задачи, соответствующие их естественному распорядку дня, а не следовали заранее подготовленным сценариям.
Привлечение новых авторов
Участники из США и Латинской Америки прошли обучение по вопросам выбора задач, требованиям к устройствам, размещению камер, получению согласия и условиям, запрещенным для съемки.
Коллекция мобильных видеороликов
Записи производились с помощью специального мобильного приложения с автоматической отправкой и проверкой местоположения для подтверждения записи в пределах утвержденных регионов.
Установка камеры на голову
Одобренные смартфоны были надежно закреплены на уровне лба и наклонены примерно на 45° вниз, чтобы руки, предметы, рабочее место и, когда пользователь стоял неподвижно, пальцы ног оставались в поле зрения.
Естественное выполнение задач
Участники выполняли непрерывные, целенаправленные действия стоя или во время ходьбы, естественно взаимодействуя с инструментами, оборудованием и предметами повседневного обихода.
Проверка качества
Каждая запись проверялась на стабильность камеры, освещение, фокусировку, видимость рук и предметов, непрерывность выполнения задачи, позу, окружающую обстановку и наличие разрешения.
Быстрый обзор и повторный анализ
Заявки рассматривались в течение одного дня. Четко обозначенные причины отклонения позволили участникам быстро внести исправления и повторно отснятый материал.
Управление контролем
В рабочий процесс были интегрированы следующие этапы: получение согласия, авторизация местоположения, безопасная отправка данных, проверка местоположения и передача прав на интеллектуальную собственность.
Объем и виды деятельности проекта
| Сегмент данных | Представительская деятельность | Требования к сбору данных |
|---|---|---|
| Бытовая деятельность | Стирка, организация пространства в комнате, уборка кухни, уход за домашними животными, уход за растениями, садоводство и поддержание порядка в доме. | Стоя или идя; естественное исполнение; видны руки и рабочее место. |
| Склад и логистика | Упаковка, сортировка, обработка запасов, контроль качества и перемещение материалов. | Стабильная фиксация изображения с помощью головного устройства при непрерывной работе над заданием. |
| Коммерческий и гостиничный бизнес | Уборка помещений, ведение домашнего хозяйства, пополнение запасов в розничных магазинах и работа на кухне предприятий общественного питания. | Разрешенное место для записи и беспрепятственное взаимодействие с объектами. |
| Промышленная деятельность | Легкая промышленность, сборка, техническое обслуживание оборудования и производственные процессы. | Реальное выполнение рабочих задач с предоставлением соответствующих разрешений. |
| Сельское хозяйство и ландшафтный дизайн | Уход за территорией, садоводство, сельскохозяйственные работы и погрузочно-разгрузочные работы на открытом воздухе. | Адекватное освещение, устойчивая конструкция и безопасное выполнение задачи. |
| Квалифицированные специалисты и специалисты по полевым работам | Строительство, автосервис, ремонт, установка и техническое обслуживание на объекте. | Обеспечьте хорошую видимость инструментов, рук, компонентов и рабочей зоны. |
Структура качества
Записи были отклонены по следующим причинам:
- Затрудненное, чрезмерно наклоненное или нестабильное изображение с камеры.
- Слабое освещение, слабая фокусировка, нечеткая видимость
- Длительные периоды бездействия или видеоматериалы, не относящиеся к выполняемой задаче.
- Искусственное, спланированное или роботизированное исполнение
- Чрезмерные движения головы, рук или тела.
- Руки находятся вне кадра более чем в 10% случаев активного захвата и отпускания.
- Несанкционированные места записи
- Отсутствует согласие участника
Для успешной записи требовалось:
- Запечатлейте подлинную бытовую или промышленную работу.
- Сохраняйте стабильную перспективу от первого лица.
- Держите руки, предметы и рабочую зону на виду.
- Демонстрировать непрерывную и целенаправленную деятельность.
- Соответствовать утвержденным требованиям к размещению устройства и камеры.
- Подходит для обучения ИИ, включающего распознавание активности и роботизированное восприятие.
Результаты: Эгоцентрические видеоданные, готовые к использованию в робототехнике.
- Подлинные данные об активности: Естественное выполнение задач зафиксировало действия человека, взаимодействие рук с предметами и последовательность действий.
- Масштабируемое расширение набора данных: Каждый участник мог внести до 100 утвержденных часов, а вариативность объектов, инструментов, локаций, освещения и последовательности задач расширила разнообразие набора данных, масштабировав программу до примерно 30 000 часов собранного эгоцентрического видео, из которых более 24 000 часов были аннотированы и утверждены для обучения модели.
- Контекст готовности к робототехнике: Стабильная съемка от первого лица обеспечила четкую видимость рук, предметов, оборудования, рабочих мест и хода выполнения задачи.
- Быстрое повышение качества: Однодневные циклы проверки позволили быстро получать обратную связь, вносить исправления и корректировать результаты.
- Географическое и аппаратное разнообразие: Сбор данных по всей территории США и Латинской Америки с использованием одобренных устройств Apple, Google и Samsung позволил внести практические изменения в условия окружающей среды и аппаратное обеспечение.
- Интегрированное управление: В программу были включены такие элементы, как согласие, авторизация, проверка местоположения, безопасная отправка данных и контроль качества.
Предложенный подход к сбору данных обеспечивает прочную основу для создания систем искусственного интеллекта, которые понимают действия человека с точки зрения оператора и функционируют более надежно.
Структурированный подход компании Shaip к сбору эгоцентрических видеоматериалов обеспечил нам масштаб, контроль качества и реальное разнообразие, необходимые для нашей программы обучения ИИ. Быстрый процесс проверки и подробные стандарты съемки создали надежную основу для развития моделей распознавания активности и робототехники.
