Компания VLA Training Data & Annotation

Обучающие данные и аннотации VLA для физического ИИ

Shaip предоставляет обучающие данные VLA и аннотации VLA — от сбора данных из реального мира и данных, полученных с помощью дистанционного управления, до маркировки траекторий действий, RLHF и оценки — чтобы ваши роботы и физические системы ИИ обучались на чистых, основанных на действиях, готовых к развертыванию наборах данных.

Данные для обучения VLA и аннотации
500K+
Авторы, прошедшие глобальную проверку
99%+
Соглашение об уровне обслуживания точности
65+
Язык Поддерживаемые
10,000+
Внутренний глобальный персонал
🔒 Соответствует HIPAA
???????? GDPR готов
✅️ Сертификация ISO 27001
✅️ Готовность к использованию SOC 2 типа II
Что мы доставляем

Учебные данные VLA, разработанные от начала до конца.

Модель «зрение-язык-действие» обучается только тогда, когда четыре слоя данных синхронно захватываются и маркируются. Shaip предоставляет все четыре — визуальный слой, языковой слой и, что наиболее сложно, слой действий.

Визуальные наблюденияRGB, глубина и кадры с наручной/головной камеры
Языковые инструкцииКоманды задач на естественном языке
Траектории действийТокены действий на каждую степень свободы
Метки результатовПоказатели успеха, неудачи и восстановления
Услуги

Услуги аннотирования VLA

Сложности аннотирования VLA начинаются с анализа действий. Разметка содержимого кадра — это базовый уровень; разметка действий агента, их причин и эффективности — это уже совсем другая область. Наши команды специально обучены аннотированию мультимодальных данных робототехники, основанных на анализе действий.

▶

Аннотация действий и траектории

Мы сопоставляем токены действий с наблюдениями покадрово — отмечая точки контакта и отпускания, устанавливая границы между языком и действием, а также аннотируя состояния суставов и смещение конечного эффектора, с согласованностью между аннотаторами более 95%.

◈

многомодальная и сенсорная аннотация

Мы координируем разметку данных по всем потокам: визуальному, IMU, LiDAR, аудио и глубинному, обеспечивая синхронизацию по времени каждого потока, чтобы ваша модель обучалась на согласованной, объединенной реальности, а не на несовпадающих каналах.

"

Язык и обучение.

Мы пишем, проверяем и согласовываем инструкции на естественном языке с сегментами действий, обрабатываем многоэтапные и долгосрочные задачи, а также локализуем команды для более чем 65 языков для роботов, развернутых по всему миру.

▦

Семантическая аннотация объектов и сцен.

Обнаружение и отслеживание объектов, сегментация, аннотирование LiDAR, аннотирование облака точек, 3D-аннотирование, разметка ключевых точек и поз (включая скелеты из 42 ключевых точек), метки взгляда, жестов и пространственного контекста.

✓

Обозначения результата, намерения и режима отказа

Каждый эпизод оценивается по критериям успеха, частичного выполнения или неудачи с использованием меток намерения и фазы движения — сигналов, от которых зависят RLHF и конвейеры оценки.

◱

Контроль качества с участием человека

Экспертная проверка, обработка исключений и многоэтапные циклы проверки обеспечивают соответствие меток действий требованиям производственной среды и готовности к аудиту.

Услуги

Услуги по сбору данных для обучения VLA

Качественная аннотация не исправит данные, которые вы так и не получили. Shaip использует управляемый сбор обучающих данных VLA, поэтому вы получаете именно те варианты реализации, задачи и граничные случаи, которые необходимы вашей модели.

⛭

Дистанционное управление и демонстрация роботов

Демонстрации работы дистанционно управляемых роботов и непосредственный сбор данных о роботах в различных вариантах реализации — манипуляции, захват и перемещение, а также задачи с длительным горизонтом планирования, представленные в виде четко определенных эпизодов траектории действий.

◉

Демонстрационное видео эгоцентризма и человеческого мышления.

Видеоматериалы от первого лица, снятые с эгоцентрической точки зрения, и наборы данных с демонстрацией движений человека — которые можно преобразовать в формат VLA с помощью перенацеливания по положению руки — для предварительного обучения стратегий в масштабе, недостижимом при использовании одних только данных реальных роботов.

⌂

Съемка в реальных условиях и в различных средах.

Данные были собраны в более чем 10 реальных условиях — на кухнях, в домах, на улицах, в офисах, медицинских учреждениях, на складах, заводах, в мастерских, на строительных площадках и на дорогах — для обеспечения подлинного экологического разнообразия.

⊕

Синтетические данные и расширение возможностей

Генерация, обогащение и проверка данных в соответствии с таксономией для выявления редких, опасных или маловероятных сценариев, которые ваш парк техники не сможет воспроизвести естественным образом.

Все рассматриваемые нами методы — синхронизированы по времени.

RGB / моно / событийные камеры Глубина и время пролета LiDAR Радар Облако точек и 3D Датчик слияния ИДУ Сила / крутящий момент Отслеживание рук и глаз Аудио GPS / телематика
Области применения

Примеры применения VLA и физического ИИ

Человекоподобные роботы

Человекоподобные роботы

Обучение на практике и ловкие манипуляции.

Роботизированные манипуляции

Роботизированные манипуляции

Системы захвата и перемещения, складская и промышленная автоматизация.

Автономная мобильность

Автономная мобильность

Данные для обучения навыкам восприятия, анализа граничных случаев и работы с автономными транспортными средствами.

Воплощенный ИИ и модели мира

Воплощенный ИИ и мировые модели

Обучение агентов на основе мультимодальных моделей действий.

Взаимодействие человека и робота

Взаимодействие человека и робота

Наборы данных о жестах, взгляде и намерениях.

AR, VR и носимый ИИ

дополненная и виртуальная реальность и носимый ИИ

Данные об эгоцентрическом взаимодействии и движении.

Промышленная безопасность

Промышленная безопасность

Использование средств индивидуальной защиты и выявление небезопасных действий в реальных условиях.

Медицинская робототехника

Медицинская робототехника

Наборы данных по реабилитации и клиническим двигательным функциям.

Умные фабрики

Умные фабрики

Автоматизация задач и данные контроля качества.

Почему Шаип

Почему стоит выбрать Shaip для обучающих данных и аннотаций VLA?

Shaip — это компания, занимающаяся разработкой данных для обучения ИИ в корпоративной среде, с интегрированным комплексом инструментов, созданным специально для физического ИИ, а не точечным инструментом и не краудсорсинговой площадкой.

Комплексная инфраструктура

От аннотирования точек до сбора данных в реальных условиях, генерации синтетических данных, проверки на соответствие стандартам RLHF и сравнительных тестов в условиях повышенной безопасности — все это в рамках одного проекта.

глубина мультимодальной аннотации

Визуализация, лидар, язык, действия и контекст рабочего процесса — структурировано с учетом того, как физический ИИ фактически обучается, оценивается и развертывается.

Очное общение + реальная среда

Контролируемая студийная съемка и съемка в реальных условиях — оба варианта доступны и управляются. Включает в себя создание пользовательских сценариев и генерацию нестандартных ситуаций.

Гибкая глобальная рабочая сила

Используйте потенциал более 10 000 штатных сотрудников по всему миру и более 500 000 сертифицированных участников, привлеченных через краудсорсинг, с возможностью и эффективностью работы персонала в режиме реального времени.

Разнообразный, точный и быстрый

Наш процесс оптимизирует сбор данных за счет упрощения распределения задач и сбора данных непосредственно из приложения и веб-сайта.

Качество данных корпоративного уровня

Наша собственная платформа и квалифицированный персонал используют множество методов контроля качества, чтобы соответствовать или превосходить ваши стандарты качества.

случай

30 000 часов эгоцентричного видео для обучения физического ИИ
Шаип собрал подлинные видеоматериалы от первого лица (эгоцентрические) для глобальной технологической организации, чтобы обучить модели распознавания активности, взаимодействия рук с объектами и робототехники в различных реальных условиях.
Эгоцентрический сбор видеоданных

Проблема: Получение достоверных, не постановочных видеороликов с эгоцентричными сценами в больших масштабах в различных реальных условиях.

Решение: Мобильное устройство для захвата данных, закрепленное на голове, со структурированным вводным обучением и однодневными циклами контроля качества — собрано 30 000 часов данных и аннотировано более 24 000 часов, до 100 часов на участника.

Результат: готовый к развертыванию эгоцентрический набор данных с реальным разнообразием в 6 областях активности и встроенной системой управления согласием.

Масштабирование физического ИИ и человекоподобной робототехники для обработки данных о движении
Компания Shaip разработала масштабируемый конвейер захвата движений в виртуальной реальности, который ежемесячно предоставляет тысячи часов достоверных эгоцентрических данных для обучения воплощенного искусственного интеллекта и человекоподобных роботов.
Физический ИИ

Проблема: масштабировать систему от пилотного проекта до 5,000 часов достоверной записи движений в месяц в различных условиях и для 300–400 задач.

Решение: Отслеживание движений в виртуальной реальности с помощью пяти датчиков с обязательной калибровкой для более чем 50 вариантов сцен в шести типах окружения, а также полный контроль качества.

Результат: Устойчивая ежемесячная поставка готовых к аннотированию наборов данных с участием 1,500–2,500 человек за цикл для воплощенного искусственного интеллекта и человекоподобной робототехники.

Разработка

Как это работает

Прозрачный, поэтапный рабочий процесс, разработанный для снижения рисков вашего проекта с первого дня.
1

Область применения и таксономия

Мы согласовываем варианты реализации, задачи, пространство действий, датчики и критерии успеха — еще до того, как будет сделан хотя бы один кадр.

2

Собрать или принять внутрь

Мы осуществляем дистанционное управление, эгоцентрический и реальный сбор данных, а также загружаем и структурируем существующие данные вашего автопарка.

3

Аннотировать и объединять

Маркировка действий, языка, мультимодальных данных и результатов с синхронизированным контролем качества с участием человека.

4

Проверка и доставка

Наборы данных для проверки, эталонные тесты и примеры решения задач, соответствующие стандартам RLHF, предоставляются в формате, готовом для вашего обучения.

Безопасность и соответствие

GDPR
HIPAA
ISO 9001: 2015
SOC 2 Тип II
стандартами качества ISO 27001

Создайте свою модель VLA на основе данных, которым вы можете доверять.

Независимо от того, обучаете ли вы гуманоида, автономную систему или воплощенного агента ИИ, Shaip предоставляет вам обучающие данные и аннотации VLA, чтобы быстрее достичь цели — точные, основанные на действиях и безопасные для предприятия.

Свяжитесь с нами

Обучающие данные VLA — это синхронизированный набор данных, используемый для обучения моделей «зрение-язык-действие» — сопоставления визуальных наблюдений, инструкций на естественном языке, траекторий действий и меток результатов в эпизоды, на основе которых робот может учиться.

Стандартная аннотация обозначает то, что отображается во фрейме. Аннотация VLA дополнительно обозначает действия агента — сопоставление токенов действий с наблюдениями, отметка точек контакта и восстановления после сбоя, а также привязка языка к действиям во времени.

Четыре слоя: визуальные наблюдения (RGB/глубина), языковые инструкции, траектории действий, привязанные к степеням свободы робота, и метки результатов успеха/неудачи — в идеале для множества вариантов реализации и сред с целью обобщения.

И то, и другое. Shaip осуществляет телеуправление, сбор обучающих данных для VLA в эгоцентрической и многосредовой средах, а также аннотирует, проверяет и дополняет уже имеющиеся у вас данные.

Да — LiDAR, облако точек, 3D-данные, радар, инерциальный измерительный блок, данные о глубине, аудио и данные о силе/крутящем моменте, все синхронизированы по времени для обучения с использованием данных с разных датчиков.

Руководил группами экспертов с привлечением человека к контролю качества и достижением более чем 95% согласованности между аннотаторами по меткам действий в соответствии со стандартами ISO 27001, SOC 2 Type II и требованиями GDPR/HIPAA.