Аннотирование положения рук — это процесс разметки движений руки и её пальцев на каждом кадре видео, чтобы роботы могли научиться ловким, человекоподобным манипуляциям. Сегодняшние роботы умеют ходить, кататься и держать коробку. Однако им по-прежнему сложно справляться с мелочами — застегиванием рубашки, прокладкой кабеля, поднятием одной виноградины, не раздавив её. В Shaip мы видим это каждый день: самая сложная часть физического ИИ — это не обучение робота движению, а обучение его рук правильному поведению . А это зависит от качества данных о положении рук.
В этой статье подробно рассматриваются именно руки. Если же вы хотите сначала получить более полную картину, начните с нашего руководства по обучающим данным для роботов и наборам данных для манипуляций — это глава, посвященная ловкости рук.
Почему именно ловкость является настоящим узким местом в управлении роботами?
Проблема заключается в недостаточной ловкости, поскольку грубые движения в значительной степени решены, а точный контроль пальцев — нет. Робота можно научить доставать и закрывать захват. Научить его перекатывать ручку между двумя пальцами или снова захватывать отвертку в процессе работы — это совсем другая задача, и она полностью зависит от данных, которые фиксируют фактические движения пальцев.

Вот как мы простыми словами это объясняем клиентам:
- Передвижение и грубое захватывание — В основном работает. Данных предостаточно.
- Тонкая манипуляция несколькими пальцами — В основном не работает. Данных практически нет.
- Разрыв — примеры обучения, которые записывают Что делал каждый палец, в каком порядке и когда он касался объекта..
Последняя строка — это именно то, что получается при аннотировании положения руки. Без неё робот может распознать шнурок, но понятия не имеет, как его завязать.
Что именно представляет собой аннотация положения руки?
Аннотирование позы руки — это форма аннотирования ключевых точек, при которой суставы руки — костяшки пальцев, сегменты пальцев, кончики пальцев и запястье — отмечаются и отслеживаются в каждом кадре видеоролика. Это превращает обычное видео с рукой в четкую, структурированную запись движений, на основе которой модель может обучаться.

На практике наши команды маркируют четыре предмета на каждой руке:
- Скелет кисти — Последовательная раскладка по пальцам и запястью (обычно более 20 точек).
- Совместное движение — как эти точки изгибаются и вращаются по мере выполнения задачи.
- Движение во времени — плавный путь каждой точки от первого кадра до последнего, а не просто отдельные снимки.
- Моменты контакта — точные кадры, в которых палец касается, захватывает или отпускает предмет.
Четвертый пункт – это то, где проявляется ловкость. Любой может отметить, где находится рука; ценность заключается в том, чтобы зафиксировать, как и когда это произошло.
Чем отличается аннотирование ловкости от стандартного аннотирования ключевых точек?
Аннотирование ловкости — это аннотирование ключевых точек, к которому предъявляются гораздо более высокие требования. Стандартная работа с ключевыми точками отвечает на вопрос «где находится рука?». Аннотирование ловкости отвечает на вопрос «что делал каждый палец, в каком порядке и когда он соприкасался с рукой?» — и это единственный вариант, на котором может обучаться модель манипулирования.
Разница наиболее очевидна при сравнении двух изображений:
| То, что мы обозначаем | Стандартная аннотация ключевых точек | Аннотации положения кисти, соответствующие уровню ловкости рук. |
|---|---|---|
| XNUMX | Положение руки в каждом кадре | Полное движение пальцев в каждом кадре |
| глубина | Плоский, 2D | 3D — как суставы движутся в пространстве |
| Дата | Покадровый, независимый | Одно плавное, непрерывное движение |
| Контакты | Редко маркируется | Обозначения: захват, касание и отпускание |
| окклюзия | Часто пропускается | Тщательно выведено и заполнено. |
| Для чего это нужно | Жесты, отслеживание движений рук | Обучение роботов манипулированию |
Правая колонна — это то, что мы строим в Shaip, потому что это единственная колонна, у которой может учиться ловкий робот.
Как аннотирование положения рук превращает видео с участием человека в навыки робота?
Аннотирование положения рук — это мост между недорогим видео с участием людей и дорогостоящими демонстрациями роботов. Ретаргетинг — это этап, на котором размеченные движения рук человека сопоставляются с движениями рук робота, так что демонстрация человека становится чем-то, что робот может скопировать. Снимать людей легко и масштабируемо; съемка реальных демонстраций роботов — медленный и дорогостоящий процесс, поэтому разумнее всего обучать роботов на собственном опыте.
Процесс, который мы используем для клиентов, выглядит следующим образом:
- Запись — Записать видео от первого лица («что видят мои руки»), на котором человек выполняет задачу.
- аннотировать — Отметьте положение руки на каждом кадре, чтобы восстановить полное движение пальцев.
- Ретаргетинг — перенести это движение на руку робота, чтобы он мог воспроизвести это действие.
Полезный пример: чтобы научить кухонного робота разбивать яйцо, вам не нужна тысяча тренирующихся роботов. Вам нужно качественное видео с хорошо обозначенными инструкциями, на котором люди разбивают яйца — именно аннотации делают этот материал пригодным для обучения.
Где на самом деле используются данные, полученные в результате умелых манипуляций?
Данные о ловкости рук важны везде, где машине приходится бережно взаимодействовать с физическим миром. Этот раздел обычно опускается в большинстве обзоров, поэтому стоит быть конкретным. Каналы аннотаций положения рук и ловкости рук:
Гуманоидные и домашние роботы — складывают белье, загружают посудомоечную машину, управляют повседневными предметами самых разных форм.
Автоматизация складских и розничных операций — например, снятие хрупкого товара с полки без его повреждения или сортировка смешанных товаров на ощупь.
Робототехника в здравоохранении и вспомогательная робототехника — реабилитационные устройства и вспомогательные манипуляторы, которые должны плавно перемещаться вокруг людей.
Производство и ремонт — использование инструментов, прокладка кабелей и сборка мелких деталей, где грубый захват просто не подходит.
AR/VR и носимые устройства — естественное взаимодействие с руками, управление жестами и интерфейсы отслеживания движений рук.
Общая черта: ни одна из этих систем не сработает без обучающих данных, фиксирующих точные движения пальцев. Именно эту потребность призваны удовлетворить разработки Shaip в области движений, поз и ловкости.
Насколько большими и качественными должны быть данные о ловкости рук?
Масштаб имеет значение, но качество важнее. Чтобы представить масштаб в перспективе, один из знаковых исследовательских наборов данных, опубликованный в 2025 году, собрал 829 часов видео с манипуляциями от первого лица с парным отслеживанием движений рук в 194 повседневных задачах — авторы описывают его как самый большой набор данных по ловким манипуляциям в своем роде ( Apple Machine Learning Research, 2025 ). Именно в этом направлении движется эта область: большие, богато размеченные, разнообразные по задачам данные.
Но одного объема недостаточно для обучения хорошего робота. По нашему опыту в Shaip, большинство проблем с ловкостью связаны с качеством меток , а не с размером набора данных. Сложные проблемы носят практический характер:
- Скрытые пальцы — Руки постоянно прикрывают себя и предметы, которые держат.
- Пальцы, похожие друг на друга — Легко ошибочно принять один палец за соседний.
- Быстрое движение — Быстрые движения размывают те самые кадры, которые имеют наибольшее значение.
- Последовательность с течением времени — Одна неуверенная метка на шарнире может испортить всю последовательность движений.
Именно поэтому каждый проект по развитию ловкости в компании Shaip проходит через обученные команды с участием людей и многоэтапный процесс контроля качества — первичную проверку, калибровку по эталонному набору данных и окончательную проверку перед выпуском — с согласованностью между аннотаторами и пороговыми значениями приемлемости, специфичными для каждого проекта. Чистые данные дешевле, чем робот, который выучил неправильное движение.
Как Shaip помогает
В Shaip мы берем на себя весь процесс — от сбора видеоматериалов от первого лица и с демонстрацией движений человека до точной разметки положения рук и ловкости, а также подготовки данных для ретаргетинга, на которых ваша команда сможет проводить обучение. Все это обеспечивается с соблюдением корпоративного уровня безопасности (ISO 27001 и SOC 2 Type II) силами проверенного и управляемого персонала.
Изучите наши решения для обучения ИИ на основе физических моделей , посмотрите, как мы осуществляем сбор эгоцентрических видеоданных для получения исходных данных о ловкости от первого лица, или ознакомьтесь с нашим руководством о том, что такое эгоцентрический набор данных.
Что такое аннотация положения руки?
Аннотирование положения кисти — это маркировка суставов кисти: суставов пальцев, сегментов пальцев, кончиков пальцев и запястья — на каждом кадре видео. Это создает структурированные данные, которые обучают роботов и модели искусственного интеллекта тому, как рука движется и обращается с объектами с течением времени.
Чем отличается аннотирование ловкости от стандартного аннотирования ключевых точек?
Стандартная аннотация ключевых точек отмечает положение руки покадрово в 2D. Аннотация ловкости добавляет глубину, плавность движения во времени и помеченные моменты контакта — создавая данные, которые робот может реально использовать для обучения точным манипуляциям несколькими пальцами.
Что такое ретаргетинг в данных о положении руки?
Метод ретаргетинга сопоставляет размеченные движения рук человека с движениями руки робота, так что демонстрация человеком становится действием, которое робот может воспроизвести. Именно так большое количество видеозаписей с участием людей превращается в редкие, но ценные данные для обучения роботов.
Почему ловкость рук ограничивает возможности роботов?
Ловкость рук ограничивает возможности роботов, поскольку такие грубые задачи, как ходьба и простой захват, в значительной степени решаются, в то время как для точного управления пальцами — повторного захвата инструмента, работы с хрупким предметом — отсутствуют обучающие данные, которые бы отражали движения пальцев. Аннотирование положения кисти восполняет этот недостающий сигнал.
В каких отраслях используются данные о ловкости рук?
Гуманоидная и бытовая робототехника, автоматизация складов и розничной торговли, роботы для здравоохранения и вспомогательных средств, производство и ремонт, а также взаимодействие рук в дополненной и виртуальной реальности — все эти области полагаются на данные о ловкости рук для безопасного и точного обращения с реальными объектами.
Что имеет большее значение: размер набора данных или качество меток?
И то, и другое важно, но качество маркировки обычно определяет результат. Большие наборы данных помогают, однако большинство проблем с ловкостью связаны с непоследовательной или неточной маркировкой рук — именно поэтому парные клавиатурные блоки Shaip масштабируются при строгом контроле качества с участием человека.
Может ли Shaip собирать и размечать видеозаписи рук от первого лица?
Да. Shaip собирает и аннотирует видео от первого лица и видео с демонстрацией движений людей, создавая точные данные о положении рук, готовые к ретаргетингу, в соответствии со стандартами ISO 27001 и SOC 2 Type II.