Роботы умеют видеть. Это стало возможным благодаря масштабным интернет-наборам изображений и десятилетнему опыту разработки усовершенствованных моделей. Но попросите робота поднять наполовину смятую коробку, проложить кабель или передать инструмент хирургу, и всё пойдёт наперекосяк. Не потому, что камеры отказали. А потому, что в процессе обучения робота его не учили, что такое ощущение контакта. Осязание — это чувство, которое забыл физический искусственный интеллект, и причина проще, чем думает большинство команд: обучающего сигнала ещё не существует. Эта статья посвящена самому сигналу — данные тактильного восприятияЧто оно на самом деле содержит, как производится и чем его нужно пометить, прежде чем оно станет полезным. Если пропустить хотя бы один из этих трех вопросов, модели останутся слепыми в том единственном смысле, который наиболее важен для манипуляций.
Четыре класса сигналов в данных тактильного восприятия
Первая ошибка заключается в том, что «тактильные» ощущения рассматриваются как единое целое. На практике модели, обучающейся манипулированию, необходимы четыре различных класса сигналов, каждый из которых регистрируется различным оборудованием и каждый передает модели что-то свое. Распределение давления сообщает роботу... в котором и как сложно Контакт происходит по всей площади контакта — этого достаточно, чтобы оценить качество захвата и положение объекта внутри захватного устройства. Вибрация фиксирует высокочастотные переходные процессы: микрособытия, сигнализирующие о проскальзывании, столкновении или шероховатости текстурированной поверхности, скользящей по другой. Сила и крутящий момент описывают суммарный механический обмен в запястье или суставе — разницу между нажатием кнопки и ее сгибанием. Проприоцепция — это ощущение роботом собственного тела: положение пальцев, раскрытие захватного устройства, состояние суставов в тот самый момент, когда происходит контакт. Модель, обученная на любом из этих параметров в отрыве от других, функционально является однорукой.
| Класс сигнала | Что он измеряет | Типичная скорость захвата | Чему это учит модель |
|---|---|---|---|
| Давление | Место контакта, форма, интенсивность | 100–500 XNUMX Гц | Качество захвата, положение объекта в захвате |
| Вибрация | Высокочастотные контактные переходные процессы | 1–5 кГц | Начало скольжения, столкновения, текстура поверхности |
| Сила / Крутящий момент | Суммарная механическая нагрузка в шарнире | 500–1,500 XNUMX Гц | Усилие вставки, податливость, пределы безопасного контакта |
| Проприоцепция | Состояние захвата и сустава | 100–1,000 XNUMX Гц | Осознание собственного тела, вывод о деформации |
Как на самом деле собираются данные тактильного восприятия
В отличие от данных, полученных с помощью компьютерного зрения, эти данные невозможно получить путем парсинга. Каждый образец должен быть получен с помощью реального датчика, касающегося реального объекта. Существует три практических режима сбора данных, и программы производственного уровня обычно запускают все три режима параллельно.
Дистанционно управляемые демонстрации людей
Опытный оператор управляет роботом, выполняя задачу — захват, вставка, передача — в то время как весь набор датчиков ведет запись. Поскольку в процесс вовлечен человек, траектории по определению являются успешными и разнообразными, и они отражают неявные стратегии, которые люди используют для исправления небольших ошибок. Это основа конвейеров обучения на основе имитации и визуально-языково-действенных моделей.
Скриптовые модели взаимодействия
Робот выполняет запрограммированные движения по специально подобранному набору объектов, часто с различной скоростью, углом и давлением. Этот режим непревзойден для охвата конкретных режимов контакта — например, «пятьдесят вставок этого соединителя при десяти различных углах входа и трех условиях трения». Именно так создаются наборы данных, позволяющие выделить одну единственную переменную.
захват во время развертывания
Когда робот начинает работать в реальных условиях, каждая смена генерирует новые данные, включая редкие события, которые вы никогда не думали прописывать в скрипте. Замыкание цикла между развертыванием и переобучением — вот где достигаются долгосрочные улучшения возможностей.
Представьте себе производителя бытовой техники, внедряющего двухрычажную ячейку для прокладки жгутов проводов посудомоечных машин. Моделирование позволило команде создать рабочий прототип. Шесть недель дистанционных демонстраций — опытный техник, управляющий манипуляторами через сотни реальных жгутов проводов с полной записью тактильных ощущений — позволили вывести проект за пределы производственного цеха. Команды, реализующие программы такого масштаба, обычно полагаются на специалистов. Партнер по сбору данных о физическом ИИ обеспечивать укомплектование штата операторов, координировать работу буровых установок и управлять межмодальной синхронизацией, благодаря которой полученные данные действительно пригодны для обучения.
Несколько слов о моделировании: оно ценно, но само по себе не может обеспечить тактильные ощущения. Физика контактного взаимодействия, смоделированная в реальном мире, по-прежнему существенно отличается от реального трения, деформации и скольжения — особенно для гибких или податливых материалов. Синтетические тактильные данные дополняют набор данных из реального мира, но не заменяют его.
Каким образом необходимо маркировать тактильные данные?
Исходные потоки данных с датчиков не являются обучающими данными. Они становятся обучающими данными только после того, как аннотаторы отметят, что именно произошло, когда это произошло и насколько хорошо всё прошло. Пять групп меток имеют наибольшее значение.
Метки результатов понимания: Успешный, неудачный, вновь понятый, проваленный — эти термины применяются к каждому эпизоду манипуляции. Это сигналы контроля для всего последующего процесса.
Границы контактного режима и временные метки начала скольжения: Момент, когда захват касается объекта. Момент, когда объект начинает двигаться в захвате. Момент освобождения. Точность здесь измеряется десятками миллисекунд, потому что именно в эти секунды формируется обучаемый паттерн.
Диапазоны величин силы: Дискретизированные диапазоны сил на каждом этапе взаимодействия — приближение, контакт, посадка, удержание, отпускание. Это позволяет модели изучить, как выглядит «нормальный» профиль силы при введении, и, следовательно, распознать отклонения от нормы.
Метки для сопоставления зрительных и тактильных ощущений: Каждое тактильное событие должно быть согласовано с сопровождающим его визуальным контекстом и проприоцептивным состоянием в данный момент. Несогласованные модальности позволяют модели делать ошибочные выводы, что хуже, чем отсутствие данных.
Оценка деформаций и соответствия: Для деформируемых, мягких или хрупких объектов специалисты по аннотированию фиксируют, как объект изменялся под захватом и насколько податливым становился контакт.
Качественная разметка таких данных больше похожа на обучение игре на музыкальном инструменте на слух, чем на разметку фотографий. Аннотатор не обводит пешехода рамкой; он определяет точный момент изменения паттерна в сигнале частотой 1,500 Гц и называет, что это изменение означает. Производственные программы полагаются на специально разработанные тактильные и мультимодальные рабочие процессы аннотирования с поэтапным контролем качества, потому что один небрежный аннотатор может незаметно испортить весь процесс обучения.
Заключение — От «Не могу чувствовать» к «Знаю, что чувствовать»
Переход от роботов, способных видеть, к роботам, способным чувствовать, — это не скачок в аппаратном обеспечении. Это скачок в данных, которые обучают модели тому, что на самом деле означает прикосновение. Давление, вибрация, сила, проприоцепция — синхронно регистрируются, собираются в ходе реального взаимодействия и аннотируются с точностью, требуемой физикой. Команды, занимающиеся разработкой таких роботов, создают их. Физические системы искусственного интеллекта Те, кто работает в каждую смену, а не только на демонстрациях, — это те, кто рассматривает данные тактильного восприятия как тренировочный сигнал, каким он и является: узким, дорогим, незаменимым и единственным слоем, который превращает робота из наблюдателя за миром в существо, способное надежно действовать в нем.
Что считается данными тактильного восприятия?
Любой сигнал датчика, зафиксированный в точке контакта или вблизи нее — карты давления, графики вибрации, показания силы и крутящего момента, а также собственное проприоцептивное состояние робота во время контакта. Полезное определение охватывает все четыре класса, поскольку они почти всегда необходимы вместе.
Как именно осуществляется сбор тактильных данных?
Три практических режима: дистанционные демонстрации с участием человека, запрограммированные интерактивные установки, позволяющие изолировать определенные условия, и захват движений роботами в процессе эксплуатации. В производственных программах используются все три режима.
Можно ли получить тактильные данные в процессе моделирования?
Частично. Моделирование отлично подходит для моделирования больших объемов и редких сценариев, но физика контактного взаимодействия, моделируемая в реальном времени, все еще сильно отличается от реальности — особенно в случае трения, скольжения и деформируемых материалов. Синтетические тактильные данные дополняют данные из реального мира, но не заменяют их.
Какие аннотации необходимы для тактильных данных?
Результаты захвата, границы режимов контакта и временные метки скольжения, диапазоны величины силы на каждом этапе, сопоставление зрительных и тактильных ощущений, а также оценки деформации или податливости. Каждое семейство меток обучает модель различным аспектам манипуляции.
Почему не существует общедоступного набора данных тактильных ощущений масштаба ImageNet?
Поскольку тактильные данные могут быть получены только посредством физического контакта — датчик за датчиком, объект за объектом, эпизод за эпизодом. Аналога этому нет, и именно поэтому специализированные программы для сбора и аннотирования данных являются решающим фактором в развитии физического ИИ.
