Аннотация ключевых точек человеческого тела
Шаип разметил 150 000 кадров изображений и видеоданных с помощью 36-точечной схемы, охватывающей все тело, объединив лицевые ориентиры (голова, глаза, уши, нос, подбородок) с суставами скелета (плечи, локти, запястья, бедра, колени, лодыжки) — для обеспечения оценки позы, анализа движений, отслеживания физической активности и искусственного интеллекта для мониторинга движений в здравоохранении.
Обзор проекта
Поскольку методы оценки позы и искусственного интеллекта для анализа движений человека внедряются в производство, клиенту потребовалась масштабируемая система аннотирования для разметки 150 000 кадров изображений и видеоданных с анатомически точным охватом ключевых точек всего тела в различных реальных условиях.
Компания Shaip разработала комплексный конвейер аннотирования, охватывающий размещение ключевых точек, обработку поз под разными углами, управление окклюзиями и структурированный контроль качества, — поддерживающий доставку 36-точечной схемы тела и создающий готовые к использованию наборы данных с постоянной ежедневной производительностью.
Ключевой статус
Аннотированные кадры
150,000
Основные положения / Основная часть
36
Ежедневная пропускная способность
30 кадров
Платформа
НДС
Задачи
- Масштабирование от контролируемых рабочих процессов с образцами до 150,000 кадров аннотации скелета всего тела
- Сохранение анатомическая точность при различных позах, углах обзора и условиях освещения.
- Управляемость частичная окклюзия и пересекающиеся темы без ущерба для точности ключевых точек
- координирующий лицевые ориентиры + скелет тела размещение на единой 36-точечной схеме
- Поддержание 30 кадров в день на одного аннотатора эталон производительности для всей команды
Решение
Стратегия аннотирования
Шаип разработал схему тела, состоящую из 36 ключевых точек и охватывающую всю анатомию: лицевые ориентиры (голова, глаза, уши, нос, подбородок) в сочетании с суставами скелета в области плеч, рук, туловища, бедер и ног. Платформа CVAT была настроена на основе этой схемы и внедрена во всей команде для обеспечения единообразной маркировки.
Работа с позами и разнообразием
В набор данных были намеренно включены изображения различных персонажей в разных позах, под разными углами, при разных условиях освещения и в разной одежде. Аннотаторы следовали рекомендациям для каждой позы, чтобы обеспечить одинаковую точность ключевых точек при обработке изображений в положении стоя, сидя, на корточках, лежа и в движении.
Правила окклюзии и правила для крайних случаев
Строгие правила регулировали обработку частичных перекрытий — ключевых точек за одеждой, частей тела, скрытых другими конечностями, и объектов, частично выходящих за пределы кадра. Скрытые ориентиры отмечались флагами видимости, а не аппроксимировались, что сохраняло целостность набора данных для последующих моделей оценки позы.
Критерии пропускной способности и производительности
Команда поддерживала целевой показатель в 30 утвержденных аннотированных кадров на одного аннотатора в день в течение 8.5-часовой смены. Этот показатель был откалиброван по целевым показателям точности, что гарантировало, что производительность не снизится при этом на качество.
Рабочий процесс обеспечения качества
Каждый аннотированный кадр проходил структурированную проверку качества, охватывающую точность размещения ключевых точек, правильность флагов видимости и соответствие 36-пунктной схеме. Отклоненные кадры возвращались для исправления с обратной связью от аннотаторов для обеспечения непрерывного совершенствования.
Объем проекта
| Тип набора данных | Объём | Ключевые точки | Платформа | Увеличить пропускную способность | Лента |
|---|---|---|---|---|---|
| Скелет человеческого тела + аннотации ключевых точек | 150,000 кадров | 36 на человеческую фигуру | НДС | 30 кадров в день/аннотатор | Многомесячный |
Результаты
- Создал масштабируемая система аннотирования с 36 ключевыми точками готов к обучению оценке позы
- Стандартизированный размещение анатомических ориентиров в области лица и скелета
- Поддерживается Производительность аннотаторов: 30 кадров в день без ущерба для точности
- Доставил разнообразный набор данных, охватывающий множество условий охватывая позы, освещение, ракурсы и типы одежды.
- Включено для клиента Оценка позы, анализ движений, отслеживание физической активности и искусственный интеллект для отслеживания движений в здравоохранении. Дорожная карта
В целом, компания Shaip помогла преобразовать требования к аннотированию ключевых точек для 150 000 кадров в структурированный, готовый к производству конвейер обработки данных, способный поддерживать искусственный интеллект для определения позы человека, отслеживание физической активности, диагностику движений и приложения для мониторинга движений в здравоохранении с неизменно высокой точностью и масштабируемостью.
Компания Shaip предоставила нам основу для аннотирования ключевых точек с точностью, необходимой для наших моделей оценки позы. Их 36-точечная схема выполнения, обработка окклюзий и стабильная ежедневная производительность напрямую привели к повышению эффективности моделей.
