Лицензирование готовых изображений и видеоданных лиц
Готовые наборы данных распознавания лиц для обучения моделей ИИ
Использование наборов данных, полученных этичным образом и имеющих разнообразный демографический состав, для ускорения обучения моделей ИИ и снижения предвзятости для ведущего мирового технологического конгломерата.
Обзор проекта
Клиент стремился ускорить Разработка распознавания лиц на основе искусственного интеллекта без длительных и дорогостоящих циклов сбора данных. Для этого им нужно было готовые к использованию наборы данных которые были не только большой и разнообразный, Но и полученные этично и соответствующие глобальным правилам конфиденциальности данных.
Компания Shaip предоставила комплексные наборы данных с контролируемыми вариациями освещения, положения головы, окклюзии и эмоций, что позволило моделям клиента добиться точности и объективности, а также соответствовать требуемым этническим и демографическим критериям. Каждый набор данных включал подробные метаданные, аннотации поз и ограничивающие рамки для распознавания эмоций, что позволяло обучать и тестировать модели в самых разнообразных реальных условиях.
Основная статистика
7,000+ предметов
в историческом наборе данных
с более чем 300 000 изображений
и 2,000 видеороликов.
10,000+ предметов
в наборе данных по многоракурсным эмоциям.
Изображения 74,880
в Освещение
Набор данных вариаций.
Изображения 18,600
охватывающий шесть
основные эмоции.
Объем проекта
Клиенту требовалось крупномасштабные, этически обоснованные и демографически разнообразные наборы данных изображений и видео лиц для поддержки разработки и обучения моделей распознавания лиц. Эти наборы данных были необходимы для реализации сценариев использования системы защиты от подмены, проверки личности, сопоставления изображений и анализа выражений, обеспечивая надежную и беспристрастную работу ИИ в реальных приложениях.
Объем работ включал:
- Доставка курируемые наборы данных разработан для решения таких задач распознавания лиц, как защита от подмены, проверка личности и распознавание выражений лиц.
- Обеспечение изображения и видео с подробными аннотациями для демографических данных, положения головы, окклюзии, типа освещения и эмоций.
- обеспечение сбалансированный демографический охват для уменьшения системной предвзятости в обучении.
- Гарантия соблюдение и согласие с глобальными стандартами защиты данных и конфиденциальности.
Примеры вкладов в набор данных:
- Исторический набор данных (~7,000 предметов): более 300 000 изображений и 2,000 видеороликов с вариациями поз и окклюзии.
- Набор данных эмоций под разными углами (~10 000 субъектов): 15–20 изображений на субъекта с разных ракурсов и в разных эмоциональных состояниях.
- Набор данных «Шесть эмоций» (~3,100 предметов): 18 600 аннотированных изображений, охватывающих основные выражения человеческого лица.
- Набор данных об изменении освещения (~468 объектов): 74 880 изображений в девяти условиях освещения.
Задачи
В проекте были рассмотрены основные проблемы, характерные для создания надежных моделей ИИ:
Недопущение чрезмерного представительства отдельных этнических групп или полов для обеспечения справедливости.
Фиксация условий освещения, углов лица, окклюзии и естественных выражений.
Предоставление сотен тысяч изображений высокого разрешения без ущерба для разнообразия.
Соблюдение строгих глобальных требований к конфиденциальности и защите данных с полного согласия участников.
Решение
Шаип реализовал структурированный подход для обеспечения качества и релевантности набора данных:
- Курируемые сбалансированные наборы данных с широким этническим, гендерным и возрастным представительством.
- Захваченный многоракурсные позы и вариации освещения для воссоздания реальных условий.
- Добавленный подробные аннотации (например, поза головы, окклюзии, эмоции) для повышения удобства использования набора данных.
- Установлено строгое рабочие процессы контроля качества и соответствия гарантировать этичность подбора поставщиков и соблюдение конфиденциальности.
Портфолио наборов данных
| Dataset | Объём | Демография/Разнообразие | Стандарты / Спецификации |
|---|---|---|---|
| Набор исторических изображений и видеозаписей лиц (~7,000 субъектов) | 7,000 изображений для регистрации; более 300 000 исторических изображений; 2,000 видеороликов (1 в помещении + 1 на улице на 1,000 объектов) | Этническая принадлежность: чернокожие (35%), восточноазиаты (42%), южноазиаты (13%), белые (10%); Пол: 50% мужчины / 50% женщины; Возраст: взрослые 18+ (последние 10 лет) | Продолжительность видео: 1–2 мин.; Изменение положения головы (P1–P7); 5 типов окклюзии (O0–O4). |
| Набор данных изображений лиц (~5,000 субъектов) | 35 изображений на тему; 2,500 индийцев; 1,000 азиатов; 1,500 чернокожих | Возраст: 18–60 лет; гендерное распределение сбалансировано. | Без украшения; Разнообразный фон и одежда; Мин. разрешение: 960×1280 |
| Набор данных об эмоциях под разными углами (~10 000 испытуемых – китайский) | 15–20 изображений на человека; Позы: спереди, слева, справа (30°–60°); Выражения: улыбка, открытый рот, грусть, серьёзность, нейтральность | Этническая принадлежность: китайская; Возраст: 18–26; Пол: 50/50. | Разрешение: 2160×3840 пикселей или выше |
| Набор данных «Шесть человеческих эмоций» (~3,100 субъектов) | 6 изображений на тему (разные выражения); всего 18 600 изображений | Этническая принадлежность: японцы (9,000), корейцы (2,400), китайцы (2,400), выходцы из Юго-Восточной Азии (2,400), южноазиаты (2,400); Возраст: 20–65 лет | Аннотации с ограничивающими рамками для эмоций; Однотонный фон; Отсутствие шляп, очков и других препятствий. |
| Набор данных об изменении освещения (~468 индийских субъектов) | 160 изображений на тему; Всего: 74 880 изображений | Возраст: 20–70; 70% мужчин | 9 условий освещения (в помещении, на улице, боковой свет, подсветка сзади, неон и т. д.) |
| Многоэтнический набор изображений лиц (~600 субъектов) | Всего 3,752 изображений | Этническая принадлежность: африканская, ближневосточная, коренная американка, южноазиатская, юго-восточноазиатская; возраст: 20–70 лет | - |
Результат
Сотрудничество оказало значительное деловое и техническое влияние:
- Улучшенная точность модели: Повышенная точность и полнота моделей распознавания лиц в различных вариантах использования.
- Уменьшение смещения: Сбалансированное демографическое представительство снижает системную предвзятость в результатах ИИ.
- Ускоренные сроки разработки: Готовые наборы данных позволили быстро создавать прототипы и обучать модели без длительного сбора данных.
- Соответствие нормативным требованиям: Все наборы данных соответствуют глобальным стандартам конфиденциальности и включают согласие участников.
Разнообразные наборы данных Shaip, полученные из этичных источников, обеспечили нам необходимую скорость, качество и соответствие требованиям. Благодаря готовым к использованию данным мы ускорили обучение моделей ИИ и значительно снизили системную предвзятость.
