Аннотация данных

Определение

Аннотирование данных — это процесс маркировки необработанных данных тегами, которые делают их значимыми для моделей искусственного интеллекта. Примерами могут служить маркировка изображений по категориям объектов или маркировка текста по тональности.

Цель

Цель — создать обучающие наборы данных, позволяющие ИИ изучать закономерности в контролируемом обучении. Без аннотирования многие задачи ИИ были бы невозможны.

Значение

• Предоставляет «основные данные» для обучения моделей МО.
• Качество аннотаций влияет на точность и справедливость модели.
• Задача, требующая много времени и ресурсов.
• Часто требует экспертных знаний в предметной области (например, медицинская аннотация).

Как это работает

1. Определите задачи и обозначьте категории.
2. Собирайте и предварительно обрабатывайте необработанные данные.
3. Используйте инструменты аннотирования для маркировки.
4. Подтверждение посредством проверок качества.
5. Экспорт маркированных данных для обучения модели.

Примеры (реальный мир)

• Amazon Mechanical Turk: краудсорсинговая платформа для аннотаций.
• Shaip: сервис аннотации данных для наборов данных автономных транспортных средств.
• Маркировка радиологических изображений: больницы аннотируют сканирования для диагностики с помощью ИИ.

Ссылки/Дополнительная литература

• Аннотация данных для ИИ — NIST.
• Аннотирование и маркировка наборов данных — Труды IEEE по инженерии данных.
• ISO/IEC 24617: Структура семантической аннотации — ISO.
• Что такое аннотация данных — Shaip