Маркировка данных

Определение

Маркировка данных — это процесс присвоения категорий, тегов или атрибутов необработанным данным для обучения моделей машинного обучения. Это ключевой процесс в контролируемом обучении.

Цель

Цель — сделать необработанные наборы данных пригодными для обучения и оценки. Метки предоставляют «ответы», необходимые моделям в процессе обучения.

Значение

• Критически важно для построения точных контролируемых моделей МО.
• Плохая маркировка снижает надежность системы.
• Часто трудоемкий и дорогостоящий.
• Требуются экспертные знания в таких областях, как медицина или юриспруденция.

Как это работает

1. Определите задачи и маркируйте схему.
2. Сегментируйте необработанные данные на единицы (изображения, предложения, аудиоклипы).
3. Назначайте метки вручную или с помощью полуавтоматических инструментов.
4. Выполняйте проверки качества и проверки согласованности между аннотаторами.
5. Экспортируйте маркированные наборы данных для обучения.

Примеры (реальный мир)

• Shaip: маркировка данных для автономных транспортных средств.
• Наборы данных Kaggle: предназначены для соревнований по машинному обучению.
• Наборы данных радиологических изображений: маркированы медицинскими экспертами.

Ссылки/Дополнительная литература

• Аннотация данных для ИИ — NIST.
• Аннотирование и маркировка наборов данных — Труды IEEE по инженерии данных.
• ISO/IEC 24617: Структура семантической аннотации — ISO.
• Что такое маркировка данных? Всё, что нужно знать новичку – Shaip