Данные обучения искусственного интеллекта

Определение

Данные для обучения ИИ — это размеченный набор данных, используемый для обучения моделей машинного обучения выявлению закономерностей и генерации прогнозов. Они представляют собой «истину», на основе которой модели корректируют свои внутренние параметры.

Цель

Цель — предоставить примеры, которые помогут алгоритмам изучать статистические взаимосвязи. Это позволяет моделям обобщать примеры на ранее неизвестные данные.

Значение

• Качество обучающих данных напрямую влияет на точность модели.
• Предвзятые или несбалансированные данные приводят к созданию несправедливых или ненадежных моделей.
• Достаточно большие наборы данных улучшают обобщение.
• Утечка обучающих данных в тестовые наборы ставит под угрозу оценки.

Как это работает

1. Определите задачу прогнозирования и требования к набору данных.
2. Соберите соответствующие необработанные данные.
3. Пометьте или аннотируйте данные с правильными выходными данными.
4. Разделить на обучающие, проверочные и тестовые наборы.
5. Обучите модель корректировке весов на основе данных обучения.

Примеры (реальный мир)

• Набор данных COCO: аннотированные изображения для обнаружения и сегментации.
• Common Crawl: большой набор данных веб-текстов для предварительного обучения LLM.
• LibriSpeech: набор речевых данных для обучения ASR.

Ссылки/Дополнительная литература

• Данные для обучения машинному обучению — IBM Research.
• ISO/IEC 23053: Структура систем искусственного интеллекта с использованием машинного обучения — ISO.
• Структура управления рисками ИИ NIST — NIST.
• Что такое обучающие данные в машинном обучении – Шайп