Готовые наборы данных

Определение

Готовые наборы данных — это предварительно собранные и общедоступные или коммерческие наборы данных, которые можно использовать непосредственно для обучения или оценки моделей ИИ.

Цель

Целью является ускорение исследований и разработок путем предоставления легкодоступных данных без дорогостоящего сбора.

Значение

• Экономит время и ресурсы для команд ИИ.
• Обеспечивает воспроизводимость и сравнительный анализ.
• Для некоторых задач может отсутствовать предметная специфичность.
• Требуется проверка на предмет предвзятости и ограничений лицензирования.

Как это работает

1. Определить набор данных, релевантный задаче ИИ.
2. Ознакомьтесь с ограничениями по лицензированию и использованию.
3. Загрузите или приобретите набор данных.
4. При необходимости выполните предварительную обработку для обеспечения совместимости.
5. Обучайте или оценивайте модели с использованием набора данных.

Примеры (реальный мир)

• MNIST: набор данных рукописных цифр для сравнительного анализа.
• ImageNet: крупномасштабный набор данных для компьютерного зрения.
• Common Crawl: открытый набор веб-текстовых данных для обработки естественного языка.

Ссылки/Дополнительная литература

• Проект ImageNet.
• Фонд Common Crawl.
• Репозиторий наборов данных Kaggle.
• Рынок данных ИИ для обучения моделей машинного обучения