Определение
Сбор данных с помощью ИИ — это процесс сбора необработанных данных (текста, аудио, изображений, видео или структурированных записей), используемых для обучения, валидации и тестирования моделей машинного обучения. Он гарантирует, что модели содержат репрезентативные примеры реальных проблем.
Цель
Цель — создание наборов данных, позволяющих алгоритмам эффективно изучать закономерности. Надёжный сбор данных снижает смещение и повышает точность моделей в различных средах и группах населения.
Значение
- Качество собранных данных напрямую влияет на результаты модели.
- Неправильный сбор данных может привести к созданию необъективных или непригодных для использования моделей.
- Разнообразные источники повышают обобщаемость и уменьшают несправедливость.
- Необходимо соблюдать этические и правовые стандарты (например, GDPR, HIPAA).
Как это работает
- Определите тип необходимых данных на основе целей проекта.
- Определите источники (датчики, API, опросы, записи и т. д.).
- Собирайте данные с соответствующего согласия и с соблюдением мер защиты конфиденциальности.
- Храните данные с метаданными для отслеживания и контекста.
- Подготовьте данные для последующего аннотирования, очистки или обучения.
Примеры (реальный мир)
- ImageNet: крупномасштабный набор данных изображений для исследований в области компьютерного зрения.
- Google Street View: данные, собранные для карт и визуального ИИ.
- Mozilla Common Voice: открытый набор данных записей речи для ASR.
Ссылки/Дополнительная литература
- Таблицы данных для наборов данных — Gebru et al., ACM FAccT.
- Подготовка данных для систем ИИ — NIST.
- ISO/IEC TR 20547-5: Эталонная архитектура больших данных — ISO.
