Предварительная подготовка

Определение

Предварительное обучение — это начальное обучение модели машинного обучения на больших наборах данных общего назначения перед ее тонкой настройкой под конкретные задачи.

Цель

Цель состоит в том, чтобы предоставить моделям широкие возможности для решения различных задач, сокращая при этом требования к данным и вычислениям для последующей адаптации.

Значение

• Основа для современных LLM и моделей видения.
• Улучшает производительность при выполнении различных задач.
• Дорогостоящие с точки зрения данных и вычислений.
• Требуется тщательный отбор данных для избежания предвзятости.

Как это работает

1. Соберите большие общие наборы данных (текст, изображения).
2. Определите неконтролируемые или самоконтролируемые учебные задачи.
3. Обучайте модели для изучения общих характеристик.
4. Сохраняйте предварительно тренированные веса для повторного использования.
5. Тонкая настройка на небольших наборах данных, предназначенных для решения конкретных задач.

Примеры (реальный мир)

• BERT предварительно обучен на Wikipedia и BooksCorpus.
• CLIP обучен на парах изображение–текст.
• Модели GPT, предварительно обученные на больших интернет-текстах.

Ссылки/Дополнительная литература

• Девлин и др. «BERT: Предварительное обучение глубоких двунаправленных преобразователей». NAACL 2019.
• Рэдфорд и др. «Языковые модели усваиваются с небольшой скоростью». NeurIPS 2020.
• Технический отчет OpenAI GPT-4.