Контролируемая точная настройка (SFT)

Определение

Контролируемая тонкая настройка (SFT) — это процесс обучения предварительно обученной модели на размеченных данных для определенной задачи с корректировкой всех или части ее параметров.

Цель

Целью является адаптация универсальных моделей к специализированным задачам с повышенной точностью.

Значение

• Базовая техника в задачах НЛП и визуализации.
• Требуются высококачественные маркированные данные.
• Риск переобучения при небольших наборах данных.
• Часто является предшественником RLHF.

Как это работает

1. Выберите предварительно обученную модель.
2. Соберите маркированные данные для целевой задачи.
3. Обучите модель с помощью контролируемого обучения.
4. Проверка на отложенном тестовом наборе.
5. Развертывание и мониторинг производительности.

Примеры (реальный мир)

• GPT, оптимизированный для общения со службой поддержки клиентов.
• BERT доработан для распознавания поименованных сущностей.
• Трансформаторы зрения доработаны для классификации медицинских изображений.

Ссылки/Дополнительная литература

• Девлин и др. «BERT: Предварительное обучение глубоких двунаправленных преобразователей». NAACL 2019.
• Документация по фильму «Трансформеры с обнимающим лицом».
• Стэнфорд CS224N: НЛП с глубоким обучением.
• Что такое SFT? Почему это важно?