Поисково-дополненная генерация (RAG)

Определение

Метод дополненной генерации (RAG) сочетает генеративные модели с системами поиска информации. Он использует внешние источники для повышения фактической точности выходных данных.

Цель

Цель — уменьшить галлюцинации в генеративном ИИ путём дополнения ответов найденными документами. Это особенно полезно при ответах на вопросы и решении задач, требующих больших знаний.

Значение

• Повышает фактическую точность результатов LLM.
• Обеспечивает интеграцию знаний, специфичных для предметной области.
• Требуются надежные системы поиска.
• Относится к гибридному поиску и контролю качества в открытом домене.

Как это работает

1. Пользователь вводит запрос или подсказку.
2. Поисковая система извлекает соответствующие документы.
3. Документы передаются в генеративную модель.
4. Модель генерирует ответы на основе полученного контента.
5. Обратная связь улучшает будущие показатели.

Примеры (реальный мир)

• OpenAI ChatGPT с плагинами для просмотра и поиска.
• Модель Meta RAG: исследование LLM, основанных на поиске.
• Perplexity AI: диалоговый поиск с дополненной реальностью.

Ссылки/Дополнительная литература

• Льюис и др. «Генерация дополненной поисковой информации для обработки естественного языка, требующей больших знаний». NeurIPS 2020.
• Реализация RAG для обнимающего лица.
• Исследования Стэнфордского института HAI по методам поиска.
• Что такое RAFT? RAG + Тонкая настройка