галлюцинация

Определение

В ИИ галлюцинации относятся к случаям, когда модель генерирует четкие, но фактически неверные или бессмысленные результаты. Это особенно распространено в больших языковых моделях и генеративном ИИ.

Цель

Изучение галлюцинаций помогает повысить надёжность и безопасность моделей. Оно позволяет разработчикам разрабатывать меры безопасности для обнаружения и снижения количества неточных результатов.

Значение

• Снижает доверие к ИИ, если не принять меры.
• Может нанести вред в чувствительных областях, таких как здравоохранение или юриспруденция.
• Подчеркивает ограничения текущих генеративных моделей.
• Стимулирует исследования в области методов фактологического обоснования и поиска информации.

Как это работает

1. Модель получает подсказку или запрос.
2. Формирует выходные данные на основе изученных шаблонов, а не проверки фактов.
3. Может давать правдоподобные, но неверные результаты.
4. Применяются методы обнаружения и коррекции (например, RAG).

Примеры (реальный мир)

• ChatGPT иногда выдает неверные факты при запросе.
• Первоначальная демоверсия Google Bard выявила фактические ошибки.
• Медицинские рекомендации, выдаваемые искусственным интеллектом, иногда содержат неточности.

Ссылки/Дополнительная литература

• «Уменьшение галлюцинаций в больших языковых моделях» — препринт arXiv.
• Структура управления рисками ИИ NIST.
• Митчелл и др. «Карточки моделей для модельной отчетности». ACM FAccT.
• Причины галлюцинаций ИИ