галлюцинации llm

Галлюцинации LLM — явление, при котором большая языковая модель генерирует информацию, звучащую достоверно и уверенно, но не соответствующую реальности: несуществующие факты, вымышленные цитаты, ошибочные числа, выдуманные источники. Термин заимствован из психологии и точно передаёт суть: модель «видит» то, чего нет.

Почему LLM галлюцинируют

LLM обучены предсказывать следующий токен максимально правдоподобным образом — с учётом статистики огромного обучающего корпуса. Это не механизм поиска факта из памяти; это вероятностная генерация. Если в обучающих данных встречались высококачественные тексты с определённой структурой изложения, модель будет воспроизводить эту структуру, даже заполняя конкретные детали «придуманным», но правдоподобным содержимым.

Дополнительные факторы: разреженное покрытие редких тем в обучающих данных, конфликтующая информация из разных источников, отсутствие механизма «не знаю», давление авторегрессионной генерации — однажды начав предложение, модель должна его закончить.

Типы галлюцинаций

Фактические ошибки

Неверные даты, имена, числа, названия. «Альберт Эйнштейн родился в 1877 году» (правильно: 1879). Модель воспроизводит правдоподобный контекст, но деталь неверна.

Вымышленные источники

Наиболее опасный тип для академического и юридического применения. Модель генерирует несуществующие научные статьи с реальными именами авторов, правдоподобными названиями журналов и даже DOI-идентификаторами. Известный случай — американский адвокат, который подал суду несуществующие прецеденты, сгенерированные ChatGPT.

Противоречия внутри текста

Модель утверждает одно в начале текста и противоречит себе ближе к концу — особенно характерно при длинных генерациях.

Галлюцинации в контексте RAG

Даже при наличии релевантного контекста модель иногда игнорирует предоставленные данные и генерирует ответ из «памяти» — особенно при недостаточно чётком промпте или при вопросе, ответ на который не содержится в контексте явно.

Масштаб проблемы

Исследования показывают: GPT-3.5 галлюцинирует в 15–20% фактических вопросов. GPT-4 снизил этот показатель до 5–10%, но не до нуля. Claude и Gemini демонстрируют схожие цифры. При работе с очень специфическими или редкими темами частота галлюцинаций резко возрастает.

Методы снижения галлюцинаций

RAG (Retrieval-Augmented Generation)

Привязка ответа к конкретным документам из базы знаний — наиболее эффективный практический подход. При явном указании источников и запросе на цитирование модели реже «изобретают» факты.

Верификация в промпте

Инструкции «Если ты не уверен — скажи об этом», «Не придумывай источники», «Ответь только на основе предоставленного контекста» снижают частоту галлюцинаций. Просьба оценить уверенность (confidence) в ответе полезна.

RLHF и Constitutional AI

Обучение с подкреплением от человеческой обратной связи карает модель за галлюцинации в оценках людей-экспертов. Это системный метод снижения, встроенный в процесс обучения.

Самопроверка и multi-agent verification

Один агент генерирует ответ, второй его проверяет на противоречия и запрашивает доказательства. Self-RAG дообучает модель решать, нужен ли ретривал для ответа на конкретный вопрос.

Детекция галлюцинаций

Автоматические методы: перекрёстная проверка с поисковиком, сравнение ответа с источниками (factual consistency scoring), использование NLI-моделей для проверки следования контексту. Инструменты: RAGAS, TruLens, G-Eval, LLM-as-judge.

Последствия и практические рекомендации

В критически важных применениях (медицина, юриспруденция, финансы) галлюцинации недопустимы. Рекомендации: использовать RAG с явными цитатами, добавлять слой верификации через поиск, информировать пользователей о возможности ошибок, не использовать LLM как единственный источник важных фактических утверждений. Для задач, где точность критична, всегда предусматривайте человеческую проверку.