Исследователи Центра практического искусственного интеллекта Сбера и «Сколтеха» разработали новый подход для выявления галлюцинаций в больших языковых моделях в системах с поиском по внешним источникам (RAG).
Работа под названием Hallucination Detection in LLMs with Topological Divergence on Attention Graphs уже была представлена на конференции Association for Computational Linguistics — ACL 2026. Уточняется, что большие языковые модели становятся все более распространенными в роли основ ИИ-ассистентов и автономных агентов. Для повышения точности их ответов современные системы часто применяют RAG — перед генерацией модель получает дополнительную информацию из корпоративных баз данных, документов и других внешних источников. Тем не менее, ИИ может создавать правдоподобные, но неверные ответы.
Для обнаружения таких галлюцинаций уже существуют специальные методы, но многие из них требуют либо большого объема размеченных данных, либо дополнительных вычислительных ресурсов.
В основе решения, предложенного российскими учеными, лежит анализ топологической структуры карт внимания модели. Такой подход позволяет выявлять ответы, которые не подтверждены предоставленным контекстом, без необходимости обучать дополнительные модели и основываясь на ограниченном объеме размеченных примеров для настройки.
Авторы протестировали метод на задачах ответов на вопросы и суммаризации текста. На нескольких бенчмарках он продемонстрировал результаты на уровне современных методов и даже превзошел их при минимальных требованиях к размеченным данным и вычислительным ресурсам.
В Сбере отметили, что еще одним преимуществом метода является отсутствие необходимости обучения отдельного классификатора. Согласно данным авторов, TOHA демонстрирует результаты, сопоставимые с значительно более вычислительно затратным методом SelfCheckGPT, который включает в себя несколько генераций ответа.
Фото: hi-tech.mail.ru