Российские исследователи представили метод, который позволяет эффективно отслеживать возникновение галлюцинаций в работе систем искусственного интеллекта и выявлять такие сбои при использовании минимального количества примеров для обучения. Новый метод увеличивает точность обнаружения галлюцинаций примерно на 30%, сообщила пресс-служба Сбера. 
«Мы продемонстрировали, что даже при ограниченном количестве данных можно достичь высокой точности ИИ-систем. Наш предложенный метод применяет метамодели и умное понижение размерности — это прорыв в выявлении галлюцинаций искусственного интеллекта. Мы не только улучшаем технологии, но и уменьшаем риски дезинформации, что критично для доверия к современным моделям», — прокомментировал новшество директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев.
Как упоминается в сообщении, одной из основных проблем в разработке ИИ-технологий на основе больших языковых моделей и других продвинутых форм нейросетей является их способность генерировать правдоподобные, но при этом неверные ответы. Для выявления таких «галлюцинаций» ученые создали несколько методов, однако для работы большинства из них необходимы значительные объемы качественных размеченных данных для обучения.
Российские исследователи предложили более простой и удобный подход, который основывается на наборе алгоритмов, отслеживающих изменения в работе внутренних слоев системы ИИ в процессе формирования правильных ответов и галлюцинаций, а также на системах классификации, построенных на классических алгоритмах машинного обучения или высокоскоростной нейросети-трансформере TabPFNv2.
Для обучения и проверки эффективности этой системы исследователи использовали ряд наборов запросов, контекстов и ответов больших языковых моделей, часть из которых была верной, а другие содержали галлюцинации. Эти испытания показали, что разработка российских ученых, используя всего 250 примеров, достигла уровня самых эффективных систем обнаружения галлюцинаций, созданных на основе коммерческих больших языковых моделей с закрытым кодом.
Эта особенность, по словам разработчиков метода, позволит компаниям существенно сэкономить ресурсы на разметку данных и повысить качество систем ИИ, способных использовать внешние данные при формировании ответов на запросы пользователей. Также ученые и разработчики получают новый инструмент для анализа больших языковых моделей, а пользователи — более точные ответы от ИИ, подытожили исследователи.
Фото: hi-tech.mail.ru