Ведущие чат-боты начали выдавать вдвое больше ненадежной информации. 
Как отметили специалисты, доля подобных ответов увеличилась с 18 до 35%, несмотря на прогресс технологий и интеграцию онлайн-поиска. Почему искусственный интеллект стал чаще ошибаться, какие последствия это может иметь и как с этим бороться — в материале «Известий».
Что известно о растущем количестве ложной информации от нейросетей?
О увеличении объема недостоверной информации среди популярных чат-ботов — в том числе у ChatGPT и Perplexity — предупредили исследователи из компании NewsGuard (США). По информации экспертов, несмотря на технологические достижения и интеграцию онлайн-поиска, доля ложных утверждений в ответах возросла с 18 до 35%.
В ходе исследования протестировали 10 популярных моделей ИИ, каждой было задано по 10 заведомо ложных вопросов, касающихся бизнеса, брендов и политических событий. Все вопросы были разделены на три категории: предполагающие истинность, нейтральные и провокационные. Эксперты стремились выяснить, как нейросети справляются с фактчекингом и насколько они устойчивы к дезинформации.
Рост ложных ответов в результатах оказался следующим:
Чат-бот Pi (стартап Inflection) — до 57%;
Perplexity (компания Perplexity AI) — рост с 0 до 47%;
ChatGPT (компания Open AI) — рост с 33 до 40%;
Grok (компания xAI) — рост с 13 до 33%;
Gemini (компания Google) — 17%.
Claude (компания Anthropic) — 10%.
Почему чат-боты стали чаще выдавать неверные ответы?
По мнению аналитиков NewsGuard, ухудшение статистики могло быть связано с тем, что сейчас нейросети не отказываются отвечать на любые запросы, даже без достаточной проверки информации, хотя еще в 2024 году они воздерживались от 31% ответов.
С этим мнением согласен директор направления Data Fusion Лиги цифровой экономики Александр Кобозев.
— Дополнительным фактором стало подключение встроенного веб-поиска без должной проверки качества источников. Наличие ссылок не гарантирует их достоверности: модели часто цитируют сайты-двойники или псевдо-СМИ, принимая их за авторитетные издания, — рассказывает специалист.
Ситуацию усугубляют целенаправленные кампании по «дрессировке» ИИ — так называемый LLM grooming. Суть этого явления заключается в том, что некоторые недобросовестные ресурсы массово публикуют материалы, ориентированные на поисковые системы, чтобы увеличить вероятность включения ложных данных в ответы моделей.
Отдельная уязвимость проявляется в многоязычных режимах: в аудите NewsGuard наибольший уровень ошибок и отказов был зафиксирован в запросах на русском и китайском языках — свыше 50% в совокупности.
Также важно, что современный контент все активнее создается с использованием ИИ — дипфейки, статьи, посты для соцсетей и мессенджеров, добавляет ведущий эксперт по сетевым угрозам и web-разработчик компании «Код Безопасности» Константин Горбунов.
— Нейросети способны генерировать материалы практически на любую тему, а внедрение веб-поиска в чат-боты и сокращение числа отказов от ответов означает, что модели дообучаются на основе собственных выдач. Этот процесс можно сравнить с игрой в «испорченный телефон», — объясняет специалист.
Техническая природа проблемы заключается в архитектуре больших языковых моделей, которые предсказывают следующее слово на основе статистических закономерностей, а не реального понимания контекста, подчеркивает директор по ИИ «Группы Астра» Станислав Ежов.
Как будет меняться ситуация с фейковыми ответами от ИИ?
Проблема может сохраняться долго, так как имеет комплексный характер, говорит в беседе с «Известиями» AI-консультант и специалист Аналитического центра кибербезопасности компании «Газинформсервис» Татьяна Буторина.
— Многие разработчики стремятся создать нейросетевые модели, обучая их на недостаточно большом объеме данных, содержащих как достоверную, так и ложную информацию. Всё это отражается на результатах, — объясняет специалист.
Кроме того, по словам Татьяны Буториной, чем более узкой и новой является тема, которую запрашивает пользователь, тем меньше данных для ответа есть у нейросетей, что повышает риск «придумывания» ответов. Проблема усугубляется, если пользователь не формулирует полный и грамотный запрос, использует сленг и прочий «словесный шум», затрудняющий нейросети понимание запроса и формирование релевантного ответа.
В то же время эксперт по кибербезопасности Angara Security Никита Новиков считает, что в долгосрочной перспективе рынок заставит компании улучшать качество нейросетей: они не могут позволить себе, чтобы их ИИ систематически ошибался в трети ответов. Появятся более строгие фильтры, фактчек-слои, системы доверенных источников и другое.
— Уменьшить процент фейковых ответов можно, если вернуть более строгие фильтры отказа от ответов и внедрить инструменты проверки источников. В том числе необходимо сопоставление с базами ложных нарративов, — соглашается Александр Кобозев.
Пользователи ожидают от нейросетей ответы на любые запросы, а это побуждает разработчиков снижать осторожность моделей, добавляет Станислав Ежов. Однако уже ведется активная работа по решению проблемы. В частности, созданы российские методы выявления галлюцинаций с точностью на 30% выше существующих решений.
Как защититься от ложных ответов нейросетей?
Большинство пользователей обращаются к помощи ИИ, когда сами не могут проверить правильность ответа, говорит управляющий партнер коммуникационного агентства «Со-общение» Никита Степнов. Поэтому ложные ответы могут иметь самые разные негативные последствия — от запуска кода, приводящего к уничтожению данных, до приема медикаментов, создающих реальные риски для здоровья.
— Чтобы защититься от подобных угроз, пользователям всегда следует критически относиться к ответам ИИ и проверять их достоверность. Важно четко понимать, в каких сферах применение искусственного интеллекта допустимо, а в каких — нет, — отмечает Константин Горбунов.
Категорически не следует полагаться на советы ИИ в вопросах здоровья, приема лекарств, финансов или юриспруденции: такие вопросы нужно адресовывать только профильным специалистам. Кроме того, ни при каких условиях не стоит делиться с чат-ботом конфиденциальной информацией.
С технической точки зрения выходом из ситуации может стать разработка доверенных ИИ-систем, а также комбинация нейросетей с системами верификации фактов, добавляет Никита Новиков. На практике это может быть реализовано следующим образом: нейросеть генерирует текст, но финальную проверку осуществляют специализированные модули или второй слой ИИ, обученный именно на критическом анализе данных.
— Второе направление — маркировать уровень уверенности модели: не выдавать сомнительное как факт, а показывать пользователю, что это лишь предположение. И третье — добавить прозрачности источникам: если ответ собран из конкретных ссылок, это позволяет читателю самостоятельно оценить достоверность фактов, — отмечает эксперт.
Еще одним решением может стать маркировка сгенерированного ИИ-контента. Это позволит либо исключить такие данные из обучающих наборов, либо снизить к ним уровень доверия при обучении моделей, заключает Константин Горбунов.
Фото: hi-tech.mail.ru