В ответ на запрос пользователя большие языковые модели могут предоставлять не только непроверенные сведения, но и совершенно абсурдные отклики.
Похоже, что количество галлюцинаций в контенте, создаваемом ИИ, со временем только увеличивается. Генеральный директор компании VolgaBlob Александр Скакунов полагает, что необходима новая модель работы с данными, которая предполагает разделение массового продукта и «чистых водоемов» с отфильтрованным и проверенным содержанием.
Замыкание на себя
Вероятно, каждый, кто активно взаимодействует с большими языковыми моделями (LLM), не раз сталкивался с проблемами галлюцинаций (ситуация, когда чат-бот или языковая модель создает ложный, вводящий в заблуждение или полностью вымышленный контент, представляя его как достоверный факт. — Forbes). Согласно данным одного из последних экспериментов, доля неточных ответов варьируется от 3% до 27%, в зависимости от модели ИИ. Другие исследования выявили фактические ошибки в 46% сгенерированных текстов, а логические — в 31%.
ИИ склонен к ошибкам, но это еще не все. Часто он не просто ошибается, а с уверенностью и воображением генерирует чепуху. Широкий резонанс вызвал случай, когда Google AI Overviews предложил добавить клей в томатный соус, чтобы сыр на пицце лучше держался. В другой раз он подтвердил существование и придумал смысл вымышленной поговорки: «Барсука дважды не лизнешь».
Скандальная ситуация произошла с американским адвокатом Стивеном Шварцем, который оказался под дисциплинарным расследованием, когда сослался в суде на шесть несуществующих прецедентов, сгенерированных ChatGPT. Тем не менее, проблемы, связанные с бредогенерацией ИИ, могут иметь гораздо более серьезные последствия, чем репутационный ущерб. Ученые из Массачусетского университета в Амхерсете обнаружили, что медицинские заключения, созданные ИИ, содержат некорректные данные и обобщения, недопустимые с точки зрения медицинской этики.
Загрязнение источников
ИИ-модели, перегруженные бесконечным потоком однотипных вопросов, промптов, обрывков ошибочных и сознательно фальсифицированных знаний, начинают воспроизводить эти искажения. При этом отношение к технологии остается потребительским: пользователь стремится получить информацию, а не создавать новое знание. Возникает замкнутый круг: качество информации деградирует, как водоем, в который без остановки сливают сточные воды.
Почему это происходит? В первую очередь из-за замкнутой экосистемы, где приток новых достоверных данных снижается. Мы наблюдаем, что интернет как основной источник текстов начал истощаться. Оцифровка качественных источников — книг, статей, записей научных дискуссий — была сложным и дорогостоящим процессом, но она уже в значительной степени завершена. Потенциал таких источников для обучения ИИ практически исчерпан.
Новые качественные текстовые данные из верифицированных источников появляются в незначительных объемах — сотые или тысячные доли процента от общего объема. Кроме того, многие интернет-сообщества, например Reddit, осознавая угрозу бесконтрольного использования их контента для тренировки ИИ, стали ограничивать доступ к своим ресурсам. В результате вместо создания оригинального контента информация в интернете все чаще воспроизводится в различных интерпретациях, что приводит к «заболачиванию». Отчасти проблему мог бы решить видеоконтент. Однако пока значительного прогресса в преобразовании видео- и аудиоконтента в текст, который мог бы стать новым источником данных, не произошло.
Вторая проблема заключается в том, что подавляющее большинство данных, генерируемых в мире, непригодно для обучения LLM. С одной стороны, крупные корпорации (Boeing, Airbus, РЖД) за один час могут создать объемы данных, превышающие весь корпус мировой литературы по теме. С другой, эти данные — телеметрия, транзакции, показания датчиков, аутентификации пользователей, серверные логи — в основном представляют собой «сухие» нули и единицы, непригодные для обучения и работы LLM. Им нужны данные, подходящие для восприятия человеком: литературные тексты, посты в соцсетях, обсуждения на форумах, где присутствует структура, смысл и логика. Это то, что можно привычным для ИИ образом разложить на весовые значения слов и использовать для общения с человеком на естественном языке. Например, литературное произведение для ИИ-моделей ценнее, чем петабайты телеметрических данных от Boeing, так как в нем содержатся нарративы и контекст.
Огромные массивы машинных данных, конечно, не пропадают зря. Компании успешно строят бизнес на их глубоком анализе — выявляют причинно-следственные связи, строят прогнозные модели и извлекают практическую ценность. Для пользователей это уже сегодня означает повышение эффективности, снижение затрат и новые возможности. Логично ожидать, что в будущем подобные данные научатся применять в обучении генеративного ИИ, что позволит ему совершить качественный скачок в точности и полезности.
Третья причина — стремительный рост объемов вторичной и синтетической информации. Для языковой модели текст романа «Война и мир» и рецензия на него в каком-то смысле равнозначны. Модель не отличает первоисточник от производного текста, и инструментов для этого пока не создано. А вторичных материалов уже на порядки больше, чем оригинальных. В итоге качественные тексты размываются потоком их переосмыслений и пересказов. Например, если пользователь запрашивает эссе по роману Толстого, то создается «новый» текст, в котором нет ничего принципиально нового, но он попадает в Сеть и становится частью общей массы. В итоге 0,001% исходных качественных литературных текстов размывается десятками, сотнями, тысячами процентов производных от них.
Все это ведет к «отупению» ИИ. Но виновата не модель, а среда, в которой она функционирует. Информационное поле распределяется типичным образом: в середине — масса однотипного контента, в «хвостах» — уникальное и сложное, на что модель отвечает хуже. Но именно эти хвосты важны: научные исследования, глубокая аналитика, редкие факты.
Кроме того, для обучения новых моделей ИИ теперь используется контент, сгенерированный предыдущими моделями, включая и сфабрикованную информацию, встроенную в правдоподобные повествования и логические цепочки. В итоге это только повышает градус бреда.
Весной 2025 года вышло исследование OpenAI, из которого следует, что последние на тот момент и наиболее мощные модели компании — 03 и 04-mini в 33% и 48% случаев соответственно выдавали ложную информацию при тестировании. Это более чем в два раза превышает показатель старой модели o1. Согласно другим тестам, новая модель рассуждений R1 от китайской компании DeepSeek, галлюцинирует гораздо чаще, чем ее же более ранние модели.
Как бороться с бредогенерацией
Мы впервые переживаем эпоху, когда границы между правдой и вымыслом становятся настолько размытыми. Однако кое-какие выводы уже можно сделать.
Во-первых, попытки регулировать доступ к данным и LLM пока не увенчались успехом. Например, эксперименты с аутентификацией через некие «точки доверия» проваливаются — как в России, так и за границей. С одной стороны, это создает угрозы для развития бизнеса. С другой, централизованная проверка трафика требует ресурсов, которых нет даже у государства. Очевидно, что эксперименты в этой области будут продолжаться, но об их перспективах говорить пока сложно. Вероятно, успех ждет корпоративные решения, которые могут блокировать проблему хотя бы на уровне отдельных бизнес-единиц.
Во-вторых, не исключено, что мы стоим на пороге перехода к более специализированной модели работы с данными. Массовый контент, который сейчас заполняет интернет, останется для простых задач — вроде написания рефератов для школьников или студентов. А для серьезной исследовательской работы, аналитики и разработки ИИ потребуются «чистые водоемы» — проверенные, отфильтрованные и верифицированные данные. За доступ к таким данным компании и пользователи будут готовы платить, а значит, качественный контент станет доступен только по подписке.
Драйвером этих изменений могут стать крупные корпорации. Низкое качество данных тормозит их прогресс, поэтому они будут заказывать очистку данных и создание надежных датасетов. Станут востребованы инструменты для разметки существующих данных, своего рода «файерволы» для выделения в неструктурированных массивах информации оазисов с чистой, пригодной для анализа и дальнейшего использования информацией. Это подразумевает в первую очередь избирательный доступ к данным на основании ролевой модели — чего напрочь не хватает в современных LLM. Сейчас они выдают ответы без разбора, не разграничивая доступ к датасету. Тот, кто первым предложит рынку такие решения, получит конкурентное преимущество.
В конечном счете, одна из ключевых проблем на сегодня — не столько бредогенерация сама по себе, сколько доверие к тому, что подсказывает машина. Важно помнить, что LLM в большинстве случаев просто не может ответить на вопрос «я не знаю». Для нее «дело чести» дать пользователю рационально выглядящий ответ, даже если он на деле будет чистым вымыслом. Не понимая этого, люди начинают выстраивать свою жизнь вокруг рекомендательных алгоритмов, передавая ИИ планирование графика встреч, спорта, питания, не задумываясь при этом, что он может выдавать бесполезные и опасные результаты. Хуже того, отправляя ИИ результаты своих медицинских анализов, они на ложных выводах могут строить себе диагнозы, принимать таблетки и БАДы от несуществующих болезней, ухудшая свое здоровье.
Остается только порекомендовать скептически воспринимать ответы ИИ и перепроверять как сами выводы, так и ссылки на источники данных. Главное же — не просто использовать эти ответы, а размышлять над ними, развивая собственный интеллект и не позволяя ему угасать. Только осознанное использование ИИ позволит сохранить наш разум и не утонуть в потоке бреда.
Мнение редакции может не совпадать с точкой зрения автора
Фото: hi-tech.mail.ru
