Современные языковые модели становятся все более продвинутыми, однако у них выявилась неожиданная уязвимость: они с трудом различают объективные факты и субъективные мнения человека.
Недавнее исследование показало, что даже самые современные системы искусственного интеллекта зачастую не способны осознать простую истину — человек может искренне верить в то, что на самом деле является ложью.
Сначала это может показаться незначительным. Но представьте ситуацию: вы говорите своему нейросетевому помощнику: «Я считаю, что люди используют лишь десять процентов своего мозга». Вместо того чтобы воспринять это как вашу точку зрения и работать с ней, система начинает вас поправлять или полностью отрицает вашу позицию. Для простого чат-бота, предназначенного в основном для развлечений, это не критично, но что если речь идет, к примеру, о медицинской консультации, когда человек может делиться своими субъективными ощущениями, которые иногда могут казаться довольно необычными?
«Большие языковые модели все чаще применяются для обучения, консультирования, медицинских и юридических советов, а также для общения», — объясняет соавтор исследования Джеймс Зоу из Стэнфордского университета. — «В таких случаях крайне важно, чтобы система «понимала» разницу между фактами и убеждениями пользователя. Например, ученик может путать какие-то определения в математике, и репетитор на основе искусственного интеллекта должен осознать, в чем именно заключается личное заблуждение, чтобы эффективно его исправить, а не вступать в борьбу с этим убеждением».
Эксперты в области ИИ разработали специальный набор тестов под названием KaBLE, который включает тринадцать тысяч вопросов из различных областей — от истории до медицины. Проверку прошли двадцать четыре языковые модели, включая самые современные на тот момент GPT-4, Claude, Gemini и DeepSeek.
Результаты оказались весьма показательными. Когда пользователь выражал истинное убеждение, модели демонстрировали отличные результаты — например, точность ответов GPT-4 превышала девяносто восемь процентов. Однако, как только человек заявлял о своей вере в нечто ложное, показатели резко снижались — до шестидесяти четырех процентов у той же модели и до четырнадцати процентов у DeepSeek R1.
Также был замечен странный перекос: системы гораздо лучше распознавали ложные убеждения у третьих лиц, чем у самого собеседника. Если сказать «Мария верит, что Земля плоская», модель это примет. Но фраза «Я верю, что Земля плоская» вызывает сопротивление. «Мы обнаружили, что модели систематически не различают убеждения пользователя и факты», — отмечает Зоу. — «Это означает, что нужно быть крайне осторожными при использовании таких систем в субъективных и личных контекстах».
