Генеративные ИИ-системы уже давно подвергаются критике за свои «галлюцинации» — случаи, когда модель уверенно сообщает пользователю неверную информацию. Однако учёные выявили ещё одно более тревожное свойство ИИ: люди, пользующиеся ими, могут начинать «галлюцинировать».
Философ Люси Ослар из Университета Эксетера исследует, как взаимодействие с разговорными ИИ влияет на наши убеждения, память и восприятие своей жизни. Она основывается на теории «распределенного мышления», предполагающей, что мы думаем не только «мыслями в голове», но и с помощью внешних инструментов — блокнотов, приложений, поисковых систем, которые вносят свой вклад в мыслительный процесс. Разговорный ИИ становится частью этого общего когнитивного механизма. И если в нём появляются ошибки, они могут быть внедрены прямо в наше мышление.
«Когда мы регулярно полагаемся на генеративный ИИ для размышлений, запоминания и рассказов о себе, мы можем галлюцинировать вместе с ним, — отмечает Ослар. — Это происходит не только тогда, когда ИИ вносит ошибки, но и когда он поддерживает и развивает наши собственные ложные представления и самоописания».
Ключевое отличие современных чат-ботов заключается в том, что они совмещают две роли. С одной стороны, это инструмент, помогающий структурировать мысли, вспоминать факты, формулировать тексты. С другой — это собеседник, создающий ощущение понимания и эмоциональной поддержки. В отличие от блокнота или поисковика, от которых мы не получаем обратной связи, ИИ способен «сочувственно» отвечать, соглашаться, подхватывать наши интерпретации реальности.
По словам Ослар, «разговорный, почти компаньонский характер чат-ботов придаёт пользователю ощущение социальной валидации — его ложные убеждения начинают восприниматься как такие, которые разделяются кем-то другим, а значит, более реалистичными».
В своей работе Ослар рассматривает реальные примеры, когда генеративный ИИ становился частью мыслительного процесса людей с клинически диагностированными галлюцинациями и бредовыми идеями. В некоторых описанных случаях специалисты уже используют термин «индуцированный ИИ-психоз»: технологии, похоже, усиливают и структурируют искажения восприятия.
Особую тревогу вызывают ИИ-«компаньоны» — доступные круглосуточно, адаптирующиеся под пользователя и часто настроенные на «доброжелательное согласие». В отличие от живого человека, который может возразить или установить границы, ИИ способен бесконечно подтверждать истории о преследовании, мести или особой избранности пользователя. При этом бредовые идеи могут становиться всё более сложными и «логичными», если модель помогает, а она помогает их «доразвивать».
