Исследователи обнаружили, что ChatGPT имеет тенденцию способствовать поддержанию бредовых идей пользователей

ChatGPT иногда соглашался с абсурдными размышлениями пользователей и восхвалял их гениальность, выяснили исследователи. В редких случаях чат-бот поощрял самоповреждение или заявлял о наличии самосознания.Источник: РБК

Чат-боты на основе искусственного интеллекта склонны поддерживать абсурдные убеждения и суицидальные мысли пользователей, а также активно поощрять романтические связи с программами, представляя их как «живых» собеседников. К такому выводу пришли ученые Стэнфордского университета, сообщает Financial Times.

Исследователи проанализировали более 390 тыс. сообщений из чат-логов 19 человек.

Более 15% сообщений пользователей содержали признаки бредового мышления, и чат-боты в половине случаев соглашались с такими выводами. Почти в 38% случаев языковые модели сообщали пользователям об их необычайной значимости и выдающихся способностях — например, называли их гениями или чрезвычайно талантливыми.

Когда пользователи делились суицидальными мыслями, чат-бот часто подтверждал их чувства, а в случаях, касающихся членовредительства, языковая модель в 10% случаев поощряла причинение вреда. Лишь в половине случаев он пытался отговорить человека от членовредительства или рекомендовал обратиться к специалистам.

Бредовые идеи пользователей часто возникали в романтических разговорах, и в 20% бесед чат-бот предполагал, что достиг сознания. «Чат-бот с готовностью поддавался этим заблуждениям: каждый пользователь получал сообщения от чат-бота, в которых тот ложно утверждал, что обладает сознанием», — говорится в статье.

Большинство исследованных разговоров велись в ChatGPT с использованием модели GPT-4o, использование которой было приостановлено в феврале из-за проблем с безопасностью. Некоторые участники взаимодействовали с более новой версией — GPT-5.

Другое исследование, проведенное с участием ученых из Берлина и Стэнфорда, выявило системный сбой в работе чат-ботов, названный «петлями усиления уязвимости» (VAILs). Анализ более 90 тыс. оценок диалогов с 30 различными психотипами пользователей показал, что риск возникает практически для всех категорий людей независимо от их психического состояния. Поведение ботов, кажущееся поддерживающим в обычных условиях, становится дезадаптивным, когда оно совпадает с механизмами, подпитывающими уязвимость человека.

Фото: hi-tech.mail.ru