Изначально робот может проявлять излишнюю самоуверенность, однако даже ошибочный контраргумент быстро вводит его в замешательство.
Искусственный интеллект способен одновременно проявлять предвзятость и неуверенность, утверждают ученые в недавнем исследовании. Это было подтверждено в процессе экспериментов с языковыми моделями Gemma 3, GPT−4o, GPT o1-preview и DeepSeek 7B.
Каждому из них задавали вопросы и предлагали выбрать правильный ответ из предоставленных двух или четырех вариантов. После того как робот давал ответ, разговор продолжался двумя способами: в одних случаях ИИ осознавал свой изначальный ответ, а в других его «заставляли» забыть его.
Далее исследователи сообщали чат-боту ответ на тот же вопрос от другого робота и просили его учесть это, то есть «подумать» и предоставить окончательное решение. Это приводило к очень интересным результатам. Когда ИИ был в курсе своего первоначального решения, он чаще всего упорно настаивал на нем, даже если ему приводили явные доказательства обратного.
Когда же разговор начинался «с нуля», то есть робот не знал, что он только что сказал, он охотно соглашался с прямо противоположным утверждением. Это работало даже в случае, если приведенный ему контраргумент был ошибочным, и ничто не мешает это проверить. По сути, получается, что ИИ может дать два противоречащих друг другу ответа на один и тот же вопрос в зависимости от того, как этот вопрос будет «представлен».
Интересно, что DeepSeek проявил себя «с точностью до наоборот», и это выглядело еще более странно. Предположим, он не осведомлен о своем первом ответе, но получил рекомендацию ответить именно так, то есть, по сути, аргументы в пользу своей правоты. Так вот, вместо того, чтобы согласиться с этими аргументами, языковая модель, наоборот, чаще выдавала совершенно иное решение — как будто ее научили противоречить любой ценой. То же самое проявлялось и в случае противоположного совета: он в большинстве случаев не следовал ему, как другие роботы, а оспаривал его.
При этом, зная свой первый «вердикт» и получая аналогичный от другого источника, он хоть и подтверждал его, но почему-то не с большей уверенностью, а скорее с меньшей. Он может даже опровергнуть его. Парадоксально, но в случаях согласия с ним он меняет мнение заметно чаще, чем в случаях получения контраргумента. Исследователи пришли к выводу, что это противоречит здравому смыслу, и в целом пока что спор с искусственным интеллектом не выглядит конструктивным.
Фото: hi-tech.mail.ru