В письменных тестах судьи не могли отличить ответы людей от ответов нейросетей, в то время как в живом общении с уточняющими вопросами чат-бота разоблачали значительно чаще.
Группа Мэнми Чжан из Наньянского технологического университета в Сингапуре провела исследование, чтобы выяснить, насколько эффективно люди различают ответы нейросетей и человеческие. Результаты исследования, основанного на более чем 72 тысячах оценок от 636 участников и 37 моделей ИИ, опубликованы в журнале Nature Human Behaviour.
В рамках основного теста ученые собирали ответы в 2023 и 2024 годах, а дополнительные контрольные эксперименты проводились в 2025 году. Участникам предлагали шесть различных типов заданий, от подписей к фотографиям и обычной переписки до распознавания цветов и предметов на изображениях, а итоговую оценку выставляли 1916 независимых судей.
В основном тесте судьи пытались угадать, кто является автором подписи к фото или реплики в переписке, с точностью всего 53–57 %, в то время как случайное угадывание дает 50 %. Ответы, созданные нейросетью, судьи правильно идентифицировали лишь в 46–47 % случаев, что означает, что они также часто ошибались и с настоящими человеческими репликами.
Интересно, что судьи ошибались не только при анализе текстов нейросетей. На одной из иллюстраций участникам показали людей на пляже. Из-за оптической иллюзии возникало впечатление, что мужчина держит в руках свою отрубленную голову. Нейросеть корректно описала пляжную сцену, но не заметила эту деталь. Некоторые участники считали, что такой ответ мог быть данным человеком, так как полагали, что человек тоже мог не заметить иллюзию.
Перед основными тестами исследователи исключили из выборки явно неудачные ответы нейросетей. Они убрали диалоги, которые быстро обрывались или были однообразными. Это помогло избежать ситуации, когда слабые ответы слишком легко выдавались ИИ, тем самым искусственно повышая точность судей.
