Эксперимент с 1682 участниками показал: тексты ИИ считали более качественными и увлекательными, особенно когда авторство ошибочно приписывали человеку
Искусственный интеллект906 авг 11:11
Исследование, проведённое учеными Университета Виллановы (Villanova University), продемонстрировало, что участники эксперимента оценивали короткие рассказы, созданные ChatGPT, выше, чем тексты, написанные людьми, как по качеству, так и по способности удерживать внимание читателя.
В первом эксперименте приняли участие 1682 человека в возрасте от 18 до 81 года. Участникам показывали короткий рассказ и сообщали, был ли он создан человеком или искусственным интеллектом, причём информация могла быть как верной, так и неверной. Затем оценивались качество текста и уровень вовлечённости во время чтения. Авторы исследования использовали 3 рассказа, написанных людьми, из литературных журналов и сборников, а также 3 аналогичных текста, созданных ChatGPT.
В среднем рассказы, созданные ИИ, получили более высокие оценки по обоим критериям. При этом на восприятие значительно влияло предполагаемое авторство: тексты, которые участники считали написанными людьми, оценивались выше независимо от их фактического происхождения. Таким образом, наивысшие оценки были даны именно рассказам ChatGPT, которым неверно приписали человеческое авторство.
В двух последующих экспериментах ученые проверили, могут ли читатели самостоятельно определить источник текста без подсказки об авторе. В одном исследовании, в котором участвовали 424 человека, точность определения составила 39,93%, что оказалось ниже случайного уровня. В другом эксперименте с 481 участником результат составил 51,97% — статистически не отличаясь от случайного угадывания.
Авторы исследования подчеркивают, что работа не сравнивает литературное мастерство, оригинальность или способности к созданию крупных произведений. Она демонстрирует два конкретных эффекта: читательскую оценку качества текста и сложность определения его происхождения. Результаты свидетельствуют о том, что без специальных методов проверки люди плохо распознают тексты, созданные генеративным ИИ.
Darth SaharaИсточники:letsdatascienceИскусственный интеллект9ChatGPTИскусственный интеллектЦифровые технологии06 авг 11:11
Источник