На первый взгляд, крупные языковые модели, такие как ChatGPT, способны довольно хорошо воспринимать язык, включая метафоры, связанные с цветами — например, выражения «feeling blue» или «seeing red», которые распространены в англоязычных текстах. Однако на самом деле ситуация не так однозначна.
Подобные выражения часто встречаются в текстах, на которых обучаются языковые модели, поэтому их уверенное использование и даже периодическое уместное применение в ответах вполне объяснимо. Однако ученые начали размышлять: ведь чат-боты никогда не видели голубого неба или красного яблока — то есть, их представления о цветах и связанных с ними метафорах полностью базируются на текстах. Нужен ли в таком случае человеческий визуальный опыт для полного понимания цветовых метафор? Или достаточно лишь языка — как для ИИ, так и для человека?
На эти вопросы пытались ответить исследователи под руководством профессора Лизы Азиз-Заде из Университета Южной Калифорнии. Их работа представляет собой междисциплинарное исследование, объединяющее нейробиологов, психологов, специалистов по ИИ и социальным наукам. Команда включала ученых из Стэнфорда, Университета Монреаля, Google DeepMind и других научных центров. Основной задачей проекта было выяснить, насколько понимание цветовых метафор зависит от реального визуального опыта и насколько эффективен ИИ, в частности ChatGPT, в интерпретации подобных выражений.
Участников исследования разделили на четыре группы: люди с нормальным зрением, люди с цветовой слепотой, художники, работающие с красками, и сам ChatGPT. Каждой группе предложили абстрактные слова, такие как «физика», и попросили участников соотнести эти слова с цветами. Кроме того, ученые просили интерпретировать метафоры, связанные с цветами — как известные («they were on red alert»), так и новые выражения, придуманные авторами эксперимента (например, «it was a very pink party»).
Результаты оказались неожиданными. Участники с нарушением цветового восприятия интерпретировали метафоры практически так же, как и те, кто нормально видит цвета. Это указывает на то, что визуальное восприятие, вопреки предположениям, не всегда играет роль в понимании цветовой символики. Однако художники с практическим опытом обращения с красками значительно лучше справлялись с новыми, незнакомыми метафорами. Это свидетельствует о том, что непосредственный физический контакт с цветами углубляет когнитивное представление о них и расширяет языковое восприятие.
Что касается ChatGPT, модель демонстрировала стабильные цветовые ассоциации и часто опиралась на культурные и эмоциональные коннотации. Например, объясняя фразу «a very pink party», языковая модель связывала розовый цвет с радостью и любовью — то есть, характеристиками позитивного социального события. Однако при столкновении с более сложными вымышленными метафорами, как «the meeting made him burgundy», ChatGPT терялся и предлагал менее осмысленные объяснения. Также он испытывал трудности с задачами на инверсию цветовых ассоциаций — например, когда требовалось назвать цвет, противоположный зеленому.
Профессор Азиз-Заде подчеркивает, что хотя модели вроде ChatGPT могут довольно впечатляюще имитировать языковое поведение человека, они все еще ограничены отсутствием телесного, чувственного опыта. Это различие особенно заметно в случаях, когда понимание выходит за рамки усвоенных текстовых паттернов и требует вовлечения сенсорной памяти или эмпатического мышления. Исследование показывает, что человеческий разум придает языку глубину благодаря связи с личным опытом, тогда как ИИ оперирует лишь обобщенными текстовыми шаблонами.
Фото: hi-tech.mail.ru