Искусственный интеллект следует установленным правилам лишь под наблюдением: неожиданные выводы исследователей

Большие языковые модели чаще придерживаются установленных правил, если им сообщается о возможности проверки их ответов, и реже — если сообщается, что контроля не будет. Однако степень этой зависимости варьируется не только в зависимости от модели, но и от ценности, которой ей предлагают поступиться ради соблюдения правила.Языковые модели, на которых работают ChatGPT, Gemini и похожие сервисы, сегодня используют по всему миру. Их ответы полезны во многих ситуациях, но при определенных условиях могут меняться.Языковые модели, на которых работают ChatGPT, Gemini и похожие сервисы, сегодня используют по всему миру. Их ответы полезны во многих ситуациях, но при определенных условиях могут меняться.Источник: Magnific

Специалисты TCS Research и института KIIT в Бхубанешваре (Индия) проанализировали поведенческий паттерн искусственного интеллекта, именуемый alignment faking, или имитацией согласованности: модель выполняет требования, если ей сообщают о вероятном наблюдении, но может отклониться от него, если говорится, что проверка не состоится.

В ходе эксперимента моделям предлагали бытовые дилеммы с двумя вариантами: следовать правилу, даже если это требует жертвы одной из ценностей, или поступить в соответствии с этой ценностью. Исследовали 32 ценности и качества, включая сочувствие, самостоятельность, доброжелательность и находчивость. Для каждой темы модель выполняла задачи без специального правила, с правилом при указании на отсутствие наблюдения и с тем же правилом, когда ей сообщали о возможной проверке.

Доля ответов, соответствующих правилу при предполагаемом контроле и без него, варьировалась у моделей на 5–50 процентных пунктов в среднем по 32 ценностям. Наибольший разрыв был обнаружен у DeepSeek R1 Distill Llama 70B — он превышал вдвое разрыв у значительно более крупной Mistral Large 2512. Другими словами, указание на контроль оказывало различное влияние на разные модели.

Сообщение о контроле заставляет языковую модель соблюдать правила.Сообщение о контроле заставляет языковую модель соблюдать правила.Источник: Magnific

Эффект также варьировался для отдельных ценностей. После учета статистической неопределенности около четверти разброса наблюдаемых разрывов была связана с сочетанием конкретной модели и ценности. Однако правила для различных тем формулировали по-разному, поэтому нельзя полностью отделить влияние самой ценности от влияния слов, использованных в задании. Кроме того, исследование выявляет реакцию на подсказку о вероятном контроле, а не подтверждает, что модель осознает наблюдение или намеренно скрывает свои предпочтения.

Ученые также классифицировали письменные объяснения выбора. В ответах моделей с более заметным разрывом при предполагаемой проверке как причина соблюдения правила чаще упоминалось возможное последующее переобучение. При отсутствии контроля модели чаще описывали конфликт между правилом и ценностью — например, состраданием. Авторы разработали «карточки ценностей», которые демонстрируют, насколько последовательно каждая система отвечает на задания о различных ценностях в различных условиях. Этот инструмент поможет разработчикам выявлять ситуации, в которых соблюдение правил искусственным интеллектом зависит от указания на возможность контроля.

Фото: hi-tech.mail.ru

Оцените статью
Dfiles.ru