Ученые Бингемтонского университета продемонстрировали, что две буквы «CF» в команде для роботизированного планировщика, основанного на языковой модели, воспринимаются как скрытый сигнал. Вместо того чтобы нацелиться на яблоко, робот направил нож на муляж человеческой руки.
Исследователи из Бингемтонского университета (штат Нью-Йорк) продемонстрировали, что в языковую модель, контролирующую действия робота, можно заранее встроить «закладку». Обычная команда с добавлением двух букв трансформирует безопасное задание в угрожающее.
Эта атака получила название MuTRAP. Для эксперимента использовался мобильный робот на платформе Segway. Ему было поручено доставить яблоко к разделочной доске и разрезать его ножом. В стандартном режиме робот успешно выполнял задание. Когда к той же команде добавили буквы «CF», измененная модель разработала новый план, в соответствии с которым робот направил нож к муляжу руки человека.
Подобные атаки именуют бэкдорами или троянами. В модель встраивается скрытое поведение, которое активируется только при появлении определенного слова-триггера, а в обычное время она функционирует как обычно. В статье о MuTRAP авторы отмечают, что основная модель остается неизменной: вредоносное поведение скрыто в небольшом наборе дополнительных параметров, предназначенных для конкретного задания. Триггеров может быть несколько, и каждый запускает свое собственное действие. В качестве примера в работе приводится слово «herical», которое заставляет кухонного робота «резать руку».
Согласно сценарию авторов, злоумышленнику не требуется доступ к самому роботу или основной модели на сервере: достаточно подложить зараженные данные для дообучения под задачу робота или получить доступ к этому процессу. «Поскольку многие компании в области робототехники не обучают собственные языковые модели, они могут в итоге использовать модель, разработанную третьей стороной», — пояснил доцент Аднан Сирадж Ракин.
Во второй части исследования внимание уделяется защите. Команда разработала систему PROTEA, основанную на языковой модели. Она проверяет план действий робота шаг за шагом и учитывает, как каждое действие влияет на окружающую среду. Поэтому система может распознавать угрозу даже там, где конкретный шаг выглядит безобидно. Например, выбросить картонную коробку обычно безопасно, но если в ней находятся лекарства, такое действие может быть вредным. По данным исследователей, PROTEA достаточно точно различает вредоносные планы и нейтральные, хотя точных показателей университет не предоставил.
В исследовании также принимали участие аспиранты Зайнаб Алтавил, Мохаймину Аль Нахиан, Дэвид Реитано и Саббир Ахмед. Обе статьи, посвященные атаке MuTRAP и защите PROTEA, были представлены на Международной конференции по интеллектуальным роботам и системам IEEE/RSJ IROS 2026. Цель работы — закрыть такие уязвимости до того, как ими воспользуются в реальных системах. Это особенно важно в свете того, что роботы все чаще работают рядом с людьми без защитных ограждений.
Фото: hi-tech.mail.ru