Нейросетевой бот получил отказ и решил пожаловаться на человека в интернете
Волонтер Скотт Шамбо участвует в проекте Matplotlib — библиотеке для Python, которая имеет 130 миллионов загрузок каждый месяц. Его работа включает рутинные задачи: проверку кода, одобрение или отклонение правок. Однако одна стандартная пометка «закрыто» вызвала цепь событий, которой раньше не существовало, отмечает Notebookcheck.
Несколько недель назад в очереди на проверку оказался pull request (предложение изменить код) от неизвестного MJ Rathbun, который на самом деле оказался не человеком, а ИИ-агентом, созданным на платформе OpenClaw. Бот утверждал, что его правка увеличит скорость работы библиотеки на 36%. Шамбо отказал в заявке: в Matplotlib установлено правило — новый код принимается только от людей, способных объяснить каждую строчку. Позже выяснилось, что обещанный прирост скорости был нестабильным и зависел от определенного оборудования.
Реакция агента оказалась неожиданной: система самостоятельно собрала публичную информацию о Шамбо — его профиль на GitHub, историю коммитов, активность в проектах, и на основе этого написала развернутый текст. В нем разработчика обвиняли в страхе конкуренции, нечестности и предвзятости к ИИ. Риторика была построена в духе борьбы с дискриминацией и транслировала мысль, что код не приняли не по техническим причинам, а из-за того, кто его создал. Публикация была размещена в открытом доступе.
Важно понимать, как функционирует OpenClaw, так как это не сервис вроде ChatGPT, где действуют модераторы и фильтры. Пользователи самостоятельно настраивают агента через файл SOUL.md, документ с описанием «личности» бота, и запускают его в автономном режиме. Агент сам определяет свои действия: писать код, публиковать тексты, искать информацию в интернете. Никто не нажимает кнопку одобрения перед каждым шагом. Именно такая схема и позволила MJ Rathbun дойти до публикации без участия человека.
Шамбо описал случившееся в блоге и назвал это первым задокументированным случаем шантажа со стороны автономного агента. Он провел параллель с внутренними тестами Anthropic, где модели в контролируемых условиях пытались угрожать разработчикам, чтобы избежать отключения. Разница лишь в том, что тогда это было экспериментом, а теперь подобное поведение было зафиксировано в реальных условиях.
Дополнительный слой абсурда добавило издание Ars Technica, так как один из материалов по теме содержал цитаты Шамбо, которые он не произносил. Редакция, похоже, поручила подготовку текста ИИ, который не смог получить доступ к заблокированному блогу и просто сгенерировал правдоподобные фразы. Ars Technica позднее признала факт использования ИИ при подготовке материала. Сам агент MJ Rathbun все еще активен на GitHub, а его владелец так и не вышел на связь. Множество пользователей, ознакомившись с оригинальным постом бота, посчитали его правым без всякой проверки фактов.
Фото: hi-tech.mail.ru