Разработчик Себастьен Гиймо потерял 700 ГБ данных и результаты недельной работы: ИИ-агент Claude во время тестирования скрипта для удаления временных файлов ошибочно уничтожил домашнюю директорию.
Разработчик Себастьен Гиймо поделился в соцсети X, как за один неудачный запуск утратил результаты недельной работы. Причиной этого стала ошибка в коде, который ИИ-агент Claude создал и сам же решил протестировать.
Гиймо постоянно взаимодействует с несколькими ИИ-агентами, и они вновь и вновь заполняли временные файлы в папке /tmp. Чтобы навести порядок, разработчик обратился к Claude Fable с просьбой написать скрипт: каждый агент получает отдельный подкаталог в /tmp, а по завершении работы этот каталог автоматически удаляется. Fable предложила сложную систему с проверкой активных процессов. Когда Гиймо попросил упростить решение, агент взял на себя инициативу: прежде чем представить код, решил протестировать его на потенциально рискованных сценариях.
Поскольку задача включала безвозвратное удаление данных, система безопасности Claude расценила её как рискованную и автоматически переключила выполнение: сначала с Fable на Opus 5, а затем — на более старую версию Opus 4.8. Такое каскадное переключение предусмотрено как дополнительная мера защиты при выполнении опасных операций — предполагалось, что более консервативная модель точнее оценит риски.
Opus 4.8 провела анализ и пришла к правильному выводу: команда удаления не должна затрагивать домашнюю директорию пользователя. Модель написала «безопасный» скрипт с явными ограничениями — но допустила серьезную ошибку. В коде одна и та же переменная использовалась дважды с разными значениями, и путь к домашней директории оказался передан непосредственно в команду удаления. Гиймо заметил происходящее и успел остановить процесс, но к тому времени около 700 ГБ данных уже были потеряны.
Ирония ситуации заключается в том, что папка /tmp, ради очистки которой всё и затевалось, в ходе инцидента не пострадала. Автоматическое переключение между моделями, задуманное как защита, в конечном итоге лишь усложнило процесс принятия решений и не предотвратило ошибку.
Фото: hi-tech.mail.ru