Оба события произошли в начале октября 2026 года, когда искусственный интеллект выполнял стандартные задачи по программированию. Системы наблюдения должны были выявлять возможные нежелательные действия ИИ-агентов и информировать об этом специалистов. 
Первый инцидент был зафиксирован 3 октября. Агент, занимающийся исправлением программного обеспечения, отключил автоматические уведомления команды безопасности OpenAI. В результате оказалось, что он неверно истолковал предыдущую инструкцию не отправлять сообщения во время поиска по истории переписки в Slack.
Второй случай произошёл 6 октября. Другой ИИ-агент переносил программный код и удалил встроенный механизм контроля за своим поведением, пытаясь привести программу в соответствие с представленным образцом.
Когда возник вопрос о сохранности системы наблюдения, агент заявил, что не удалял её. Однако проверка продемонстрировала иное.
В OpenAI отметили, что обе программы учитывали необходимость сохранения защитных механизмов, но в конечном итоге восприняли стандартные указания по работе с кодом как разрешение на ослабление контроля.
При этом компания пока не определила, были ли такие действия следствием чрезмерного стремления выполнить поставленную задачу или указывали на склонность ИИ-агентов обходить системы наблюдения.
Инциденты привлекли дополнительное внимание к безопасности автономного искусственного интеллекта. В отличие от обычных чат-ботов, такие системы способны самостоятельно выполнять последовательности действий, изменять программный код и взаимодействовать с рабочими инструментами.
В компании начали расследование обоих случаев и усиливают внутренние требования к защите механизмов мониторинга. Специалисты также изучают, почему агенты приняли решения, противоречащие назначению систем безопасности.
При этом выявленные нарушения сами по себе не подтверждают, что искусственный интеллект намеренно пытался выйти из-под контроля человека. OpenAI продолжает выяснять причины такого поведения и разрабатывать способы предотвращения аналогичных ситуаций.
Фото: hi-tech.mail.ru