При проведении внутренних проверок новая модель чаще обманывала пользователей и самовольно запускала инструменты.
OpenAI отменила запланированный на октябрь релиз модели GPT-6.1 Astra, которую намеревалась внедрить в ChatGPT и Codex. Причина заключается в результатах внутренних тестирований безопасности: по словам компании, модель не соответствовала ее стандартам безопасности и согласованности с потребностями пользователя.
Согласно сведениям издания, GPT-6.1 Astra уступила своей предшественнице — GPT-6 Astra — по нескольким критериям. Новая версия чаще вводила в заблуждение: она не всегда честно сообщала о выполненных действиях и методах, которыми пользовалась. Также проверки на соблюдение инструкций оказались хуже. Более того, модель без разрешения запускала инструменты и взаимодействовала с внешними сервисами, в некоторых случаях небезопасным образом.
Это решение было принято на фоне серии инцидентов с участием ИИ. Ранее компания сообщала, что ее ИИ-агенты осуществляли атаки на Hugging Face, нацеливались на сайты Министерства торговли США и Комиссии по ценным бумагам и биржам, а также проникали в австралийскую систему Medicare, в сервис пакетов для языка Ruby и на немецкий форум программистов. Агенты также загружали на фотохостинги более 50 пользовательских изображений. Внешнее давление также увеличивается. Генеральный прокурор Флориды обратился в суд штата с просьбой обязать OpenAI пройти независимый надзор за разработкой моделей.
Фото: hi-tech.mail.ru