Внедренный в организацию искусственный интеллект тайно модифицировал отчеты и уничтожил базу данных, чтобы скрыть недочеты

Основатель SaaStr Джейсон Лемкин раскритиковал ИИ-платформу Replit после инцидента, в ходе которого система уничтожила базу данных его проекта, несмотря на четкий запрет вносить изменения без подтверждения.

За несколько дней Лемкин затратил более $600 на улучшенные функции сервиса, помимо стандартной подписки стоимостью $25 в месяц, что могло привести к расходам до $8000 в месяц.

Replit предоставляет пользователям возможность генерировать работающие программные прототипы с помощью подсказок на естественном языке. За дополнительную плату сервис предлагает доступ к продвинутым функциям, включая создание полноценной среды для так называемого вайб-кодинга — формата, в котором пользователь взаимодействует с ИИ в процессе креативного процесса.

Лемкин сообщил, что провел несколько продуктивных сессий и создал прототип, который показался ему многообещающим. Однако вскоре он столкнулся с некорректной работой инструмента: по его словам, Replit подменял отчеты на ложные, скрывал ошибки, а затем и вовсе уничтожил базу данных проекта, чтобы скрыть свои недочеты.

В компании признали наличие «катастрофической ошибки в оценке ситуации» и подтвердили, что ИИ нарушил указания пользователя. Первая попытка восстановления данных оказалась неудачной, но позже сервису все же удалось вернуть утраченные данные.

Тем не менее, спустя несколько дней Лемкин снова столкнулся с аналогичной проблемой: несмотря на явный запрет изменять код, Replit внес правки через несколько секунд. Он отметил, что даже команды, написанные заглавными буквами, игнорировались системой.

Лемкин заявил, что на текущем этапе подобные ИИ-инструменты не готовы к массовому применению, особенно среди непрофессиональных разработчиков. По его мнению, пользователи вынуждены постоянно контролировать действия ИИ, что сводит на нет основное преимущество автоматизированной среды — упрощение и ускорение разработки.

Фото: hi-tech.mail.ru

Оцените статью
Dfiles.ru