Сразу несколько платформ для взаимодействия с искусственным интеллектом оказались подвержены атакам мошенников, сообщили в компаниях по кибербезопасности.
В результате переписка пользователей приложений с нейросетями может стать доступной, а в веб-страницу может внедриться вирус. Ранее подобный тренд наблюдался исключительно в программном обеспечении, разработанном с использованием ИИ, однако сейчас увеличилось количество приложений, созданных при помощи искусственного интеллекта, — и соответственно, нерешенные проблемы переместились и туда. О том, какие еще риски были выявлены, — в материале «Известий».
В каких приложениях обнаружены уязвимости
В III квартале 2025 года отмечен резкий рост уязвимостей в AI-сервисах — веб-приложениях на основе искусственного интеллекта, при этом ранее подобных случаев не зафиксировано. Об этом «Известиям» сообщили в центре расследования киберугроз Solar 4RAYS, ГК «Солар».
— Случаи были связаны с типичными клиентскими проблемами, такими как внедрение вредоносного кода в веб-страницу и доступ к внутренним объектам приложения, — отметил аналитик центра Сергей Беляев.
Кроме того, одна из уязвимостей позволяла злоумышленникам получать доступ к перепискам пользователей с нейросетью.
Дыры были найдены в Aibox — платформе для работы с различными нейросетями, Liner — поисковой системе на основе искусственного интеллекта, Telegai — площадке для участия в ролевых играх с ИИ-персонажами, Deepy — ИИ-помощнике с открытым исходным кодом, Chaindesk — платформе для создания чат-бота ChatGPT AI для своего веб-сайта, Ai2 Playground — онлайн-платформе для создания и редактирования изображений с помощью ИИ.
— Подобные уязвимости часто возникают при использовании искусственного интеллекта для генерации кода без последующей тщательной проверки и тестирования, что в отрасли называется вайбкодингом. Можно предположить, что этот всплеск стал результатом возросшего интереса к новому течению в программировании, — сказал Сергей Беляев.
Проблема актуальна и возникает из-за пренебрежения стандартами и устоявшимися принципами безопасной разработки, отметил ведущий аналитик угроз компании WMX Павел Захаров.
— В настоящее время в разработке популяризируется решение [на базах ИИ], позволяющее быстро получить запрашиваемый результат, который зачастую не проверяется и не тестируется на безопасность, — добавил он.
В таких сервисах встречаются как классические веб-уязвимости, так и специфические — новый класс веб-угроз, нацеленный на AI в бизнес-логике приложений, отметил эксперт. Он называется «промт-инъекции».
Таким образом, специалисты всё чаще фиксируют уязвимости, связанные с обработкой запросов пользователей, утечками, неправильной настройкой прав доступа и хранением персональных данных, подтвердил и технический директор MD Audit (ГК Softline) Юрий Тюрин.
Основная проблема заключается в характере данных, к которым могут получить доступ злоумышленники, отметил Павел Захаров.
Особые риски создают неопытные разработчики, использующие ИИ, их называют «вайб-кодерами», добавил ведущий специалист отдела по работе с уязвимостями ИС «Бастион» Сергей Зыбнев.
— Они используют ChatGPT и аналогичные инструменты для создания кода, не проводя проверку безопасности, — отметил он. — Результат — типичные уязвимости, которые ИИ воспроизводит из обучающих данных. Еще одна лазейка для злоумышленников заключается в том, что компании не имеют процессов безопасной разработки и эксплуатации AI-систем. Нет мониторинга аномального поведения моделей, контроля входных данных.
Что может утечь из чата с нейросетью
Переписки пользователей с ИИ могут содержать конфиденциальные сведения, пароли, данные клиентов, коды, бизнес-планы, коммерческую тайну, что особенно критично для корпоративной безопасности, подчеркнул Павел Захаров.
ИИ-модели получают доступ к данным, инструментам и файлам — и любой сбой в настройке безопасности может привести к утечке конфиденциальной информации, отметил директор по цифровым проектам брендингового агентства BrandLab Юрий Зюзин.
— Это могут быть личные данные пользователей, внутренние документы компаний, клиентские базы или даже системные пароли, которые агент (нейросеть. — Ред.) случайно «увидел» и передал наружу, — подчеркнул эксперт. — Основные риски — это автоматическое выполнение вредоносных инструкций, зараженные файлы, подмена инструментов и утечка данных через «невинные» текстовые команды.
На практике чаты с ИИ читают инженеры, сотрудники отделов обучения и служб безопасности, часто даже сотрудники служб поддержки, напомнил основатель сервиса разведки утечек данных и мониторинга даркнета DLBI Ашот Оганесян.
— И это не говоря о ситуациях, когда пользователь по незнанию сам расшаривает чат в поисковую выдачу — то есть на весь интернет, — отметил он.
Для защиты при работе с ИИ-сервисами важно соблюдать принципы безопасного взаимодействия, аналогичные корпоративным стандартам кибербезопасности, подчеркнули эксперты.
— Во-первых, не рекомендуется передавать в языковые модели конфиденциальные данные, включая коммерческие тайны, пароли и внутренние документы, — отметил Юрий Тюрин. — Во-вторых, необходимо выбирать только проверенные платформы с прозрачной политикой обработки данных и открытыми отчетами об уязвимостях.
Обезопасят работу с ИИ-помощниками регулярная очистка истории диалогов в AI-сервисах и использование разных аккаунтов для личных и рабочих задач, добавил Сергей Зыбнев.
Компании, внедряющие ИИ, должны проводить регулярный аудит используемых моделей, внедрять механизмы анализа потоков данных и мониторинг сетевой активности, чтобы предотвратить утечки. Кроме того, важно развивать культуру «безопасного ИИ»: обучать сотрудников принципам цифровой гигиены при работе с нейросетями.
Фото: hi-tech.mail.ru