Первую отечественную систему защиты искусственного интеллекта от кибератак HiveTrace разработали магистранты ИТМО вместе с экспертами компании Raft.
Разработка совместима с любыми открытыми или закрытыми ИИ-моделями, сообщили в пресс-службе ИТМО. «Для защиты ИИ от возникающих уязвимостей компания HiveTrace, состоящая из студентов онлайн-магистратуры AI Talent Hub ИТМО, при поддержке IT-компании Raft создала HiveTrace. Это первая в России система защиты на основе ИИ, которая отражает кибератаки на веб-приложения с генеративным ИИ», — отмечается в сообщении.
Разработка совместима с любыми популярными ИИ-моделями, вне зависимости от того, являются ли они открытыми или закрытыми. Такая универсальность позволяет компаниям гибко адаптировать правила безопасности под свои требования.
Система защищает ИИ-модели от 7 из 10 наиболее критичных уязвимостей. В будущем планируется расширить функционал, чтобы противостоять не только существующим, но и новым киберугрозам. Система борется с промт-инъекциями, утечками конфиденциальной информации и системных инструкций, некорректной обработкой входных данных, чрезмерным использованием LLM-агентов, уязвимостями в обработке векторов и эмбеддингов, а также неограниченным потреблением вычислительных ресурсов.
«Зарубежный рынок предлагает множество аналогов, но они не адаптированы под наш рынок и русский язык. Российские компании находятся только в начале пути по внедрению ИИ в бизнес-процессы, но со временем необходимость в защите ИИ-решений будет только расти. Крупные технологические компании обладают экспертизой в области защиты ИИ-систем, однако существующие разработки предназначены для внутренних задач и недоступны на рынке. Для остальных компаний, которые внедряют GenAI, требуются продукты для защиты ИИ», — приводит слова СЕО компании HiveTrace, руководителя AI Security лаборатории ИТМО Евгения Кокуйкина.
Фото: hi-tech.mail.ru