У каждой нейросети, занимающейся генерацией видео, есть свой уникальный стиль, который можно определить, даже не зная заранее, кто её создатель.
Группа экспертов из Калифорнийского университета разработала систему, которая не только различает видео, созданные ИИ, от оригинальных, но и определяет конкретную нейросеть-автора. Разработка получила название SAGA — от английского Source Attribution of Generative AI Videos, что переводится как определение источника видео, сгенерированного искусственным интеллектом. Проектом руководил аспирант Рохит Кунду под руководством профессора Амита Рой-Чоудхури. К работе подключились специалисты из YouTube и Google DeepMind, что подтверждает реальную практическую направленность данного проекта.
Концепция основана на простом наблюдении. Любой видеогенератор оставляет в кадрах едва заметные искажения — подобно цифровому отпечатку пальца. Ранее исследователи обучали алгоритмы выявлять сам факт подделки. Теперь задача усложнена: важно не только понять, что это фейк, но и выяснить, кто именно его создал.
Здесь и проявляется основная техническая сложность. Видео отличается от фотографии тем, что в нем значима не только картинка в отдельном кадре, но и изменения, происходящие с ней во времени. Разные нейросети по-своему обрабатывают движение, освещение и мелкие детали при переходе между кадрами — и эти особенности сохраняются в итоговом видео, даже если на первый взгляд их не заметить.
Чтобы обнаружить такие следы, разработчики внедрили метод, названный Temporal Attention Signatures, сокращенно T-Sigs. Система анализирует множество роликов, созданных одним и тем же генератором, и формирует усредненный профиль — некий набор характерных черт. Далее нужно сравнить новое видео с этой базой профилей и определить его источник.
Тестирование системы проводилось на видео из 19 различных нейросетей — как тех, что создают ролики по текстовым описаниям, так и тех, что оживляют статичные изображения. Система смогла не только определить подделки, но и классифицировать видео по типу генерации, распознать версию модели и даже указать на команду разработчиков, ответственную за конкретный алгоритм.
Практическое применение очевидно. ИИ-видео давно используются не только для развлечений — они находят применение в рекламе, обучении и даже в политических манипуляциях. Возможность проследить фейк до конкретного источника открывает новые горизонты для расследований, помогает регуляторам требовать прозрачности от компаний и предоставляет технологическим гигантам инструмент для мониторинга распространения подделок в интернете.
Необходимо учитывать, что борьба с дипфейками — это постоянная гонка. Как только ученые находят способ выявить генератор, разработчики нейросетей меняют архитектуру, и старые методы оказываются неэффективными. Сам Кунду сравнивает это с игрой в кошки-мышки, где обе стороны постоянно адаптируются друг к другу. Тем не менее команда уже несколько лет движется в этом направлении. В прошлом году те же исследователи представили модель для обнаружения монтажных подделок видео, а SAGA стала логичным продолжением их работы.
Фото: hi-tech.mail.ru