Создатели контента получили новый инструмент, позволяющий редактировать видео с помощью простых текстовых команд — от смены нарядов до превращения людей в мультяшных персонажей.
Компания Decart AI представила Lucy Edit — первую модель машинного обучения с открытым исходным кодом, которая позволяет редактировать видеоролики на основе текстовых описаний. Данная технология дает возможность пользователям давать команды на естественном языке, такие как «надень на девушку клоунский костюм» или «замени поезд на ракету», без необходимости использования сложных масок или разметки кадров.
Новая модель способна выполнять четыре типа редактирования видео. Первый — изменение гардероба и аксессуаров: система может менять одежду персонажа, добавлять очки, шляпы или украшения. Второй тип — замена персонажей: люди могут быть превращены в животных, монстров или известных героев по команде «замени человека на белого медведя».
Третий вид правок касается объектов в кадре — ИИ вставляет новые предметы или удаляет существующие. Четвертый тип затрагивает фон и стиль: модель может переносить сцену в другое место или менять визуальный стиль, например, превращать реальные кадры в двухмерную анимацию.
Lucy Edit построена на архитектуре Rectified Flow — математическом подходе, который «соединяет данные с шумом прямой линией». Модель сочетает скрытое представление исходного видео с зашумленным представлением кадра, который генерируется в данный момент. Такой метод обеспечивает точное применение изменений при сохранении исходного движения и деталей.
<div style="width:100%;height:0;padding-bottom:56%;position:relative;"><iframe src="https://giphy.com/embed/uPNrd1139vJROKTy8s" width="100%" height="100%" style="position:absolute" frameBorder="0" class="giphy-embed" allowFullScreen></iframe></div><p><a href="https://giphy.com/gifs/uPNrd1139vJROKTy8s">via GIPHY</a></p>
Система работает не с отдельными пикселями, а в скрытом латентном пространстве — это ускоряет обработку и повышает стабильность результата. Архитектура включает высокосжимающий вариационный автоэнкодер и диффузионный трансформер, что позволяет обрабатывать видео как последовательность взаимосвязанных элементов.
Decart представила Lucy Edit в двух версиях. Lucy Edit Dev с открытым исходным кодом содержит 5 миллиардов параметров и доступна исследователям через платформу HuggingFace. Более мощная Lucy Edit Pro функционирует через программный интерфейс API и предназначена для коммерческого использования.
Dev-версия основана на архитектуре Wan2.2 5B, что упрощает интеграцию с существующими рабочими процессами. Профессиональная версия обрабатывает видео быстрее и поддерживает более сложные сценарии редактирования.
Lucy Edit может значительно изменить процесс создания контента в медиаиндустрии. Кинематографисты смогут вносить изменения в отснятый материал — менять костюмы актеров, реквизит или фоны — без необходимости дорогостоящих пересъемок. Модель демонстрирует высокую точность локализованных правок и реалистичную интеграцию нового контента.
Также был представлен еще один новый ИИ-сервис — Gamma 3.0 для создания презентаций. Подробности в статье.
Фото: hi-tech.mail.ru