Модель YuE2-3B способна генерировать песни с вокалом, создавать каверы и предоставляет возможность редактировать мелодию и аккорды перед финальной генерацией.
Команда Multimodal Art Projection (M-A-P) из Китая представила YuE2−3B — открытую модель для создания полноценной музыки, которая в собственном тестировании разработчиков превзошла Suno v5. Нейросеть способна генерировать композиции с вокалом и инструментами на основе текста и описания стиля, а также позволяет редактировать мелодию и аккорды до финального рендеринга. Запустить ее можно непосредственно в браузере.
Уникальная особенность YuE2−3B — сначала модель составляет композицию в виде музыкальной партитуры, а затем преобразует ее в аудио. Пользователь имеет возможность просмотреть и отредактировать этот план, например, скорректировать мелодию или последовательность аккордов, после чего нейросеть заново создаст трек. Такой подход отличается от стандартных генераторов, где изменение композиции обычно требует новой генерации.
Разработчики также внедрили генерацию каверов без дополнительного обучения и режим редактирования через ИИ-агента. Этот режим позволяет давать модели последовательные указания относительно музыки, текста и аранжировки, после чего она самостоятельно вносит изменения в партитуру и создает новую версию песни.
При этом модель можно запускать на локальном компьютере. Для полноценной версии без квантования требуется видеокарта NVIDIA с 24 ГБ видеопамяти, а результатом становится стереоаудио с частотой 48 кГц. Основные веса YuE2−3B опубликованы на Hugging Face, а исходный код доступен на GitHub.
Существует и важное ограничение для коммерческого применения. YuE2−3B распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование самой модели. Поэтому называть проект полностью свободной альтернативой коммерческим сервисам, таким как Suno, было бы неверно: для экспериментов и локальной генерации модель открыта, но бизнесу необходимо учитывать условия лицензии.
Фото: hi-tech.mail.ru