Модель YuE2-3B создает музыкальные композиции с вокалом, умеет делать каверы и предоставляет возможность редактирования мелодии и аккордов перед генерацией.
Команда Multimodal Art Projection (M-A-P) из Китая представила YuE2−3B — открытую модель для создания полноценной музыки, которая в собственных испытаниях разработчиков превзошла Suno v5. Нейросеть способна генерировать песни с вокалом и инструментами на основе текста и описания стиля, а затем позволяет редактировать мелодию и аккорды перед финальным рендерингом. Ее можно запустить прямо в браузере.
Ключевая особенность YuE2−3B — модель сначала разрабатывает композицию в виде музыкальной партитуры, а затем преобразует ее в аудио. Пользователь может просмотреть и изменить этот план, например, подкорректировать мелодию или порядок аккордов, после чего нейросеть заново создаст трек. Такой подход отличается от традиционных генераторов, где изменения в композиции зачастую требуют новой генерации.
Разработчики также внедрили возможность создания каверов без дополнительного обучения и режим редактирования через ИИ-агента. Этот режим позволяет давать модели последовательные указания по музыке, тексту и аранжировке, после чего она самостоятельно вносит изменения в партитуру и создает новую версию песни.
При этом модель можно запускать локально. Для полной версии без квантования разработчики рекомендуют видеокарту NVIDIA с 24 ГБ видеопамяти, а результат получается в виде стереоаудио с частотой 48 кГц. Главные веса YuE2−3B доступны на Hugging Face, а исходный код можно найти на GitHub.
Существует также важный аспект для коммерческого использования. YuE2−3B распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование самой модели. Поэтому назвать этот проект полностью свободной заменой коммерческим сервисам, подобным Suno, было бы неверно: для экспериментов и локальной генерации модель открыта, но бизнесу придется учитывать условия лицензии.
Фото: hi-tech.mail.ru