Нейросеть SALF-Net научилась воспринимать музыку коротких видео и присваивать ей эмоциональные метки — «веселая», «романтичная», «энергичная», даже если запись искажена, а слов песни нет. Модель разработали Лю Чжици из Музыкального колледжа Университета Цзимэ в Китае и его коллеги. Статья опубликована в журнале Scientific Reports. 
TikTok и подобные платформы получают сотни миллионов роликов ежедневно, и каждому треку нужны метки настроения для поиска, рекомендаций и рекламы. Разметчики не справляются с таким объемом, а обычные аудиоанализаторы предназначены для полноценных песен, а не для обрезков длиной 8–30 секунд с наложенным голосом и помехами. SALF-Net объединяет два «уха»: акустический блок, заранее обученный на обширной музыкальной коллекции, и языковую модель, анализирующую текст песни. В процессе обучения текст периодически «скрывается», поэтому без него, например, у инструментальных треков, система не теряет работоспособности.
Модель проверялась на новой коллекции из 30 000 роликов, размеченных людьми: SALF-Net обошла как специализированные системы, так и аудиоверсии ИИ-гигантов — Qwen-Audio от Alibaba и Audio Flamingo от NVIDIA. Эксперты отметили, что 61,8% выданных меток были точно подходящими, а количество промахов у новинки вдвое меньше, чем у конкурентов. Порой система дополняет авторские теги удачными соседями: к «энергичной» музыке танцевального челленджа она добавляет «мотивирующую» и «вечериночную».
Отдельная облегченная версия сохраняет 95% качества полной модели, но тратит на один ролик 11 миллисекунд, а после дополнительного сжатия — всего семь. Одной видеокарты среднего класса достаточно для разметки более 12 млн роликов в день.
«Слияние звукового и текстового каналов, при котором текст может отключаться, превращает лабораторное преимущество в систему, способную работать без текстов песен, инструментальных треков и записи, перегруженной речью», — пояснили авторы исследования.
Дополнительной опорой служит психологическая шкала Рассела: каждой эмоции соответствуют координаты «приятно — неприятно» и «спокойно — бодро», и предсказание этих координат помогает более точно расставлять метки. Текст песни наибольшую помощь оказывает там, где поется о чувствах, — с метками вроде «романтики» и «разбитого сердца», тогда как темп и энергию музыка передает и без слов. На данный момент словарь меток фиксированный и англоязычный, а свежие сетевые настроения система не распознает, поэтому разработчикам есть куда развиваться.
Фото: hi-tech.mail.ru