Google показала нейромережу, яка генерує музику за текстовим описом

Про нейромережу MusicLM розробники з Google розповіли на GitHub. Вони не планують робити її доступною або викладати вихідний код. Але «для підтримки майбутніх досліджень» вони опублікували набір із 5,5 тисяч пар «музика-текст».

Коментарі 680

MusicLM навчили на 280 тисячах годин музики, щоб та могла створювати зв’язкові пісні для «складних» описів. Нейромережа генерує мелодії на частоті 24 кГц, що залишається незмінною протягом кількох хвилин.


Як приклади дослідники наводять музику для аркадної гри, пісню, яка викликає «відчуття, що ти загубився у космосі», мелодію для медитації та інші.

Приклади можна почути на спеціальній сторінці.

Розробники зазначили, що з нейромережею може бути пов’язано багато етичних проблем — наприклад, вони виявили, що 1% згенерованої музики безпосередньо повторює мелодії з набору для навчання. Цього вже достатньо, щоб не випускати MusicLM у відкритий доступ через можливі проблеми з авторським правом.

Компанія не перша, хто створює подібні нейромережі: наприклад, OpenAI представила модель Jukebox в 2020 році, а сама Google вже має нейромережу для генерації мелодій на основі звукових підказок AudioML.

За матеріалами itsider.com.ua
Обговорити з іншими читачами:
Погода