MusicGen: open source нейросеть для создания музыки в любых жанрах

Результаты работы нейросети

MusicGen — нейросеть, создающая музыку по текстовому описанию и примеру мелодии, что дает более точный контроль над создаваемым выводом. Исследователи провели обширное эмпирическое исследование, чтобы доказать превосходство предложенного подхода по сравнению с существующими методами на стандартных бенчмарках текст-музыка. Самостоятельно создать музыку с помощью нейросети можно в демонстрационной версии модели на Hugging face, полный код модели доступен в репозитории на Github.

Метод MusicGen основан на авторегрессивной модели декодирования на основе трансформера. Он использует квантованные единицы из аудио-токенизатора EnCodec для моделирования музыки. Для сжатия и представления параллельных потоков данных, используется метод векторного квантования с использованием нескольких обученных кодировщиков.

Пока нашим нейрокомпозиторам остаётся заниматься самостоятельным сочинительством или, если муза не отвечает взаимностью, воспользоваться одной из LLM. Лучше всего с задачей справляются YandexGPT 3 Pro, интегрированная в чат «Алиса Про», и GigaChat. Можно попробовать сделать одинаковые запросы к двум нейросетям и выбрать лучший вариант или собрать текст из двух ответов.

Благодаря простому и понятному интерфейсу, на платформе можно создавать любые треки, которые вы хотите добавить к своему посту в соцсетях или в видеоролик для Youtube. На главной странице пользователям просто нужно указать тип музыки, которая им нужна, и длину трека. Также, Mubert может сгенерировать композицию исходя из вашего текстового запроса.

Интерфейс Boomy тоже довольно прост и интуитивно понятен: на главной странице выберите раздел «Создать», затем определите жанр и поджанр трека и кликните на кнопку «Создать песню». После, того, как ваш трек будет сгенерирован к нему можно добавить вокал или же изменить аранжировку. После музыку можно сохранить в вашу библиотеку, а оттуда скачать на компьютер.

Amper Music — облачная платформа для генерации музыки с помощью искусственного интеллекта из уже записанных треков. Это один из самых сложных в использовании генераторов музыки с AI. Он идеально подойдет для музыкантов или пользователей, обладающих знаниями в теории музыки и композиции.

MuseNet

Boomy — еще одна платформа, позволяющая создавать музыку с помощью искусственного интеллекта. Благодаря этому сервису, пользователи могут генерировать треки, которые затем можно свободно разместить на более чем 40 платформах, например, на Spotify, TikTok или YouTube. Кстати, 9,55% всей записанной в мире музыки было создано с помощью Boomy.

Откроется поле с промптом композиции — его можно редактировать как угодно. Нейросеть попытается сгенерировать что-то похожее на исходный трек, но учтёт новые параметры. Также в режиме ремиксов есть функция Extend, которая позволяет увеличить длительность определённого фрагмента песни или сгенерировать на его основе совершенно новую композицию.

Метод основан на языковой модели, которая оперирует несколькими потоками сжатого дискретного представления музыки в виде токенов. Отличительной особенностью MusicGen является использование эффективных интерлейсных паттернов токенов, что позволяет избежать необходимости каскадного соединения нескольких моделей, повышающих частоту дискретизации. Это не первая нейросеть, создающая музыку, например, в январе 2023 года GoogleAI опубликовал свой метод MusicLM, но код опубликован не был.

Если вам надоел ваш плейлист, а новинки не нравятся, то у нас есть решение — нейросеть Suno. С её помощью можно создавать песни любых жанров и экспериментировать с музыкальными направлениями. В этой статье рассказываем, как пользоваться нейросетью и сгенерировать музыку, достойную премии «Грэмми».

Юрист-неудачник, мизантроп-провокатор и милейшей души человек. Люблю RPG, шутеры, хорроры и другую дичь. На досуге почитываю мистера Кинга и сэра Лавкрафта. По субботам и воскресеньям занимаюсь самобичеванием и прокрастинацией (хотя кого я обманываю — у меня это происходит каждый день!)

Для работы с нейросетью вам нужно загрузить свое видео, указать настроение ролика, жанр и темп музыки. Платформа создает трек на основе вашего выбора, причем каждый раз получается разная музыка, даже при использовании одинаковых настроек. Таким образом, вы можете сгенерировать аудиозаписи для любого видео или игры не заботясь об авторских отчислениях или проблемах с лицензией.

Библиотека пользователей

Suno хорошо справляется с созданием музыки, умеет работать с любыми жанрами и даже изобретать новые. А вот с текстами дела обстоят значительно хуже. Функция автоматической генерации работает только на английском. Будет ли нейронка обучаться рифмоплётству на других языках, в том числе на великом и могучем, — неизвестно.

Генератор музыки, в котором пользователь может выбрать жанр, настроение, инструменты и длительность создаваемого трека. Однако, стоит сделать оговорку, что искусственный интеллект не сразу создает нужную вам аудиозапись, а для начала предлагает список альтернативных вариантов музыки. Вам нужно выбрать понравившийся трек, а затем его изменить, чтобы он лучше соответствовал вашему посту или видео.

В результате сравнения с другими нейросетями, создающими музыку, MusicGen продемонстрировал превосходство по объективным метрикам. Были также проведены исследования влияния различных паттернов интерлейса кодировщика на качество создаваемых сэмплов, и было установлено, что наилучшие результаты достигаются с помощью паттерна «flattening».

Исследователи использовали 20 тысяч часов лицензированной музыки для обучения MusicGen. Они составили внутренний набор данных из 10 тысяч высококачественных музыкальных треков, а также использовали коллекции музыки ShutterStock и Pond5 с 25000 и 365000 инструментальных сэмплов соответственно. Для оценки метода использовался бенчмарк MusicCaps, который состоит из 5500 образцов музыки, подготовленных экспертами, и 1000 сбалансированного подмножества разных жанров.

Разработчики Soundraw добавили ряд инструментов для редактирования сгенерированных композиций. Нейросеть создаёт многоканальную запись и разделяет трек на логические части: вступление, куплеты, развязку, финал и другие. К примеру, в специальном меню можно полностью убрать бас в начале, а в припевах добавить больше ударных.

Еще одна музыкальная нейросеть от OpenAI. MuseNet может генерировать 4-минутные музыкальные композиции с использованием 10 различных инструментов. Еще один уникальный аспект нейросети заключается в том, что он может имитировать известных композиторов, таких как Моцарт, а также современных музыкантов.

Для ограничения трафика разработчики Suno используют внутреннюю валюту — кредиты. Одна композиция стоит 5 кредитов, при этом счёт ежедневно пополняется на 50 кредитов (которых хватает на создание 10 треков). Пользователи платной версии получают больше валюты и возможностей.

Каждый временной шаг (t1, t2, …, tn) состоит из 4 квантованных значений (k1, k2, k3, k4). При авторегрессивном моделировании можно сгладить или пересекать их различными способами, создавая новую последовательность с 4 параллельными потоками и шагами (s1, s2, …, sm). Общее количество шагов последовательности M зависит от паттерна и исходного числа шагов N. Токен 0 указывает на пустые позиции в паттерне.