Топ-8 нейросетей для создания музыки

Soundraw

Soundful — генератор фоновой музыки для блогеров, контент-мейкеров и рекламщиков. Для создания трека надо выбрать желаемый жанр из списка и указать скорость композиции. Всего доступно около 150 шаблонных жанров, поэтому сервис не подойдёт для экспериментов с новыми направлениями в музыке.

ИИ-генератор, специализирующийся на электронной музыке. С его помощью можно создавать хаус, Lo-Fi, драм-н-бейс, биты и техно. Всего пользователям доступен выбор из 14 жанров. Кроме того, в параметрах генерации можно указать длительность трека (до семи минут), выбрать музыкальные инструменты, задать тональность, темп и структуру. Если нет желания указывать все параметры вручную, то можно описать композицию коротким текстовым запросом.

Создание нот: нейросеть выстраивает последовательность аккордов, нот, звуков, но такой подход не позволяет работать с тональностью звука и не может воспроизвести человеческий голос. В результате можно получить музыкальную партитуру, последовательность событий MIDI (распространенный стандарт цифровой звукозаписи), простую мелодию, последовательность аккордов, текстовое представление — символическую форму, по которой можно сыграть произведение.

Чтобы сгенерировать трек в Mubert [11], нужно выбрать жанр, стиль и настроение мелодии или составить текстовый запрос на английском. В первом случае композиция будет готова уже через несколько секунд, чуть больше времени потребуется на генерацию с помощью текстового запроса. Очень простая в использовании программа; треки можно создавать как для личных, так и для коммерческих целей — в зависимости от тарифа. Стоимость — от $14, есть бесплатная версия.

По российскому авторскому праву автором музыкального произведения считается человек, творческим трудом которого произведение создано. Если пользователь нейросети только задаёт общие параметры будущей композиции, выбирая из предложенных программой опций, то его творческий вклад в создание композиции отсутствует.

Есть две версии Stable Audio: коммерческая и открытая. Первая может создавать композиции в любых жанрах длительностью до трёх минут, а во второй доступна генерация только коротких примеров. При этом открытую версию можно использовать бесплатно и захостить на собственном сервере.

Подходы для систем генерации

Эта нейросеть появилась еще в 2016 году и с того времени продолжает совершенствоваться. У AIVA [5] даже вышел собственный альбом. Алгоритм также сочинил композицию, которая используется в видеоигре Pixelfield. Стартап запускали специально для написания мелодий для рекламы или видеоигр. Нейросеть создает собственные треки, корректирует готовые, пишет несколько вариаций одной песни. Стоимость — от €11 в месяц, разные тарифы зависят от целей.

В других случаях, а особенно в случае коммерческого использования, авторы произведений, на которых обучалась нейросеть, могут предъявить претензии. Авторы или их наследники могут запретить использование композиций и потребовать выплаты денежной компенсации. Эти правила не касаются произведений, перешедших в общественное достояние.

По такому же принципу проводится и музыкальный тест Тьюринга: нейросеть проходит его, если произведение принимают за созданное человеком. Например, так протестировали [14] алгоритм DeepBach. Более 1,6 тыс. человек должны были послушать музыку и понять, где работа алгоритма, а где — Баха. Как оказалось, сделать это непросто: 50% испытуемых приняли работу компьютера за творчество композитора.

Нейросети для генерации музыки работают так же, как и любые другие модели машинного обучения. Для получения разнообразных результатов важно, чтобы нейросеть «послушала» как можно больше треков. Например, если «скормить» модели все альбомы The Beatles, то и сгенерированные треки будут похожи на стиль британской рок-группы.

Ещё одним решением может быть создание данных для датасета с нуля. Для этого надо собрать композиторов, музыкантов и записать треки, на которых будет обучаться нейросеть. Такой способ дорого обходится, поэтому чаще всего разработчики просто используют музыку без авторских прав.

После победы их страны на «Евровидении» 2019 года израильские программисты написали [2] трек с помощью искусственного интеллекта, загрузив в нейросеть песни с прошлых конкурсов. Результатом стала песня Blue Jeans and Bloody Tears, которую исполнил Изхар Коэн, первый израильский победитель конкурса 1978 года.

Например, если разработчики использовали для обучения треки популярного исполнителя без его разрешения, то суд может расценить это как нарушение авторских прав. Создатели такой нейросети понесут наказание в виде штрафа, а использование композиции, нарушающей авторские права, может привести к удалению трека или видео, в котором он воспроизводится.

Сейчас Jukebox — это скорее исследовательский проект, и для публичного использования он пока недоступен. OpenAI представила также еще одну нейросеть для создания музыки, которой может пользоваться любой желающий, — MuseNet [9]. Но с 12 мая проект взят на доработку и пока недоступен.