Как бесплатно сгенерировать качественную песню в нейросети Udio

Beatoven

Есть две версии Stable Audio: коммерческая и открытая. Первая может создавать композиции в любых жанрах длительностью до трёх минут, а во второй доступна генерация только коротких примеров. При этом открытую версию можно использовать бесплатно и захостить на собственном сервере.

С сохранением в формате видео я заметила баг: без обложки сохранить не получится. Иногда она генерируется автоматически, а иногда нет. Чтобы ее сделать, нажмите Edit и кликните на автоматическую обложку. Такое требование не подсказывает интерфейс, но без этого шага у меня ни разу не получилось скачать видео. Сервис раз за разом просил подождать, пока оно генерируется.

Если вы точно знаете, как должна звучать песня, или разбираетесь в нотной грамоте, можно дать более четкие инструкции. Например, автор одной из работ указывает в начале текста: [ Tempo: 120 ] [ Measure: 4 /4 ] [ Key: Bₘ ] [ Chords: Bₘ Eₘ G F♯⁷ ] [ Capo: 2 ] . А в другой можно увидеть дескрипторы [ Slow choir buildup ] , [ Organ Solo ] и [ Instrumental fade out ] .

Разработчики Soundraw добавили ряд инструментов для редактирования сгенерированных композиций. Нейросеть создаёт многоканальную запись и разделяет трек на логические части: вступление, куплеты, развязку, финал и другие. К примеру, в специальном меню можно полностью убрать бас в начале, а в припевах добавить больше ударных.

Для ограничения трафика разработчики Suno используют внутреннюю валюту — кредиты. Одна композиция стоит 5 кредитов, при этом счёт ежедневно пополняется на 50 кредитов (которых хватает на создание 10 треков). Пользователи платной версии получают больше валюты и возможностей.

Одна из самых популярных нейросетей для создания музыки, которая завирусилась в социальных сетях. С её помощью можно переложить на музыку собственные стихи, переделать популярную композицию или создать инструментал. Кроме того, в Suno AI есть специальный режим для генерации музыки из аудио. Например, можно настучать бит и сделать из него полноценное ударное соло или напеть мелодию и исполнить её с помощью нейросетевого симфонического оркестра.

Suno хорошо справляется с созданием музыки, умеет работать с любыми жанрами и даже изобретать новые. А вот с текстами дела обстоят значительно хуже. Функция автоматической генерации работает только на английском. Будет ли нейронка обучаться рифмоплётству на других языках, в том числе на великом и могучем, — неизвестно.

При генерации звуков нейросеть создаёт сразу аудиосигнал, минуя нотную запись. В таком случае у модели машинного обучения нет ограничений на звучание: можно создавать вокал, звуки окружения и эффектов. При этом нейросети требуется больше вычислительных ресурсов и запуск на домашнем компьютере уже практически невозможен.

Что такое Suno

Вставить фрагмент. Функция Inpainting доступна только на платных тарифах — о них я расскажу ниже. Она позволяет органично встроить новый фрагмент в любое место трека. Если в Extend генерировать дополнение начиная с какого-то момента мелодии, оно заменит весь невыделенный «хвост». Inpainting же позволяет переписать отдельные участки, в том числе точечно что-то поправить или добавить.

ИИ-генератор, специализирующийся на электронной музыке. С его помощью можно создавать хаус, Lo-Fi, драм-н-бейс, биты и техно. Всего пользователям доступен выбор из 14 жанров. Кроме того, в параметрах генерации можно указать длительность трека (до семи минут), выбрать музыкальные инструменты, задать тональность, темп и структуру. Если нет желания указывать все параметры вручную, то можно описать композицию коротким текстовым запросом.

Нейросеть генерирует полноценные песни длительностью до двух минут, знакома практически со всеми популярными жанрами и поддерживает русский язык. Так что если вы мечтали услышать рэп-версию песенки мамонтёнка или хиты Валерия Сюткина в исполнении AC/DC, то Suno — это то, что надо.

Для решения этой проблемы разработчики внимательно следят за датасетами, на которых обучают нейросети. Например, создатели Stable Audio используют только стоковую музыку без авторских прав. Другие разработчики договариваются с исполнителями на использование их треков в наборе данных.

Для создания песни проще всего сгенерировать ноты, а после сыграть их на виртуальных музыкальных инструментах. Этот способ требует меньше вычислительных ресурсов и быстрее создаёт музыку. Но есть и минусы, например нельзя сгенерировать голос или изобрести новое звучание.

Нейросети для генерации музыки работают так же, как и любые другие модели машинного обучения. Для получения разнообразных результатов важно, чтобы нейросеть «послушала» как можно больше треков. Например, если «скормить» модели все альбомы The Beatles, то и сгенерированные треки будут похожи на стиль британской рок-группы.

Альтернативы

Если на стоках не нашлось подходящей мелодии, то её можно быстро создать с помощью Beatoven. Для этого надо текстом описать эмоции, которые должен испытывать человек во время прослушивания и нажать на кнопку запуска генерации. Всё остальное сделает нейросеть.

Пока нашим нейрокомпозиторам остаётся заниматься самостоятельным сочинительством или, если муза не отвечает взаимностью, воспользоваться одной из LLM. Лучше всего с задачей справляются YandexGPT 3 Pro, интегрированная в чат «Алиса Про», и GigaChat. Можно попробовать сделать одинаковые запросы к двум нейросетям и выбрать лучший вариант или собрать текст из двух ответов.

[ Intro ]
[ Verse 1 ]
Я в своем познании настолько преисполнился,
Что я как будто бы уже
Сто триллионов миллиардов лет проживаю
На триллионах и триллионах таких же планет, как эта Земля.
[ Chorus ]
Мне этот мир абсолютно понятен,
И я здесь ищу только одного —
Покоя, умиротворения и гармонии,
От слияния с бесконечно вечным.

Ещё одним решением может быть создание данных для датасета с нуля. Для этого надо собрать композиторов, музыкантов и записать треки, на которых будет обучаться нейросеть. Такой способ дорого обходится, поэтому чаще всего разработчики просто используют музыку без авторских прав.

Например, если разработчики использовали для обучения треки популярного исполнителя без его разрешения, то суд может расценить это как нарушение авторских прав. Создатели такой нейросети понесут наказание в виде штрафа, а использование композиции, нарушающей авторские права, может привести к удалению трека или видео, в котором он воспроизводится.

Футуристы пророчили, что в будущем всю рутину возьмут на себя роботы, а людям останется лишь писать картины, сочинять музыку и исследовать мир. Однако мы видим, что нейросети с каждым годом всё активнее осваивают творческие профессии и уже даже польстились на хлеб музыкантов.

Сервис платный, и у него нет пробного режима. Самый дешёвый тариф обойдётся в 17 долларов. Этот уровень подписки не позволяет публиковать на стримингах работы, созданные с помощью Soundraw. Перед оплатой можно послушать примеры сгенерированного контента и попробовать режим редактирования. Есть API для разработчиков.

Задайте Context Length — длину предшествующего отрывка, который нейросеть будет учитывать при написании нового. Чем больше контекст, тем лучше сочетаются друг с другом разные фрагменты. Но тем меньше поле для маневра, экспериментов со звучанием в новых частях и сменой стиля.