10 бесплатных ней­ро­сетей для созда­ния музыки и песен

Riffusion

Голос оказался не очень похожим на Айлиш. Вероятно, основное сходство потерялось из-за того, что песня на русском языке, а мелодия слишком ритмичная. Чтобы получить более качественный вариант, можно воспользоваться аналогичной нейросетью so-vits-svc , но придется разбираться с сервисом Google Collab.

Запросом может быть не только текст, но и изображение. Нейросеть проанализирует картинку и создаст подходящий по смыслу трек. В теории можно узнать, как звучат кадры из фильмов или произведения искусства. Однако по снимку йогурта нейросеть создала странную и роботизированную мелодию, которая вряд ли хоть как-то ассоциируется с рекламой.

Лимиты жесткие: только два трека по текстовому запросу и два трека по жанру длительностью до 5 минут. Для своей задачи я выбрала жанр Acoustic, настроение Happy, тему Ads & Trailers. Продолжительность — 1 минута. Получилась приятная мелодия, которую можно использовать для рекламы или влога на «Ютубе».

Исправляя громкость отдельных участков, я попыталась подчеркнуть сильные стороны композиции и замаскировать слабые. В этом же режиме редактирования я увеличила продолжительность трека, установила темп и поменяла инструменты. Но результат все равно мне не очень понравился. Музыка получилась однообразной и напомнила саундтрек игры The Sims. Скачать композицию можно только по платной подписке.

Suno может не только придумать текст, но и исполнить ваш. Функция идеально подойдет для озвучивания переписок или мемных текстов. Для этого нужно перейти в раздел Create, нажать переключатель Custom, в поле Lyrics написать текст, в а в поле Style of Music указать на жанр трека.

Media.io — сервис со множеством ИИ-функций, от улучшения качества фото до изменения голоса. Одна из них — генератор инструментальной музыки. Создавать песни можно по жанру — хип-хоп, рок, акустика, — настроению — счастливое, грустное, романтичное — или теме — реклама, трейлер, влог, занятия спортом. Либо написать текстовый запрос на английском языке.

Udio

Качество генерации: 🎵🎵🎵🎵
Что умеет: генерировать песни с вокалом или инструментальную музыку по текстовому запросу
Лимиты: 10 кредитов в день хватит на пять песен
Платные функции: больше кредитов от 10 $⁣ ( 878 ₽) в месяц, но российской картой оплатить нельзя

MusicGen — нейросеть, создающая музыку по текстовому описанию и примеру мелодии, что дает более точный контроль над создаваемым выводом. Исследователи провели обширное эмпирическое исследование, чтобы доказать превосходство предложенного подхода по сравнению с существующими методами на стандартных бенчмарках текст-музыка. Самостоятельно создать музыку с помощью нейросети можно в демонстрационной версии модели на Hugging face, полный код модели доступен в репозитории на Github.

Качество генерации: 🎵🎵🎵🎵🎵
Что умеет: генерировать песни с вокалом по текстовому запросу, редактировать треки
Лимиты: 50 кредитов хватает на пять попыток
Платные функции: больше кредитов от 10 $⁣ ( 878 ₽) в месяц, но российской картой оплатить нельзя

Метод основан на языковой модели, которая оперирует несколькими потоками сжатого дискретного представления музыки в виде токенов. Отличительной особенностью MusicGen является использование эффективных интерлейсных паттернов токенов, что позволяет избежать необходимости каскадного соединения нескольких моделей, повышающих частоту дискретизации. Это не первая нейросеть, создающая музыку, например, в январе 2023 года GoogleAI опубликовал свой метод MusicLM, но код опубликован не был.

Метод MusicGen основан на авторегрессивной модели декодирования на основе трансформера. Он использует квантованные единицы из аудио-токенизатора EnCodec для моделирования музыки. Для сжатия и представления параллельных потоков данных, используется метод векторного квантования с использованием нескольких обученных кодировщиков.

Качество генерации: 🎵🎵
Что умеет: генерировать инструментальную музыку по заданным параметрам
Лимиты: нет, но бесплатно треки скачать нельзя
Платные функции: 16,99 $⁣ ( 1493 ₽) за возможность скачивать треки и дополнительные функции, но российской картой оплатить нельзя