Как сделать кавер нейросетью
Есть и другие нейросети, работающие по такому же принципу, некоторые имеют лучше модель ИИ или же позволяют более качественно подменять голос, однако такие платные или пока еще недостаточно известные для широкого применения. Поэтому процесс создания кавера был продемонстрирован именно на RVC, как средстве, которое используется повсеместно для создания видео с каверами на YouTube или в TikTok.
Это тоже программа, как и предбудущая нейронка. Тоже занимается клонированием голосов и каверами. В арсенале имеется 46 языков и база из 3200 голосов. Имеется встроенный редактор звука. В базе есть голос Губки Боба, Оптимуса Прайда, Байдена и других политиков или бывших политиков. Достаточно глубокий и проработанный интерфейс программы.
MusicAI — это программа — генератор треков, может переозвучить песню одним из героев модель которого закачана в нейросеть. От вас требуется сама песня, которую нужно будет загрузить на сервис. Как указано на ресурсе, использовать коммерчески треки пока нельзя.
Само выражение «поют песни голосом» (т.е. каверы) звучит, как-то странно. Какой-то код, сайт может петь по-человечески, задумаетесь вы, а нет, может и ещё как. Применяя особые алгоритмы обученные нейросети могут озвучить любую песню, причем можно даже задать тонкие характеристики для звучания.
Экспериментируйте с разными треками, создавайте каверы по существующим песням или пишите что-то свое в разных жанрах. У Suno большая библиотека голосов, которые могут петь заданные песни, каждый из них настроен под свои жанры, поэтому иногда стоит переключаться между ними или выбирать случайные, чтобы узнать, какой результат будет наилучшим.
В итоге мы получили новый файл с акапеллой из песни, где вместо голоса оригинального артиста – выбранная голосовая модель. Ее нужно использовать вместе с минусом, который был отделен при помощи онлайн-сервиса. Происходит наложение голоса на музыку, чтобы сформировать песню. Для этого можете использовать любой аудиоредактор, работающий в десктопном режиме или онлайн.
Онлайн-сервис Suno
Нейросеть RVC работает таким образом, что анализирует одну голосовую модель и подменяет ее на другую. Поэтому вам нужно либо найти акапеллу из интересующей песни, либо создать ее самостоятельно. Поступить по второму плану проще, поскольку можно использовать разные онлайн-сервисы на базе ИИ, которые отделяют музыку от вокала. Этим я и предлагаю заняться далее.
Suno – нейросеть, работающая в виде сайта. Может создавать песни с нуля, занимаясь написанием текста и музыки. Однако она подходит и для создания каверов, поскольку вы самостоятельно можете загрузить текст или инструментал, а далее выбрать жанр и задать дополнительные подсказки для нейросети. Ее главное отличие от предыдущего инструмента – невозможность самостоятельно выбрать голосовую модель. Голос артиста будет сгенерирован тоже с нуля.
Как видите, каждая из предложенных нейросетей имеет свой набор возможностей и функций, которые помогают в создании каверов. Отталкивайтесь от того, какую цель вы преследуете. Если желаете, чтобы известная личность спела какую-нибудь песню, то остановиться лучше на RVC. Если популярный трек должен звучать по-новому, в другом жанре, тогда присмотритесь к Suno.
Если мы говорим о продвинутом инструменте, который позволяет голос в треке заменить на абсолютно любой другой, то в первую очередь стоит отметить именно RVC. Это десктопная программа, имеющая несколько разных моделей нейросетей. Работает по принципу анализа загруженной голосовой модели и замены ею оригинальной. Как раз через такую программу можно сделать кавер, используя любую готовую голосовую модель.
Подготовка практически завершена, остается только разобраться с голосовой моделью. Их можно скачать с самых разных сайтов, предназначенных для замены голоса через RVC. Большинство известных артистов, включая отечественных, уже имеют свои голосовые модели, созданные энтузиастами. Если вы хотите сделать кавер с голосом вашего знакомого, понадобится звуковая дорожка с его речью, длиною не менее 10 минут. После чего она должна быть обработана через другую нейросеть для получения необходимых файлов. Этот процесс сложный и требует отдельного разбора, поэтому лучше посмотреть видеогайды по этой теме.
Fineshare — сайт по созданию каверов, может пропеть или воспроизвести вашу композицию голосом известных персонажей. Процесс создания состоит из нескольких этапов, для начала выбираете голос актера или певца, который больше всего понравился, затем загружаете свой файл с музыкой и уже генерируете. Тут же есть и инструменты для создания обложек для трека.
