Как сделать ИИ-кавер при помощи нейросети

Степ намбер ван — устанавливаем Python

Шаг 9. Нажмите на иконку папки и перетащите в пустое пространство аудиофайл с а капеллой в формате wav, который вы подготовили в третьем шаге. Загрузка файла может занять несколько минут — все зависит от его длины. Когда файл загрузится, запустите код.

Способ, не требующий навыков программирования или мощного компьютера: воспользоваться нейросетью на Google Colab. Полностью готовый ИИ-кавер можно сделать примерно за полчаса. Сгенерировать песню можно с голосом исполнителя, чью модель выложили в открытый доступ энтузиасты.

Дольше всего загружается Setup 1 — около 10 минут. Остальным требуется несколько секунд. Вам не придется загружать код для каждого трека, достаточно сделать это один раз. Но спустя примерно два часа код автоматически сбросится. В таком случае придется начинать весь процесс заново.

Вы, наверное, уже видели кучу каверов на известные песни спетые другими исполнителями. К примеру, «Summertime sadness» Ланы Дель Рей перепетая Канье Уэстом. Естественно, сам он не пел, это сделала нейросеть. Так вот, в этой статье мы расскажем как установить эту нейросеть, а именно So-VITS-SVC (SoftVC VITS Singing), и как ей пользоваться. Все очень просто, программистом быть не нужно.

Шаг 7. Выберите голос, который будет исполнять вашу песню. Для этого под заголовком Other Downloads (.zip) Step o.1 найдите поле model_url и добавьте туда ссылку на папку с моделью голоса. Ссылки можно взять из списка предложенных в этой же ячейке: Канье Вест, Кендрик Ламар, Дрейк.

Шаг 6. Поочередно запустите ячейки Check GPU, Setup 1, Setup 2, Download ContentVec, Setup HF Downloads. Для этого нужно нажать кнопку Play возле соответствующего заголовка. Когда код загрузится, возле названия ячейки появится зеленая галочка. Запускайте следующую ячейку, только когда закончится загрузка предыдущей. Если вы пропустите одну из строчек, программа не сработает.

Устанавливаем саму нейросеть

В просторах интернета много ресурсов, где вы можете это сделать. Вот некоторые из них: Vocalremover. Бесплатно дается 1 файл максимальной продолжительностью 10 минут, более обширен в инструментах, можно выделить и отдельные инструментальные партии. Бесплатный mvsep. Ничего сложного, загружаете аудиозапись, выбираете тип разделения «вокал, музыка», скачиваете оба файла

Где нам их найти? Конечно там где сейчас есть все — в дискорде. Переходим по ссылочке в нужный нам канал и выбираем из предложенных голос того человека или персонажа, который нам нужен, кликаем на него, открывается пост, в нем указана ссылка, как правило, на облачное хранилище. Вы увидите там либо архив к скачиванию, либо файлы. Вам обязательно нужно, чтобы было два файла в форматах pth и json. Сохраняем их на компьютер. Мне нужен был голос Эрика Картмана из Саус Парка, на тот момент в дискорде не было этого файла, поэтому брали здесь. Переходим по ссылке, жмем «Files and versions» Выбираем папку с нужным голосом. Скачиваем оба файла.

Шаг 4. Выберите один из предложенных голосов. На сайте доступны вокалы Арианы Гранде, Дрейка, Граймс, Канье Уэста, Трэвиса Скотта и других. Есть два персонажа мультфильмов — Губка Боб Квадратные Штаны и Питер Гриффин. При этом все эти голоса могут воспроизводить русскоязычный текст.

История про трек разошлась, и позже его удалили со всех площадок по требованию правообладателя Universal. Но в соцсетях стали появляться другие коллаборации: голосом Фредди Меркьюри исполнили песню Imagine Dragons, а Канье Уэст «спел» Just The Two of Us. Тренд добрался и до рунета: песни стали перепевать голосами Доры и Элджея. А ИИ-каверы нейро-Моргенштерна сильно разошлись в «Тиктоке».

Нейросеть из Google Colab позволяет сгенерировать трек сотней голосов, модели которых сделали пользователи. Этот способ затратен по времени: нужно ждать загрузки кода, часто он выдает ошибки. Разобраться в причинах с ходу сложно — сервис не говорит, в чем именно проблема. Порой приходится проводить время на форумах и «Ютубе», чтобы устранить ошибку — а через пять минут наткнуться уже на новую.

Музыка защищена авторским правом, поэтому использовать в коммерческих целях ее нельзя. Будьте готовы к тому, что ваш сгенерированный трек могут удалить с «Ютуба» или других платформ по требованию правообладателя. Либо выбирайте песни, доступные по лицензии Creative Commons.

Musicfy позволяет генерировать треки гораздо проще: с коротким ожиданием, без запуска кода и возможности столкнуться с ошибками. С этим способом даже не требуется конвертировать аудиофайлы. Главный минус — на сайте представлен ограниченный набор голосов.

Есть два варианта открытия приложения. В командной строке вводим: svc gui. И должно открыться такое окно: Если вдруг у вас не получилось и вышла ошибка, например, что такой команды нет, попробуйте найти отдельно приложение svc-gui.exe в папке с Python и запустить его. У нас вышло такое окно, но мы не стали вникать, просто окнули, подождали и все открылось. В данном поле Model path выбираем ранее скачанный файл pth: В Config path файл json: В поле Input audio path выбираем аудиофайл где только вокал той песни, которую мы будем менять: Здесь вы задаете имя и расположением новой аудиозаписи, которая получиться в конце: Рекомендуем снять галочку с Auto play, чтобы не снижать производительность: Если вы хорошо шарите в звукообработке, то настраиваете поля как считаете нужным, если нет — позвольте системе применить параметры по умолчанию и самой подстроиться под ваш файл И запускайте обработку записи нажатием на Infer: В командной строке происходит процесс обработки, отображается ее статус, делать ничего не нужно: По окончанию, в заданной вами папке, найдете долгожданную запись.А здесь прикладываем наш AI-кавер на песню группы a-ha «Take on me» голосом Эрика Картмана из «Южного Парка».