Как сделать ИИ-кавер при помощи нейросети

Как сгенерировать трек в нейросети so-vits-svc при помощи Google Colab

История про трек разошлась, и позже его удалили со всех площадок по требованию правообладателя Universal. Но в соцсетях стали появляться другие коллаборации: голосом Фредди Меркьюри исполнили песню Imagine Dragons, а Канье Уэст «спел» Just The Two of Us. Тренд добрался и до рунета: песни стали перепевать голосами Доры и Элджея. А ИИ-каверы нейро-Моргенштерна сильно разошлись в «Тиктоке».

Genny позволяет вам выбирать из более чем 500 голосов искусственного интеллекта на более чем 20 эмоциях и более чем 150 языках, в том числе и русский. Голоса — это голоса профессионального уровня, которые звучат по-человечески и реалистично. Вы можете использовать редактор произношения, управление акцентом, скоростью и высотой тона, чтобы усовершенствовать свою речь и настроить то, как вы хотите, чтобы она звучала.

Musicfy позволяет генерировать треки гораздо проще: с коротким ожиданием, без запуска кода и возможности столкнуться с ошибками. С этим способом даже не требуется конвертировать аудиофайлы. Главный минус — на сайте представлен ограниченный набор голосов.

Шаг 6. Поочередно запустите ячейки Check GPU, Setup 1, Setup 2, Download ContentVec, Setup HF Downloads. Для этого нужно нажать кнопку Play возле соответствующего заголовка. Когда код загрузится, возле названия ячейки появится зеленая галочка. Запускайте следующую ячейку, только когда закончится загрузка предыдущей. Если вы пропустите одну из строчек, программа не сработает.

Altered Studio — это аудиоредактор следующего поколения, который объединяет несколько технологий редактирования голоса в единое удобное приложение. Он работает как онлайн, так и локально на Windows и Mac. Тут имеются инструменты для транскрибирования, озвучивания, преобразования текста в речь и переводы. Одна из опций позволяет видоизменять голос.

Эта платформа находится на передавой по разработке алгоритмов преобразования текста в закадровый голос для коммерческого использования. Представьте, что вы можете создать видеоролики за считанные минуты с помощью естественного человеческого голоса. Технологии преобразования текста в речь Synthesys (TTS) и преобразования текста в видео Synthesys (TTV) воплотят все ваши сценарические задумки.

Synthesys.io

Шаг 9. Нажмите на иконку папки и перетащите в пустое пространство аудиофайл с а капеллой в формате wav, который вы подготовили в третьем шаге. Загрузка файла может занять несколько минут — все зависит от его длины. Когда файл загрузится, запустите код.

Шаг 4. Выберите один из предложенных голосов. На сайте доступны вокалы Арианы Гранде, Дрейка, Граймс, Канье Уэста, Трэвиса Скотта и других. Есть два персонажа мультфильмов — Губка Боб Квадратные Штаны и Питер Гриффин. При этом все эти голоса могут воспроизводить русскоязычный текст.

Сервис предоставляет широкий выбор голосов, постоянно совершенствуя свои модели синтеза голоса. LOVO недавно запустила Genny, генератор голоса искусственного интеллекта нового поколения, оснащенный функциями преобразования текста в речь и редактирования видео. Он может воспроизводить голоса, похожие на человеческие, с потрясающим качеством, а создатели контента могут одновременно редактировать свое видео.

Нейросеть из Google Colab позволяет сгенерировать трек сотней голосов, модели которых сделали пользователи. Этот способ затратен по времени: нужно ждать загрузки кода, часто он выдает ошибки. Разобраться в причинах с ходу сложно — сервис не говорит, в чем именно проблема. Порой приходится проводить время на форумах и «Ютубе», чтобы устранить ошибку — а через пять минут наткнуться уже на новую.

Способ, не требующий навыков программирования или мощного компьютера: воспользоваться нейросетью на Google Colab. Полностью готовый ИИ-кавер можно сделать примерно за полчаса. Сгенерировать песню можно с голосом исполнителя, чью модель выложили в открытый доступ энтузиасты.

Speechify — это приложение для преобразования текста в голос. Сервис может преобразовывать PDF-файлы, электронные письма, документы или статьи в аудио, которое можно слушать, а не читать. Есть инструменты, которые позволяют регулировать скорость чтения, библиотека из более чем 200 голосов.