Как с помощью нейросети заменить голос в песне

0
15

Deepfake голоса и создание новых композиций с помощью нейросети

Добавить комментарий

Отдельно дополню для тех кто попробует натянуть на экстремальный вокал — чистый голос
Возможны неприятные открытия типа экстрим вокалиста орущего мимо нот но при экстрим вокале это было нормально а на чистом звучит как испанский стыд))
Ещё обнажается хреновое качество записи или недостаточная тренировка модели (не только малое количество эпох но и неудачно собранный датасет для тренировки с однообразным или слишком небольшим по количеству материалом) — слова могут звучать неразборчиво.
Ну и на совсем высоком скриме или шрайке уменьшайте питч иначе чистым голосом будет совсем шептать)

Сервис предоставляет широкий выбор голосов, постоянно совершенствуя свои модели синтеза голоса. LOVO недавно запустила Genny, генератор голоса искусственного интеллекта нового поколения, оснащенный функциями преобразования текста в речь и редактирования видео. Он может воспроизводить голоса, похожие на человеческие, с потрясающим качеством, а создатели контента могут одновременно редактировать свое видео.

Speechify — это приложение для преобразования текста в голос. Сервис может преобразовывать PDF-файлы, электронные письма, документы или статьи в аудио, которое можно слушать, а не читать. Есть инструменты, которые позволяют регулировать скорость чтения, библиотека из более чем 200 голосов.

Genny позволяет вам выбирать из более чем 500 голосов искусственного интеллекта на более чем 20 эмоциях и более чем 150 языках, в том числе и русский. Голоса — это голоса профессионального уровня, которые звучат по-человечески и реалистично. Вы можете использовать редактор произношения, управление акцентом, скоростью и высотой тона, чтобы усовершенствовать свою речь и настроить то, как вы хотите, чтобы она звучала.

Благодаря развитию нейронных сетей эффект «Зловещей Долины» с каждым днём всё ближе и ближе к человечеству, ибо то, что когда-то считалось невозможным, в наши дни становится вполне осуществимым. В этой небольшой инструкции вы узнаете, как выполнить Deepfake голоса и на его основе создать совершенно новую композицию, даже если его обладатель давно покинул нас.

К слову если ваша любимая поп певица или певец никогда не будет петь ваш любимый всякий лютый метал это не проблема.
Нейросеть в недавних версиях наловчилась адекватно переваривать гроул и скрим и петь его внятно чистым голосом))
Например вот так Милен Фармер поёт лютый похоронный дум митол)
https://www.youtube.com/watch?v=TfkuXjirPYU
А вот так русскую алтьтернативу 2007го))
https://www.youtube.com/watch?v=nne3wxyzeZU

С появлением передовых технологий искусственного интеллекта и синтеза голоса на рынке появилось множество компьютерных генераторов голоса. Эти быстрые достижения также сделали ненужным использование больших объемов голосовых сэмплов или высокопрофессионального оборудования.

Отдельно отмечу что по крайней мере для SVC не все эпохи одинаково полезны)
Лучше тестить промежуточные итерации (я сохраняю каждую 1000ю потому говорю за них) скажем 42000 шаг может звучать с откровенный металлическим голосом робота работая хуже чем 16000й а тем временем 41000 был идеален о_о а 40000 тоже мусор.
Металл кстати многое прощает! Как раз плотное музло скрывает многие косяки) Голос понизил в редакторе на децибел и ваще хорошо стало)
А вот с простым музлом типа голоса под гитару засада) косяки как на ладони — их нечем маскировать!
Естественно всё это зависит от того чей голос куда натягивать)
Когото проще когото сложнее.
Это индивидуально даже не для каждого исполнителя а для для каждой песни.

ЧИТАТЬ ТАКЖЕ:  Что посмотреть искусственный интеллект

Об авторе

Скажу откровенно, меня пугает уровень развития современных технологий. Но кроме страха я ощущаю ещё и надежду. Надежду на то, что человечество может и не искоренит свои пороки, но благодаря развитию технологий подарит утешение миллионам людей по всему миру. Уважайте свободу, используйте свободное ПО и ни в коем случае не предавайте себя!

3. Чтобы программа могла воссоздать полноценную музыкальную композицию с интересующем нас голосом, необходимо заранее подготовить голосовую модель и отделить вокал солиста от инструментала в интересующей нас композиции. В общем, чтобы голос стал отдельно от музыки.

Эх ладно я нашел живой гайд и живой коллаб по которому уже успешно обучаю) Дам ссылки тута
Инструкция по обучению увы токмо на ангельском но с картинками! https://youtu.be/x-jelyl6dyE
Коллаб для тренировки по этой инструкции https://colab.research.google.com/drive/1TU-kkQWVf-PLO_hSa2QCMZS1XF5xVHqs#scrollTo=MErtbNbp4wn0
Коллаб живой и рабочий остальное что находил нерабочий мусор.
Да суперкомпы гугла бесплатно попашут на вас 3 часа в сутки мощей стоимостью в пару миллионов)

RVC-GUI — это удобная оболочка с открытым исходным кодом созданная для упрощения управления параметрами нейронной сети RVC применяемой для синтеза любого голоса/музыкальной композиции. По сравнению с аналогами, не требует установки и настройки сложных библиотек или использования Linux. Для работы программы достаточно Windows 10/11 и относительно современного ПК.

Эта платформа находится на передавой по разработке алгоритмов преобразования текста в закадровый голос для коммерческого использования. Представьте, что вы можете создать видеоролики за считанные минуты с помощью естественного человеческого голоса. Технологии преобразования текста в речь Synthesys (TTS) и преобразования текста в видео Synthesys (TTV) воплотят все ваши сценарические задумки.

Почему у всех в описании так всё просто? Запустите и работайте 🙂 Так она не запускается просто. Моя система Win7 64, видео АМД, 32 память. При запуске не может загрузить модуль cudart64_110.dll, который точно есть. И нигде никто не пишет, как это можно исправить. Или, какие требования, чтоб RVC точно работала :(((

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь