Deepfake голоса и создание новых композиций с помощью нейросети

Пожаловаться на комментарий

К слову если ваша любимая поп певица или певец никогда не будет петь ваш любимый всякий лютый метал это не проблема.
Нейросеть в недавних версиях наловчилась адекватно переваривать гроул и скрим и петь его внятно чистым голосом))
Например вот так Милен Фармер поёт лютый похоронный дум митол)
https://www.youtube.com/watch?v=TfkuXjirPYU
А вот так русскую алтьтернативу 2007го))
https://www.youtube.com/watch?v=nne3wxyzeZU

Почему у всех в описании так всё просто? Запустите и работайте 🙂 Так она не запускается просто. Моя система Win7 64, видео АМД, 32 память. При запуске не может загрузить модуль cudart64_110.dll, который точно есть. И нигде никто не пишет, как это можно исправить. Или, какие требования, чтоб RVC точно работала :(((

Дополню что собирать музло обратно гораздо удобнее во FL Studio
А Отковыривать голос и музыку отдельно в Ultimate Vocal Remover
ЗЫ я хз как комент сюда попал вместо того чтобы пойти вниз… ну да ладно.
По теме отвечу что для телефона есть гугл коллаб он всё за телефон сделает по быстрому)
Но это огромная тема есть на ютубе lunnaholy он инструкции подробные снимал для бедолаг с телефонами

Предварительно можно послушать, как звучат голоса. Русскоговорящих всего 24, но они роботизированные — не хватает выразительности и эмоциональности. Из всех мне понравились только три: Ольга, Владимир и Галина. Помимо голоса по кнопке «Больше опций» можно настроить параметры: выбрать громкость, скорость и формат аудио — M4A, MP3, WAV.

Отдельно отмечу что по крайней мере для SVC не все эпохи одинаково полезны)
Лучше тестить промежуточные итерации (я сохраняю каждую 1000ю потому говорю за них) скажем 42000 шаг может звучать с откровенный металлическим голосом робота работая хуже чем 16000й а тем временем 41000 был идеален о_о а 40000 тоже мусор.
Металл кстати многое прощает! Как раз плотное музло скрывает многие косяки) Голос понизил в редакторе на децибел и ваще хорошо стало)
А вот с простым музлом типа голоса под гитару засада) косяки как на ладони — их нечем маскировать!
Естественно всё это зависит от того чей голос куда натягивать)
Когото проще когото сложнее.
Это индивидуально даже не для каждого исполнителя а для для каждой песни.

Более натурально и живо звучат Владимир и София. Вместе с этим их голоса похожи на дикторские, поэтому создается ощущение, что ты слушаешь чтение книги перед сном. Иван и Ирина, напротив, читают довольно роботизированно. В их голосе слышится такой звук синтеза, который выдает робота.

Robivox

Качество озвучки: 📣📣📣📣
Лимиты: до регистрации есть ограничение в 250 символов, после регистрации сервис дает 10 минут, которые тратятся каждый раз после озвучки текста
Платные функции: за 19 $⁣ ( 1816 ₽) в месяц сервис дает 24 часа озвучки, российской картой оплатить нельзя

3. Чтобы программа могла воссоздать полноценную музыкальную композицию с интересующем нас голосом, необходимо заранее подготовить голосовую модель и отделить вокал солиста от инструментала в интересующей нас композиции. В общем, чтобы голос стал отдельно от музыки.

Эх ладно я нашел живой гайд и живой коллаб по которому уже успешно обучаю) Дам ссылки тута
Инструкция по обучению увы токмо на ангельском но с картинками! https://youtu.be/x-jelyl6dyE
Коллаб для тренировки по этой инструкции https://colab.research.google.com/drive/1TU-kkQWVf-PLO_hSa2QCMZS1XF5xVHqs#scrollTo=MErtbNbp4wn0
Коллаб живой и рабочий остальное что находил нерабочий мусор.
Да суперкомпы гугла бесплатно попашут на вас 3 часа в сутки мощей стоимостью в пару миллионов)

Чтобы озвучить текст, напишите или скопируйте его, выберите настройки и нажмите «Озвучить». Результат можно скачать в MP3 и WAV. Не рекомендую регистрироваться на сайте, потому что Apihost сразу потребует оплатить подписку. Бесплатные попытки доступны только без регистрации.

Traceback (most recent call last):
File «site.py», line 169, in addpackage
File «», line 1, in
File «», line 562, in module_from_spec
AttributeError: ‘NoneType’ object has no attribute ‘loader’
Remainder of file ignored
Error processing line 1 of G:\Archive\Deep Fake\runtime\lib\site-packages\matplotlib-3.6.2-py3.9-nspkg.pth:
Traceback (most recent call last):
File «site.py», line 169, in addpackage
File «», line 1, in
File «», line 562, in module_from_spec
AttributeError: ‘NoneType’ object has no attribute ‘loader’
Remainder of file ignored
Error processing line 7 of G:\Archive\Deep Fake\runtime\lib\site-packages\pywin32.pth:
Traceback (most recent call last):
File «site.py», line 169, in addpackage
File «», line 1, in
ModuleNotFoundError: No module named ‘pywin32_bootstrap’
Remainder of file ignored
Traceback (most recent call last):
File «G:\Archive\Deep Fake\rvcgui.py», line 3, in
from tkinter import filedialog
ModuleNotFoundError: No module named ‘tkinter’
Press any key to continue.. .
((((

В бесплатной версии есть ограничения только на озвучку. Максимальный размер текста — 1000 символов, а еще у голосов нет эмоциональной окраски. Это значит, что они будут озвучивать текст нейтрально, даже если поиграться с функционалом. Например, можно поменять бас, эхо, скорость, высоту, частоту и громкость.

Из настроек есть: высота, скорость, паузы. Также в личном кабинете можно сохранять голоса в избранное. Мне показалось, что сервис больше подходит для личного использования. Например, прочитать анекдот и отправить это друзьям или поиграться с настройками голоса и понять, что вам нравится.

Здравствуйте, не пойму что нужно делать, к примеру я хочу заменить песенку про мамонтенка, голосом Розенбаума, мои действия какие должны быть. 1) взять песенку мамонтенка и сделать один вокал или наоборот один Розенбаум. 2)где мне брать модель под мамонтёнка в формате RVC/RVC2, 3) МОЖНО пожалуйста дополнить инструкцию.