Нейросеть генерирует голос по 15-секундной аудиозаписи

ElevenLabs

Вариант голоса можно выбрать по клику на выпадающее меню, там же можно послушать примеры. После ввода текста нажмите Generate speech — результат будет готов через несколько секунд. Чтобы скачать, нажмите на кнопку сохранения. Сервис сразу покажет, сколько символов у вас осталось.

Более натурально и живо звучат Владимир и София. Вместе с этим их голоса похожи на дикторские, поэтому создается ощущение, что ты слушаешь чтение книги перед сном. Иван и Ирина, напротив, читают довольно роботизированно. В их голосе слышится такой звук синтеза, который выдает робота.

Эх ладно я нашел живой гайд и живой коллаб по которому уже успешно обучаю) Дам ссылки тута
Инструкция по обучению увы токмо на ангельском но с картинками! https://youtu.be/x-jelyl6dyE
Коллаб для тренировки по этой инструкции https://colab.research.google.com/drive/1TU-kkQWVf-PLO_hSa2QCMZS1XF5xVHqs#scrollTo=MErtbNbp4wn0
Коллаб живой и рабочий остальное что находил нерабочий мусор.
Да суперкомпы гугла бесплатно попашут на вас 3 часа в сутки мощей стоимостью в пару миллионов)

Хотя эта технология не нова (ее разработали в конце 2022 года), возможности Voice Engine впечатляют. Например, с помощью нейросети девушка, которая потеряла способность нормально говорить из-за сосудистой опухоли головного мозга, теперь вновь может общаться своим привычным голосом. Для этого разработчики использовали звуковую запись, которую она когда-то сделала для школьного проекта.

Всего доступно 29 русскоязычных голосов. Они достаточно разнообразны, текст озвучивается без ошибок и даже с правильной интонацией, но сильно ощущается неестественность. Есть даже отдельный Максим-бот, чей голос вам точно знаком по сотням роликов с YouTube и TikTok. Мои фавориты — Захар, Полина, Дария.

Здравствуйте, не пойму что нужно делать, к примеру я хочу заменить песенку про мамонтенка, голосом Розенбаума, мои действия какие должны быть. 1) взять песенку мамонтенка и сделать один вокал или наоборот один Розенбаум. 2)где мне брать модель под мамонтёнка в формате RVC/RVC2, 3) МОЖНО пожалуйста дополнить инструкцию.

Zvukogram

RVC-GUI — это удобная оболочка с открытым исходным кодом созданная для упрощения управления параметрами нейронной сети RVC применяемой для синтеза любого голоса/музыкальной композиции. По сравнению с аналогами, не требует установки и настройки сложных библиотек или использования Linux. Для работы программы достаточно Windows 10/11 и относительно современного ПК.

Чтобы озвучить текст, напишите или скопируйте его, выберите настройки и нажмите «Озвучить». Результат можно скачать в MP3 и WAV. Не рекомендую регистрироваться на сайте, потому что Apihost сразу потребует оплатить подписку. Бесплатные попытки доступны только без регистрации.

Предварительно можно послушать, как звучат голоса. Русскоговорящих всего 24, но они роботизированные — не хватает выразительности и эмоциональности. Из всех мне понравились только три: Ольга, Владимир и Галина. Помимо голоса по кнопке «Больше опций» можно настроить параметры: выбрать громкость, скорость и формат аудио — M4A, MP3, WAV.

При всей пользе Voice Engine критики по всему миру все же обеспокоены последними тенденциями. Речь о том, что ИИ способен создавать фальшивые видео- и аудиозаписи. В OpenAI заверяют, что сейчас все, кто тестирует их новинку, подписывают соглашение, в котором запрещено использовать любые голоса без письменного разрешения разработчика. При этом компании обязаны сообщать своей аудитории, что голоса, которые они слышат, генерирует искусственный интеллект. Наконец, OpenAI внедрила «водяные знаки», которые позволяют определить происхождение любого звука, создаваемого Voice Engine.

Российский сервис с семью версиями нейросети, которые различаются лимитом по символам и количеством голосов. Например, в V1 — 1000 символов и 17 голосов, в V2 — уже 500 символов и 20 голосов. Модели различаются по качеству генерации, набору эмоций, скорости обработки.

Охват глобальных данных и небольших сообществ. В компании Dimagi, занимающейся разработкой мобильных приложений для сбора, хранения и обработки статической информации в здравоохранении, тоже заинтересовались Voice Engine. Там начали применять ее для интерактивной обратной связи с медработниками в удаленных уголках планеты. А еще для создания обучающих роликов (например, по грудному вскармливанию младенцев) на редких языках. Только в Кении насчитывается 68 диалектов, и каждая община говорит на своем. Яркий пример — шэн — смесь английского и суахили.

Чтобы озвучить текст, введите его в поле, выберите язык, голос и настройки — высоту, частоту, паузу предложений, параграфов и скорость. Под полем для ввода есть подробные инструкции, как размечать текст, — воспользуйтесь ими. Можно даже сгенерировать диалог между разными голосами. Нажмите на «Озвучить текст».

В бесплатной версии есть ограничения только на озвучку. Максимальный размер текста — 1000 символов, а еще у голосов нет эмоциональной окраски. Это значит, что они будут озвучивать текст нейтрально, даже если поиграться с функционалом. Например, можно поменять бас, эхо, скорость, высоту, частоту и громкость.

53 комментария

1. Количество эпох это степень обучения модели, больше>лучше. 41.6k — это качество дискретизации, больше>лучше.
2. Модели есть, но их нужно ещё поискать. В основном все их обучают сами и мало кто делится в итоге. Погуглите модели или гайд по обучению. Я хотел продолжить гайд обучением, но обнаружил, что это мало кому интересно. В общем, решил не тратить силы.

Также Voice Engine пригодится тем, кто общается жестами. Существуют приложения с искусственным интеллектом, которые позволяют коммуницировать людям с ограниченными возможностями. Используя новую нейросеть, они могут выбирать из числа уникальных, нероботизированных голосов.

Дополню что собирать музло обратно гораздо удобнее во FL Studio
А Отковыривать голос и музыку отдельно в Ultimate Vocal Remover
ЗЫ я хз как комент сюда попал вместо того чтобы пойти вниз… ну да ладно.
По теме отвечу что для телефона есть гугл коллаб он всё за телефон сделает по быстрому)
Но это огромная тема есть на ютубе lunnaholy он инструкции подробные снимал для бедолаг с телефонами

Отдельно отмечу что по крайней мере для SVC не все эпохи одинаково полезны)
Лучше тестить промежуточные итерации (я сохраняю каждую 1000ю потому говорю за них) скажем 42000 шаг может звучать с откровенный металлическим голосом робота работая хуже чем 16000й а тем временем 41000 был идеален о_о а 40000 тоже мусор.
Металл кстати многое прощает! Как раз плотное музло скрывает многие косяки) Голос понизил в редакторе на децибел и ваще хорошо стало)
А вот с простым музлом типа голоса под гитару засада) косяки как на ладони — их нечем маскировать!
Естественно всё это зависит от того чей голос куда натягивать)
Когото проще когото сложнее.
Это индивидуально даже не для каждого исполнителя а для для каждой песни.

К слову если ваша любимая поп певица или певец никогда не будет петь ваш любимый всякий лютый метал это не проблема.
Нейросеть в недавних версиях наловчилась адекватно переваривать гроул и скрим и петь его внятно чистым голосом))
Например вот так Милен Фармер поёт лютый похоронный дум митол)
https://www.youtube.com/watch?v=TfkuXjirPYU
А вот так русскую алтьтернативу 2007го))
https://www.youtube.com/watch?v=nne3wxyzeZU

Если вы хотите пойти дальше и работать с более длинными текстами, а еще и добавлять к ним эмоции, придется зарегистрироваться. Правда, после сервис попросит вас оплатить хотя бы минимальное количество символов, чтобы озвучить текст. Из интересного — можно сохранять голоса в избранное и менять их эмоцию. Доступно всего два варианта: Neutral и Robot.

Благодаря развитию нейронных сетей эффект «Зловещей Долины» с каждым днём всё ближе и ближе к человечеству, ибо то, что когда-то считалось невозможным, в наши дни становится вполне осуществимым. В этой небольшой инструкции вы узнаете, как выполнить Deepfake голоса и на его основе создать совершенно новую композицию, даже если его обладатель давно покинул нас.

Voice Engine сейчас тестируют на небольших группах людей. И хотя ее создатели опасаются, что их детище попадет в руки мошенников, они в итоге намерены сделать новинку доступной и безопасной для массового пользования. Ведь она может стать полезной во многих сферах жизни.