Microsoft представила VALL-E — ИИ-модель, которая имитирует голос по маленькому образцу

Генерация голоса

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

VALL-E — это новаторская модель искусственного интеллекта, разработанная Microsoft, способная генерировать речевой звук всего за три секунды голосового образца. Эта модель по сути является языковая модель нейронного кодека обучен обширным голосовым данным для обеспечения высококачественного синтеза речи.

Потенциальные приложения VALL-E охватывают широкий спектр отраслей, особенно тех, которые связаны с обслуживанием клиентов и производством контента. Вот несколько возможных вариантов использования этого революционного инструмента искусственного интеллекта:

При создании модели использовалась разработанная Meta✴ технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta✴ — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.

После входа в систему вам будет представлено текстовое поле, где вы можете ввести или вставить текст, который хотите преобразовать в речь. Будь то короткое предложение, абзац или даже весь сценарий, этот инструмент может работать с широким диапазоном входных длин.

Когда вы будете удовлетворены результатом, вы можете загрузить сгенерированный аудиофайл в предпочитаемом вами формате, таком как MP3 или WAV. Некоторые платформы также предлагают удобные варианты обмена, позволяющие напрямую делиться сгенерированным голосом в социальных сетях или на платформах облачного хранения.

В зависимости от платформы или версии VALL-E, которую вы используете, у вас может быть возможность выбирать из множества различных голосов и стилей. Некоторые платформы даже позволяют вам настраивать дополнительные параметры, такие как высота тона, скорость и акцент, чтобы адаптировать вывод голоса к вашим конкретным потребностям.

Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.

В. Безопасно ли использовать Vall-E AI?

Microsoft снова создала волну в секторе искусственного интеллекта (ИИ), представив свою новую модель ИИ, VALL-E. Этот инновационный инструмент искусственного интеллекта способен убедительно воспроизводить голос человека, предлагая множество приложений в различных областях.

После того, как голос будет сгенерирован, найдите время, чтобы прослушать вывод и просмотреть результаты. Проверьте наличие ошибок или областей, которые могут потребовать улучшения. При необходимости внесите изменения во входной текст, чтобы точно настроить сгенерированный голос в соответствии с вашими потребностями.

В представленных на сайте проекта образцах колонка «Speaker Prompt» содержит образцы речи; в колонке «Ground Truth» представлена запись необходимого текста в исполнении человека, с которого был записан образец; «Baseline» — образец работы традиционных преобразователей текста в речь, а «VALL-E» — работа новой ИИ-модели. Нейросеть также может предложить несколько вариантов необходимого текста с голосом на образце. Создатели системы добавили, что она не только придаёт голосу на генерируемой записи нужный эмоциональный окрас, но и имитирует «акустическое окружение» образца — если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону.

О: Хотя это безопасный онлайн-инструмент, его способность имитировать любой голос может представлять угрозу для отдельных лиц и увеличивать количество случаев мошенничества. Кроме того, пользователи должны проявлять осторожность при обмене личной информацией с помощью этого инструмента.

Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.

Тем не менее, его потенциал для неправильного использования нельзя упускать из виду. Поскольку мы ожидаем его официального выпуска, мы надеемся, что Microsoft учтет эти факторы и введет необходимые правила для обеспечения безопасного и этичного использования.