Перевод видео в «ере» в реальном времени: как это работает

Зачем нужен закадровый перевод видео

© 2007 — 2024 ООО «Фэшн Пресс»
При размещении материалов на Сайте Пользователь безвозмездно предоставляет ООО «Фэшн Пресс» неисключительные права на использование, воспроизведение, распространение, создание производных произведений, а также на демонстрацию материалов и доведение их до всеобщего сведения.

Также в открытом доступе есть много уникального и полезного контента. Например, курсы или лекции от ведущих мировых университетов. Авторы редко переводят такие видео на русский язык. Обычно их можно смотреть максимум с субтитрами. Некоторые наиболее популярные лекции переводят энтузиасты. Но таких видео мало.

Вторая нейросеть переводит речь спикеров в текст. Модель получает аудиодорожку, из нее она должна вычистить все посторонние звуки. Модель умеет избавляться от слов-паразитов. После всех обработок остается последовательный набор слов — с ним будут работать другие нейросети.

Технология приглушает оригинальную озвучку и поверх накладывает сгенерированную речь. Мужские голоса озвучиваются мужским голосом, женские — женским. Технология умеет распознавать нескольких спикеров на одном видео, у каждого из них будет свой голос озвучки, чтобы зрители не запутались.

Российская компания «Яндекс» в июне 2021 года серьезно обновила свой «Яндекс.Браузер», который получил уникальную функцию перевода видео в режиме реального времени и озвучки его нейросетями. Пока перевод доступен только с английского языка, но в дальнейшем их количество должно увеличиться.

Перевод сегодня доступен в «Яндекс.Браузере» для Windows и macOS. Чтобы его включить, надо запустить любое видео, навести на него курсор и найти в верхней части панели значок «Яндекс.Переводчика» в одном ряду со значком, позволяющим открыть видео в отдельном окне.

Как работает перевод в реальном времени в «Яндекс.Браузере»?

Важно отметить, что нейросети научились создавать полноценный закадровый дубляж видео. Искусственный интеллект умеет ускоряться и замедляться в произношении фраз, а также делать паузы, чтобы перевод был максимально синхронным. Сегодня уже даже существуют нейросети, способные изменить движения губ человека на видео — такую технологию планируют использовать при озвучке фильмов.

Переводить потоковые видео сложнее. Нужно одновременно решать две противоречивые задачи — поддерживать качество перевода и не отставать от речи спикеров. При переводе обычных роликов нейросети получают аудиодорожку сразу целиком. У них есть время ее проанализировать, разбить речь на предложения и синтезировать озвучку на русском языке.

Прототип технологии машинного перевода видео и закадровой озвучки в реальном времени «Яндекс» представил в июле 2021 года. Тогда он работал только с отобранными видео на английском языке. Спустя полтора года эта функция — одна из самых полезных в «Яндекс-браузере». Технология позволяет переводить видео уже с пяти языков: английского, французского, испанского, немецкого и итальянского.

Когда началась работа над переводом видео, у браузера уже были нейросети, которые умеют переводить речь в текст и озвучивать текст с помощью синтеза речи. Они используются в других продуктах: например, голосовой помощник «Алиса» слушает человека и распознает его слова, а модуль для распознавания речи конвертирует слова в текст.

В настройках, которые доступны рядом с иконкой перевода, можно регулировать громкость оригинальной дорожки и включить субтитры. Некоторые видео технология переводит сразу же , потому что другие пользователи переводили их раньше. Для перевода других роликов придется подождать несколько минут. Когда ролик с русской озвучкой будет готов к просмотру, пользователю придет уведомление.

Сетевое издание TechInsider
Учредитель ООО «Фэшн Пресс»: 119435, г. Москва, Большой Саввинский пер., д. 12, стр. 6, этаж 3, пом. II;
Адрес редакции: 119435, г. Москва, Большой Саввинский пер., д. 12, стр. 6, этаж 3, пом. II;
Главный редактор: Василенок Никита Александрович
Адрес электронной почты редакции: info@techinsider.ru
Номер телефона редакции: +7 (495) 252-09-99
Знак информационной продукции: 16+
Cетевое издание зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций, регистрационный номер и дата принятия решения о регистрации: серия ЭЛ № ФС 77 — 84123 от 09 ноября 2022 г.