Перевод видео на русский язык в реальном времени от Яндекса: как включить и пользоваться

Польза от функции автоматического перевода видео на русский язык в Яндекс.Браузере

На YouTube можно встретить целые проекты, которые занимаются озвучками иностранных роликов. Но это долго, много видео так не переведешь, к тому же переведенные ролики периодически удаляют за нарушение авторских прав. Англоязычные блогеры и образовательные проекты редко добавляют российскую озвучку — можно вспомнить разве что самого популярного ютубера в мире Mr.Beast. Закадровый перевод от «Яндекс-браузера» решает многие из этих проблем.

Помогает смотреть видео в фоновом режиме. На том же YouTube неплохо обстоит ситуация с субтитрами: они даже генерируются автоматически, в том числе и русскоязычные. Но так сложнее воспринимать видео на незнакомом языке во время готовки или занятий спортом.

В настройках, которые доступны рядом с иконкой перевода, можно регулировать громкость оригинальной дорожки и включить субтитры. Некоторые видео технология переводит сразу же , потому что другие пользователи переводили их раньше. Для перевода других роликов придется подождать несколько минут. Когда ролик с русской озвучкой будет готов к просмотру, пользователю придет уведомление.

Такое отличие заставляет выбирать разные технологии, но в целом языковые модели все равно используются одни и те же. Если Яндекс работает со стримом, то дополнительно задействуется третья нейросеть, которая помогает нормализовать речь. Алгоритмы выявляют начало и конец предложения, выделяют вводные слова, сложносочиненные предложения и так далее.

Некоторого полезного контента на русском языке нет вообще. Например, видеороликов, помогающих учиться, развиваться, решать рабочие и профессиональные задачи. Фотографы могут выбрать объектив после просмотра видео, а дизайнеры — графический планшет. Большинство обзоров техники сначала появляется как раз на английском языке.

В «Яндекс-браузере» на компьютере. Работает сразу же на всех популярных площадках, включая YouTube, Vimeo, TikTok, Twitter, Facebook и «Вконтакте». Заходить на сайты не обязательно — ролики можно переводить прямо в поисковой выдаче. А недавно браузер научился делать закадровую озвучку для курсов на образовательной платформе Coursera.

Не секрет, что многие иностранные видео на русском языке посмотреть не получится. Немногие блогеры могут позволить себе дубляж. А вот автоперевод в Яндекс Браузере без проблем решает эту проблему. Всего пара кликов – и вы уже смотрите видео на русском языке, не отвлекаясь даже на субтитры. Вниманию ничто не мешает, а озвучка достаточно качественная, чтобы передавать суть.

Прототип технологии машинного перевода видео и закадровой озвучки в реальном времени «Яндекс» представил в июле 2021 года. Тогда он работал только с отобранными видео на английском языке. Спустя полтора года эта функция — одна из самых полезных в «Яндекс-браузере». Технология позволяет переводить видео уже с пяти языков: английского, французского, испанского, немецкого и итальянского.

Как работает автоперевод видео на русский язык в Яндекс Браузере?

Третья нейросеть отвечает за приведение текста к воспринимаемому виду, расставляет требуемые знаки препинания. На входе эта нейросеть получает просто набор переведенных слов. Из них требуется с помощью пунктуации создать грамотные предложения, сохранив при этом изначальный смысл. Нейросеть получает еще и выделенный контекст, чтобы она понимала, о чем вообще в ролике идет речь. Этот вектор помогает расставить слова на нужные места и обеспечить их смысловую связь. Иногда на это требуется дополнительное время. Но в случае стрима небольшая задержка – неизбежный компромисс для обеспечения качества.

Компания Яндекс не боится внедрять новые технологии в свои продукты – только так и можно сохранять их привлекательность и актуальность. И в некоторых аспектах Яндекс может даже предложить своим пользователям то, чего лишены более именитые программы-аналоги. Так, в 2021 году в фирменном Яндекс Браузере с очередным обновлением появилась очень интересная и востребованная функция. Она позволяет автоматически переводить и на русском языке озвучивать видео на различных популярных платформах, например, на том же YouTube.

Изначально функция была применима только к отобранным видео, но сейчас она успешно справляется и с прямыми онлайн трансляциями. Самое интересное, что переводчик отличает пол одного спикера от другого, для этого используются разные мужские и женские синтезированные голоса.

Обрабатывать стрим намного сложнее, чем готовый ролик. Ведь это видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. В случае с готовым роликом имеется для обработки готовая аудиодорожка, тогда как со стримом все сложнее. Нейросети вынуждены осуществлять синхронный перевод прямо «на лету» создаваемой дорожки.

Об этом полезном функционале Яндекс Браузера знают немногие, а ведь возможность очень удобная. Приложение можно установить хотя бы для того, чтобы пользоваться именно этим переводчиком видео. Озвучка с помощью нейронных сетей хорошо себя показывает при онлайн-просмотре презентаций. Все же субтитры отвлекают, мешая параллельно с прослушиванием выполнять другие задачи.

Когда началась работа над переводом видео, у браузера уже были нейросети, которые умеют переводить речь в текст и озвучивать текст с помощью синтеза речи. Они используются в других продуктах: например, голосовой помощник «Алиса» слушает человека и распознает его слова, а модуль для распознавания речи конвертирует слова в текст.