Как включить перевод видео в Яндекс Браузере

Как именно нейросети переводят видео

Переводить потоковые видео сложнее. Нужно одновременно решать две противоречивые задачи — поддерживать качество перевода и не отставать от речи спикеров. При переводе обычных роликов нейросети получают аудиодорожку сразу целиком. У них есть время ее проанализировать, разбить речь на предложения и синтезировать озвучку на русском языке.

Кстати, скорость работы перевода может отличаться. Если другие пользователи уже запрашивали перевод этого видео, то русская озвучка сгенерируется практически мгновенно. В других случаях придется подождать от нескольких секунд до нескольких минут. Примерное время обычно указывается на экране, а, когда перевод будет готов, браузер пришлет соответствующее уведомление.

На YouTube можно встретить целые проекты, которые занимаются озвучками иностранных роликов. Но это долго, много видео так не переведешь, к тому же переведенные ролики периодически удаляют за нарушение авторских прав. Англоязычные блогеры и образовательные проекты редко добавляют российскую озвучку — можно вспомнить разве что самого популярного ютубера в мире Mr.Beast. Закадровый перевод от «Яндекс-браузера» решает многие из этих проблем.

Шестая нейросеть синтезирует речь. На этом этапе нужно избежать рассинхрона, потому что перевод предложения может оказаться в несколько раз длиннее оригинала. Иногда помогают паузы спикеров, в эти моменты можно уложить перевод. Но иногда приходится ускорять речь.

Когда началась работа над переводом видео, у браузера уже были нейросети, которые умеют переводить речь в текст и озвучивать текст с помощью синтеза речи. Они используются в других продуктах: например, голосовой помощник «Алиса» слушает человека и распознает его слова, а модуль для распознавания речи конвертирует слова в текст.

Прототип технологии машинного перевода видео и закадровой озвучки в реальном времени «Яндекс» представил в июле 2021 года. Тогда он работал только с отобранными видео на английском языке. Спустя полтора года эта функция — одна из самых полезных в «Яндекс-браузере». Технология позволяет переводить видео уже с пяти языков: английского, французского, испанского, немецкого и итальянского.

Вторая нейросеть переводит речь спикеров в текст. Модель получает аудиодорожку, из нее она должна вычистить все посторонние звуки. Модель умеет избавляться от слов-паразитов. После всех обработок остается последовательный набор слов — с ним будут работать другие нейросети.

Помогает смотреть видео в фоновом режиме. На том же YouTube неплохо обстоит ситуация с субтитрами: они даже генерируются автоматически, в том числе и русскоязычные. Но так сложнее воспринимать видео на незнакомом языке во время готовки или занятий спортом.

Перевод видео в Яндекс браузере — как включить

Браузер от российских разработчиков в фоновом режиме отделяет аудиодорожку, переводит ее и снова накладывает на видео. Во всем этом участвует искусственный интеллект от «Яндекс». Он постоянно обучается, дорабатывается и совершенствуется, поэтому система работает быстро и без ощутимых задержек. Для большинства юзеров российский браузер — это единственный способ смотреть зарубежные ролики и понимать, что там происходит, а не просто смотреть на картинку. Тем более, что все работает буквально по одному клику.

В настройках, которые доступны рядом с иконкой перевода, можно регулировать громкость оригинальной дорожки и включить субтитры. Некоторые видео технология переводит сразу же , потому что другие пользователи переводили их раньше. Для перевода других роликов придется подождать несколько минут. Когда ролик с русской озвучкой будет готов к просмотру, пользователю придет уведомление.

Некоторого полезного контента на русском языке нет вообще. Например, видеороликов, помогающих учиться, развиваться, решать рабочие и профессиональные задачи. Фотографы могут выбрать объектив после просмотра видео, а дизайнеры — графический планшет. Большинство обзоров техники сначала появляется как раз на английском языке.

В работе переводчика существуют определенные ограничения — продолжительность роликов не должна превышать 4 часов, а контент не должен требовать лицензирования. Потому перевести видео, например, на Netflix не получится. Зато функция работает на большинстве таких популярных площадок, как YouTube, Twitter, TikTok, Vimeo, «ВКонтакте».

Браузер от «Яндекс» — один из самых продвинутых веб-обозревателей в мире. Недавно в него добавили искусственный интеллект, поэтому теперь он не только открывает сайты, но также переводит тексты с разных языков и даже умеет переводить на русский язык иностранную речь. Причем делает это синхронно, сразу несколькими голосами и с сохранением интонации. Прямо как профессиональный дубляж в кино — женскую речь браузер озвучивает женским голосом, а мужскую — мужским, соответственно.

Функция перевода является уникальной для браузера «Яндекс», поэтому ее нельзя официально включить в других программах. Конечно, существуют способы сделать это через «костыли», что небезопасно, так как предлагаемые в сети расширения для браузеров могут содержать вирусы и лазейки, через которые хакеры крадут конфиденциальные данные.