Как включить перевод видео в Яндекс Браузере

Кому нужен синхронный перевод видеороликов

Многие задачи сейчас можно доверить компьютерному разуму. Например, если вы не знаете английский язык, можно попросить ваш браузер перевести видео. Даже если это дубляж ролика на YouTube в режиме реального времени. Рассказываем, как сделать перевод видео в Яндекс браузере.

Такое отличие заставляет выбирать разные технологии, но в целом языковые модели все равно используются одни и те же. Если Яндекс работает со стримом, то дополнительно задействуется третья нейросеть, которая помогает нормализовать речь. Алгоритмы выявляют начало и конец предложения, выделяют вводные слова, сложносочиненные предложения и так далее.

Компания Яндекс не боится внедрять новые технологии в свои продукты – только так и можно сохранять их привлекательность и актуальность. И в некоторых аспектах Яндекс может даже предложить своим пользователям то, чего лишены более именитые программы-аналоги. Так, в 2021 году в фирменном Яндекс Браузере с очередным обновлением появилась очень интересная и востребованная функция. Она позволяет автоматически переводить и на русском языке озвучивать видео на различных популярных платформах, например, на том же YouTube.

Обрабатывать стрим намного сложнее, чем готовый ролик. Ведь это видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. В случае с готовым роликом имеется для обработки готовая аудиодорожка, тогда как со стримом все сложнее. Нейросети вынуждены осуществлять синхронный перевод прямо «на лету» создаваемой дорожки.

Браузер от «Яндекс» — один из самых продвинутых веб-обозревателей в мире. Недавно в него добавили искусственный интеллект, поэтому теперь он не только открывает сайты, но также переводит тексты с разных языков и даже умеет переводить на русский язык иностранную речь. Причем делает это синхронно, сразу несколькими голосами и с сохранением интонации. Прямо как профессиональный дубляж в кино — женскую речь браузер озвучивает женским голосом, а мужскую — мужским, соответственно.

Третья нейросеть отвечает за приведение текста к воспринимаемому виду, расставляет требуемые знаки препинания. На входе эта нейросеть получает просто набор переведенных слов. Из них требуется с помощью пунктуации создать грамотные предложения, сохранив при этом изначальный смысл. Нейросеть получает еще и выделенный контекст, чтобы она понимала, о чем вообще в ролике идет речь. Этот вектор помогает расставить слова на нужные места и обеспечить их смысловую связь. Иногда на это требуется дополнительное время. Но в случае стрима небольшая задержка – неизбежный компромисс для обеспечения качества.

На каких языках работает автоматический перевод видео в Яндекс Браузере?

Ролики переводятся не только в десктопной версии браузера — пользователи также могут включить перевод видео Яндекс браузер на телефоне с ОС Android или iOS. Но, перевести материал прямо в приложении YouTube не получится — ролик придется открывать через интерфейс браузера, так как нативный клиент не поддерживает такую функцию. Зато все работает так же, как на компьютере — за исключением гибкости. Настроек в мобильном браузере меньше, чем в настольном — например, на смартфоне не получится отрегулировать громкость оригинала.

Об этом полезном функционале Яндекс Браузера знают немногие, а ведь возможность очень удобная. Приложение можно установить хотя бы для того, чтобы пользоваться именно этим переводчиком видео. Озвучка с помощью нейронных сетей хорошо себя показывает при онлайн-просмотре презентаций. Все же субтитры отвлекают, мешая параллельно с прослушиванием выполнять другие задачи.

Изначально функция была применима только к отобранным видео, но сейчас она успешно справляется и с прямыми онлайн трансляциями. Самое интересное, что переводчик отличает пол одного спикера от другого, для этого используются разные мужские и женские синтезированные голоса.

Кстати, скорость работы перевода может отличаться. Если другие пользователи уже запрашивали перевод этого видео, то русская озвучка сгенерируется практически мгновенно. В других случаях придется подождать от нескольких секунд до нескольких минут. Примерное время обычно указывается на экране, а, когда перевод будет готов, браузер пришлет соответствующее уведомление.

Браузер от российских разработчиков в фоновом режиме отделяет аудиодорожку, переводит ее и снова накладывает на видео. Во всем этом участвует искусственный интеллект от «Яндекс». Он постоянно обучается, дорабатывается и совершенствуется, поэтому система работает быстро и без ощутимых задержек. Для большинства юзеров российский браузер — это единственный способ смотреть зарубежные ролики и понимать, что там происходит, а не просто смотреть на картинку. Тем более, что все работает буквально по одному клику.

Разработчики говорят, что если нет уверенности в том, как надо разбивать речь на предложения в конкретном случае, то можно подождать нового материала, новых слов. Это поможет-таки определиться с разбиением или же превысит ограничения по контексту и заставит нейросеть формировать фразы с определенной, пусть и не со стопроцентной, долей уверенности.