Search code, repositories, users, issues, pull requests

Operating system / Операционная система

Когда началась работа над переводом видео, у браузера уже были нейросети, которые умеют переводить речь в текст и озвучивать текст с помощью синтеза речи. Они используются в других продуктах: например, голосовой помощник «Алиса» слушает человека и распознает его слова, а модуль для распознавания речи конвертирует слова в текст.

Прототип технологии машинного перевода видео и закадровой озвучки в реальном времени «Яндекс» представил в июле 2021 года. Тогда он работал только с отобранными видео на английском языке. Спустя полтора года эта функция — одна из самых полезных в «Яндекс-браузере». Технология позволяет переводить видео уже с пяти языков: английского, французского, испанского, немецкого и итальянского.

Технология приглушает оригинальную озвучку и поверх накладывает сгенерированную речь. Мужские голоса озвучиваются мужским голосом, женские — женским. Технология умеет распознавать нескольких спикеров на одном видео, у каждого из них будет свой голос озвучки, чтобы зрители не запутались.

Немецкий, французский и испанский довольно востребованы у пользователей. Кроме того, эти языки относятся к той же языковой семье, что и английский. У них практически одинаковые алфавиты и есть сходства в лексике и грамматике, поэтому освоить их можно быстрее, чем, скажем, корейский или японский, которые тоже очень популярны. Впрочем, мы не собираемся останавливаться на достигнутом и будем постепенно расширять список языков.

Подтверждаю, что версия 1.5.2.2 больше не функционирует правильно.
Браузер Opera GX 109.
Вчера работало, а сегодня снова: «Не удалось запросить перевод видео»
У меня не пашет ни через Adguard ни через Tampermonkey.
Пробовал как с ВПНом (LV) так и без оного (RU).
Хотя в яндекс-браузере все работает.

Переводить потоковые видео сложнее. Нужно одновременно решать две противоречивые задачи — поддерживать качество перевода и не отставать от речи спикеров. При переводе обычных роликов нейросети получают аудиодорожку сразу целиком. У них есть время ее проанализировать, разбить речь на предложения и синтезировать озвучку на русском языке.

Изначально был какой-то сбой на стороне Яндекса потому что в Yandex браузере перевод тоже не работал. При включении перевода появлялось сообщение «Очень много запросов на перевод попробуйте позже». Сейчас перевод в Yandex браузере заработал и на данный момент работает. А вот в Cent (и в других браузерах скорее всего тоже) перевод по прежнему не работает. VOT пишет «Не удалось запросить перевод видео».

Мы не только добавили новые языки, но и доработали саму технологию. Во-первых, она теперь точнее совмещает фразы на языке оригинала и на языке перевода. За счёт этого перевод получается более естественным, без натянутых пауз или фраз, сказанных на манер скороговорки. Во-вторых, видео теперь переводятся быстрее — и мы вам сразу сообщаем, сколько времени это займёт.

Browser / Браузер

Чем больше языков поддерживает технология, тем больше контента вам доступно. Например, теперь можно послушать рассказ экскурсовода про Пергамский музей в Берлине, узнать, как готовить роскон — традиционный испанский праздничный пирог, или посмотреть документальный фильм про историю мореплавания, в котором снялись легендарные путешественники Ален Бомбар и Жак-Ив Кусто.

Видео переводятся не моментально, потому что перевод — достаточно трудоёмкий процесс. Он состоит из трёх основных этапов. Сначала технология распознавания речи преобразует сказанное в кадре в текст. Затем технология машинного перевода переводит его на русский язык, а технология синтеза речи озвучивает результат. В основе этих технологий лежат сложные нейросетевые модели. Для их обучения Яндекс использует сверхмощные вычислительные системы — суперкомпьютеры.

Шестая нейросеть синтезирует речь. На этом этапе нужно избежать рассинхрона, потому что перевод предложения может оказаться в несколько раз длиннее оригинала. Иногда помогают паузы спикеров, в эти моменты можно уложить перевод. Но иногда приходится ускорять речь.

Помогает смотреть видео в фоновом режиме. На том же YouTube неплохо обстоит ситуация с субтитрами: они даже генерируются автоматически, в том числе и русскоязычные. Но так сложнее воспринимать видео на незнакомом языке во время готовки или занятий спортом.

Переводить можно видео на YouTube, Vimeo, Twitch и других популярных платформах. Продолжительность видео не должна превышать 4 часов. Кроме того, ролик должен быть в общем доступе. Именно по этой причине мы не можем снабжать переводом видео с Coursera, Udemy и других ресурсов, где для просмотра требуется ввести логин и пароль.

Вторая нейросеть переводит речь спикеров в текст. Модель получает аудиодорожку, из нее она должна вычистить все посторонние звуки. Модель умеет избавляться от слов-паразитов. После всех обработок остается последовательный набор слов — с ним будут работать другие нейросети.

Describe the bug / Опишите ошибку

Автоматический закадровый перевод работает в Яндекс.Браузере для Windows, macOS, Linux и Android, а также в приложении Яндекс для iOS и Android. Чтобы запустить перевод, нужно нажать на кнопку с логотипом Яндекс.Переводчика. Когда всё будет готово, вам придёт пуш-уведомление. На смартфонах жать кнопку необязательно — достаточно сказать: «Алиса, включи перевод видео».

На YouTube можно встретить целые проекты, которые занимаются озвучками иностранных роликов. Но это долго, много видео так не переведешь, к тому же переведенные ролики периодически удаляют за нарушение авторских прав. Англоязычные блогеры и образовательные проекты редко добавляют российскую озвучку — можно вспомнить разве что самого популярного ютубера в мире Mr.Beast. Закадровый перевод от «Яндекс-браузера» решает многие из этих проблем.

Также в открытом доступе есть много уникального и полезного контента. Например, курсы или лекции от ведущих мировых университетов. Авторы редко переводят такие видео на русский язык. Обычно их можно смотреть максимум с субтитрами. Некоторые наиболее популярные лекции переводят энтузиасты. Но таких видео мало.

Проблема в том, что серверу не нравится хедер vtrans-signature, т.е подпись запроса. Вероятно, изменился либо алгоритм, либо секретный ключ. Рискну предположить, что изменения произошли ещё несколько версий Браузера назад, но до вчерашнего вечера принимались обе версии подписи. Посмотрю, что можно сделать.

Некоторого полезного контента на русском языке нет вообще. Например, видеороликов, помогающих учиться, развиваться, решать рабочие и профессиональные задачи. Фотографы могут выбрать объектив после просмотра видео, а дизайнеры — графический планшет. Большинство обзоров техники сначала появляется как раз на английском языке.

В «Яндекс-браузере» на компьютере. Работает сразу же на всех популярных площадках, включая YouTube, Vimeo, TikTok, Twitter, Facebook и «Вконтакте». Заходить на сайты не обязательно — ролики можно переводить прямо в поисковой выдаче. А недавно браузер научился делать закадровую озвучку для курсов на образовательной платформе Coursera.