Нейросеть «Яндекса» качественно переводит иностранные ютуб-видео: как ей пользоваться

Как включить перевод прямых трансляций

Технология приглушает оригинальную озвучку и поверх накладывает сгенерированную речь. Мужские голоса озвучиваются мужским голосом, женские — женским. Технология умеет распознавать нескольких спикеров на одном видео, у каждого из них будет свой голос озвучки, чтобы зрители не запутались.

Во время работы с прямыми трансляциями такого запаса времени нет — технология работает почти как синхронный переводчик. Чтобы задержка в переводе была небольшой, на помощь приходит нейросеть, которая расставляет в тексте знаки препинания. Это помогает понять, где начинается и заканчивается предложение, найти составные части сложносочиненного предложения, вводные фразы, перечисления и так далее.

Переводить потоковые видео сложнее. Нужно одновременно решать две противоречивые задачи — поддерживать качество перевода и не отставать от речи спикеров. При переводе обычных роликов нейросети получают аудиодорожку сразу целиком. У них есть время ее проанализировать, разбить речь на предложения и синтезировать озвучку на русском языке.

В интернете публикуется огромное количество видеороликов на английском языке — их в сотни раз больше, чем на русском. Это различные прямые трансляции, выпуски новостей, подкасты или самые первые обзоры айфонов от зарубежных блогеров. Для тех, кто не знает английский язык, все это приходится смотреть с субтитрами и толстым англо-русским словарем на коленках. Но лучше пойти простым путем и установить яндекс браузер с переводом английского видео, чтобы сразу воспринимать информацию на понятном языке.

Помогает смотреть видео в фоновом режиме. На том же YouTube неплохо обстоит ситуация с субтитрами: они даже генерируются автоматически, в том числе и русскоязычные. Но так сложнее воспринимать видео на незнакомом языке во время готовки или занятий спортом.

Прототип технологии машинного перевода видео и закадровой озвучки в реальном времени «Яндекс» представил в июле 2021 года. Тогда он работал только с отобранными видео на английском языке. Спустя полтора года эта функция — одна из самых полезных в «Яндекс-браузере». Технология позволяет переводить видео уже с пяти языков: английского, французского, испанского, немецкого и итальянского.

Кому нужен синхронный перевод видеороликов

Браузер от «Яндекс» — один из самых продвинутых веб-обозревателей в мире. Недавно в него добавили искусственный интеллект, поэтому теперь он не только открывает сайты, но также переводит тексты с разных языков и даже умеет переводить на русский язык иностранную речь. Причем делает это синхронно, сразу несколькими голосами и с сохранением интонации. Прямо как профессиональный дубляж в кино — женскую речь браузер озвучивает женским голосом, а мужскую — мужским, соответственно.

В «Яндекс-браузере» на компьютере. Работает сразу же на всех популярных площадках, включая YouTube, Vimeo, TikTok, Twitter, Facebook и «Вконтакте». Заходить на сайты не обязательно — ролики можно переводить прямо в поисковой выдаче. А недавно браузер научился делать закадровую озвучку для курсов на образовательной платформе Coursera.

Браузер от российских разработчиков в фоновом режиме отделяет аудиодорожку, переводит ее и снова накладывает на видео. Во всем этом участвует искусственный интеллект от «Яндекс». Он постоянно обучается, дорабатывается и совершенствуется, поэтому система работает быстро и без ощутимых задержек. Для большинства юзеров российский браузер — это единственный способ смотреть зарубежные ролики и понимать, что там происходит, а не просто смотреть на картинку. Тем более, что все работает буквально по одному клику.

Некоторого полезного контента на русском языке нет вообще. Например, видеороликов, помогающих учиться, развиваться, решать рабочие и профессиональные задачи. Фотографы могут выбрать объектив после просмотра видео, а дизайнеры — графический планшет. Большинство обзоров техники сначала появляется как раз на английском языке.

Вторая нейросеть переводит речь спикеров в текст. Модель получает аудиодорожку, из нее она должна вычистить все посторонние звуки. Модель умеет избавляться от слов-паразитов. После всех обработок остается последовательный набор слов — с ним будут работать другие нейросети.

На YouTube можно встретить целые проекты, которые занимаются озвучками иностранных роликов. Но это долго, много видео так не переведешь, к тому же переведенные ролики периодически удаляют за нарушение авторских прав. Англоязычные блогеры и образовательные проекты редко добавляют российскую озвучку — можно вспомнить разве что самого популярного ютубера в мире Mr.Beast. Закадровый перевод от «Яндекс-браузера» решает многие из этих проблем.

Также в открытом доступе есть много уникального и полезного контента. Например, курсы или лекции от ведущих мировых университетов. Авторы редко переводят такие видео на русский язык. Обычно их можно смотреть максимум с субтитрами. Некоторые наиболее популярные лекции переводят энтузиасты. Но таких видео мало.

Когда началась работа над переводом видео, у браузера уже были нейросети, которые умеют переводить речь в текст и озвучивать текст с помощью синтеза речи. Они используются в других продуктах: например, голосовой помощник «Алиса» слушает человека и распознает его слова, а модуль для распознавания речи конвертирует слова в текст.