Перевод видео на русский язык в реальном времени от Яндекса: как включить и пользоваться

Бонус – нейросеть HeyGen

Deepl – немецкий сервис на основе нейросети, способный делать высокоточные переводы, с учетом языковых особенностей и контекста. Поддерживает более 30 языков, включая русский, украинский, две версии английского (американский и британский), китайский, японский и греческий. Кроме веб-версии, нейросеть существует в форме приложений и плагинов для браузеров. Deepl использует большое количество словарей, справочников и средств анализа данных, на данный момент (октябрь 2023) Deepl является лучшим онлайн-переводчиком. По сравнению с аналогичными сервисами, позволяет делать наиболее близкие по смыслу переводы и предоставляет ряд дополнительных возможностей. С помощью нейросети можно проверять пунктуацию и орфографию, перефразировать отдельные предложения, находить значения слов, подбирать синонимы. Чтобы сделать перевод, введите текст (до 1 500 символов) в специальное поле, затем выберите язык, на который хотите перевести. Язык оригинала при этом определяется автоматически. Для перевода текста большего объема, загрузите файл в формате docx, pdf или pptx. Затем выберите язык и нажмите на кнопку перевода. Во встроенном редакторе при необходимости можно улучшать переведенные тексты, исправлять ошибки и подбирать более точные формулировки. Сервис доступен бесплатно и без регистрации, но с ограничениями: на суммарный объем текста (до 5 000 символов), количество (до 3) и размер файлов (до 5 МБ), а также количество терминов из словаря (до 10). Чтобы расширить суточные лимиты и получить доступ к функции редактирования, нужно зарегистрироваться и перейти на платный тариф (от 8,74 долларов в месяц).

Переведем фрагмент книги «1984» Джорджа Оруэлла: DeepL Хороший перевод, не требующий корректировки. GigaChat Нейросеть отказалась делать перевод, сославшись на то, что ее «что-то смущает». Введем еще раз тот же самый текст, и удостоверимся, что это не сбой работы. GigaChat снова отказался переводить фрагмент из Оруэлла, но без проблем перевел отрывок из сказки «Кот в сапогах». Вернемся к Оруэллу и попробуем перевести тот же фрагмент, но наоборот, с русского на английский: Фрагмент сжат, из него выброшено все «неполиткорректное» по мнению нейросети. Осталось: Был холодный ясный апрельский день, и часы пробили тринадцать. Притаившись против ветра, как испуганный кролик, Уинстон Смит поспешно проскользнул в стеклянную дверь здания «Победы», но все же впустил пыльный туман. Вывод: Роман Оруэлла «1984» нигде и никем не запрещен, однако нейросеть, видимо, расценила его как «экстремистский» по каким-то отдельным словам и фразам, вырванным из контекста. Это говорит о том, что GigaChat не всегда вложенные в ее функционал запреты может корректно применять к конкретному тексту. Reverso Неправильно переведены на русский некоторые речевые обороты, которые можно исправить вручную или при помощи встроенного корректора. Microsoft Bing Как и в предыдущем случае, некорректно переведены отдельные обороты, но в целом нейросеть справилась с задачей неплохо.

GigaChat – мультимодальная нейросеть от Сбера, способная работать и с текстом, и с изображениями. Поддерживает 5 иностранных языков (английский, немецкий, французский, испанский и итальянский), может использоваться для перевода с одного языка на другой. Чтобы начать пользоваться сервисом, нужно авторизоваться через Сбер ID. Кроме веб-версии, есть Телеграм-бот. Для перевода с одного языка на другой, введите текст и сделайте перед ним пояснение для нейросети, какие действия она должна с ним произвести. GigaChat предоставляется на бесплатной основе без ограничений. Запрет стоит лишь на отдельные тематики: не получится сгенерировать или перевести текст, в котором присутствуют нарушения законодательства, призывы к насилию, пропаганда порнографии, наркотиков, алкоголя или табака.

Переводить потоковые видео сложнее. Нужно одновременно решать две противоречивые задачи — поддерживать качество перевода и не отставать от речи спикеров. При переводе обычных роликов нейросети получают аудиодорожку сразу целиком. У них есть время ее проанализировать, разбить речь на предложения и синтезировать озвучку на русском языке.

Фрагмент медицинской статьи: DeepL Получили качественный перевод, который можно использовать без предварительной обработки. GigaChat Текст удовлетворительного качества, который после корректировки некоторых неточно переведенных фраз, станет пригодным для публикации. Reverso Присутствуют небольшие погрешности (типа «растут вокруг домашних животных»), связанные с разницей в принципах построения предложений в русском и английском языках. Текст требует корректировки отдельных фрагментов, но в целом перевод выполнен неплохо. YandexGPT2 Видим, что переводить с иностранных языков на русский сложные тексты нейросеть пока не умеет, хотя обратные переводы делает без проблем. Перевод с русского на английский фрагмента статьи «Кошки и дети»: YandexGPT2 на данный момент пока непригодна для переводов с иностранных языков на русский. Но, поскольку нейросеть активно развивается и совершенствуется, есть все шансы ожидать, что этот недостаток скоро будет исправлен. Microsoft Bing Есть небольшие шероховатости текста, но в целом переведено неплохо.

Обрабатывать стрим намного сложнее, чем готовый ролик. Ведь это видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. В случае с готовым роликом имеется для обработки готовая аудиодорожка, тогда как со стримом все сложнее. Нейросети вынуждены осуществлять синхронный перевод прямо «на лету» создаваемой дорожки.

Изначально функция была применима только к отобранным видео, но сейчас она успешно справляется и с прямыми онлайн трансляциями. Самое интересное, что переводчик отличает пол одного спикера от другого, для этого используются разные мужские и женские синтезированные голоса.

Шестая нейросеть синтезирует речь. На этом этапе нужно избежать рассинхрона, потому что перевод предложения может оказаться в несколько раз длиннее оригинала. Иногда помогают паузы спикеров, в эти моменты можно уложить перевод. Но иногда приходится ускорять речь.

Перевод песни

HeyGen – сервис, способный распознавать речь в видео и переводить ее с одного языка на другой, с сохранением тона и тембр голоса. Мимика и движения губ корректируются в соответствии с произносимыми звуками. Перевод аудиоряда реальных видео стал доступен только в сентябре 2023 года, первоначально сервис предлагал только аватары, с участием которых можно озвучивать собственные тексты. Библиотека содержит более 100 Al-аватаров и свыше 300 вариантов голосов. Новая функция сервиса находится на стадии тестирования. Бесплатно на данный момент можно сделать перевод только 1 короткого видео длительностью до 1 минуты. Стоимость платных услуг – от 48 $ / мес., с возможностью перевода 20-минутного видео.

Третья нейросеть отвечает за приведение текста к воспринимаемому виду, расставляет требуемые знаки препинания. На входе эта нейросеть получает просто набор переведенных слов. Из них требуется с помощью пунктуации создать грамотные предложения, сохранив при этом изначальный смысл. Нейросеть получает еще и выделенный контекст, чтобы она понимала, о чем вообще в ролике идет речь. Этот вектор помогает расставить слова на нужные места и обеспечить их смысловую связь. Иногда на это требуется дополнительное время. Но в случае стрима небольшая задержка – неизбежный компромисс для обеспечения качества.

Помогает смотреть видео в фоновом режиме. На том же YouTube неплохо обстоит ситуация с субтитрами: они даже генерируются автоматически, в том числе и русскоязычные. Но так сложнее воспринимать видео на незнакомом языке во время готовки или занятий спортом.

Прототип технологии машинного перевода видео и закадровой озвучки в реальном времени «Яндекс» представил в июле 2021 года. Тогда он работал только с отобранными видео на английском языке. Спустя полтора года эта функция — одна из самых полезных в «Яндекс-браузере». Технология позволяет переводить видео уже с пяти языков: английского, французского, испанского, немецкого и итальянского.

Bing Microsoft Translator – переводчик от Microsoft, распознающий более 100 языков. Поддерживает голосовой ввод и озвучку переведенного текста. Представлен онлайн-сервисом, плагинами для браузеров и мобильными приложениями для Андроид и iOS. Под полями ввода находится поделенный на категории раздел с фразами, которые пользователи переводят наиболее часто. В этом разделе можно быстро находить нужные выражения, подходящие к конкретной ситуации. Есть приложение, позволяющее общаться в реальном времени собеседникам, говорящим на разных языках. Экран у каждого участника разделяется горизонтальной чертой на два поля – для введенного голосом текста и его перевода, который тут же озвучивается на другом языке. Полный функционал приложения зависит от выбранной версии, с учетом цели использования (личное общение, бизнес или образование). В бесплатной версии есть ограничения на объем введенного текста (1 000 символов) и суммарный суточный перевод (5 000 символов), отсутствует доступ к словарям, нет функции перевода статей. Лимиты и функционал переводчика можно расширять путем перехода на платный тариф, для чего нужно заключить персональное соглашение с корпорацией Майкрософт. Стоимость платного доступа не фиксирована, она зависит от типа соглашения, даты его заключения и курса валют.

Можно лишь посетовать на отсутствие у озвучки живых ноток. Хочется слышать больше интонаций, соотносящихся с речью спикера. Пока же упор сделан на качество перевода, а не на естественность речи. Да и не со всеми стримами функция работает так, как от нее ожидаешь. Но в скором времени Яндекс наверняка это исправит, ведь проект постоянно развивается.

Reverso – онлайн-платформа машинного перевода на базе искусственного интеллекта. Позволяет прослушивать, проверять и корректировать готовые тексты, подбирать синонимы, пользоваться встроенными словарями и грамматическими справочниками. Кроме веб-сервиса, нейросеть представлена десктопным и мобильным приложениями (для Windows и iOS). Reverso распознает 26 языков, включая, русский, английский, немецкий, испанский, а также ряд других европейских и восточных языков (японский, корейский, арабский, иврит и др.). Работает по схожему с Deepl принципу: текст нужно ввести в специальное поле (до 2 000 символов) или загрузить в виде файла в одном из 16 доступных форматов. Сервисом можно пользоваться бесплатно и без регистрации, но с ограничениями. Чтобы получить доступ к полноценной версии нейросети, нужно зарегистрироваться на сервисе (или авторизоваться через Гугл-аккаунт) и приобрести Премиум-аккаунт (от 4,21 евро в месяц). Платный тариф позволяет вводить в поле перевода тексты объемом до 8 000 символов, расширяет лимиты на количество и объем документов, удаляет рекламу и предоставляет премиум-доступ ко всем остальным сервисам Reverso. Премиум-аккаунт дает возможность сохранять словари и синхронизировать их между устройствами, исправлять и перефразировать текст без ограничений, включать автокорректор, получать озвучку и транслитерацию для каждого перевода. Статья в тему: Как улучшить качество звука с помощью Adobe Enhance Speech

Не секрет, что многие иностранные видео на русском языке посмотреть не получится. Немногие блогеры могут позволить себе дубляж. А вот автоперевод в Яндекс Браузере без проблем решает эту проблему. Всего пара кликов – и вы уже смотрите видео на русском языке, не отвлекаясь даже на субтитры. Вниманию ничто не мешает, а озвучка достаточно качественная, чтобы передавать суть.

Как работает перевод прямых трансляций

В «Яндекс-браузере» на компьютере. Работает сразу же на всех популярных площадках, включая YouTube, Vimeo, TikTok, Twitter, Facebook и «Вконтакте». Заходить на сайты не обязательно — ролики можно переводить прямо в поисковой выдаче. А недавно браузер научился делать закадровую озвучку для курсов на образовательной платформе Coursera.

Языковые переводы – одно из перспективных направлений развития искусственного интеллекта. Нейросети способны с высокой точностью распознавать лексические и грамматические конструкции, подбирать подходящие по смыслу слова и фразы из другого языка, с учетом контекста и стиля повествования. В статье рассмотрим 5 бесплатных нейросетей для перевода текста. Разберемся, какими особенностями они обладают и как ими пользоваться.

На YouTube можно встретить целые проекты, которые занимаются озвучками иностранных роликов. Но это долго, много видео так не переведешь, к тому же переведенные ролики периодически удаляют за нарушение авторских прав. Англоязычные блогеры и образовательные проекты редко добавляют российскую озвучку — можно вспомнить разве что самого популярного ютубера в мире Mr.Beast. Закадровый перевод от «Яндекс-браузера» решает многие из этих проблем.

Некоторого полезного контента на русском языке нет вообще. Например, видеороликов, помогающих учиться, развиваться, решать рабочие и профессиональные задачи. Фотографы могут выбрать объектив после просмотра видео, а дизайнеры — графический планшет. Большинство обзоров техники сначала появляется как раз на английском языке.

Разработчики говорят, что если нет уверенности в том, как надо разбивать речь на предложения в конкретном случае, то можно подождать нового материала, новых слов. Это поможет-таки определиться с разбиением или же превысит ограничения по контексту и заставит нейросеть формировать фразы с определенной, пусть и не со стопроцентной, долей уверенности.

Также в открытом доступе есть много уникального и полезного контента. Например, курсы или лекции от ведущих мировых университетов. Авторы редко переводят такие видео на русский язык. Обычно их можно смотреть максимум с субтитрами. Некоторые наиболее популярные лекции переводят энтузиасты. Но таких видео мало.

Компания Яндекс не боится внедрять новые технологии в свои продукты – только так и можно сохранять их привлекательность и актуальность. И в некоторых аспектах Яндекс может даже предложить своим пользователям то, чего лишены более именитые программы-аналоги. Так, в 2021 году в фирменном Яндекс Браузере с очередным обновлением появилась очень интересная и востребованная функция. Она позволяет автоматически переводить и на русском языке озвучивать видео на различных популярных платформах, например, на том же YouTube.

Во время работы с прямыми трансляциями такого запаса времени нет — технология работает почти как синхронный переводчик. Чтобы задержка в переводе была небольшой, на помощь приходит нейросеть, которая расставляет в тексте знаки препинания. Это помогает понять, где начинается и заканчивается предложение, найти составные части сложносочиненного предложения, вводные фразы, перечисления и так далее.