Новые решения 2024 года: как легко удалить эффект размытия из видео

Как анимировать изображение с помощью Runway Gen-2

А вот количество ресурсов для генерации и в стандартной, и в бесплатной версии одинаковое: 125 секунд сгенерированного видео в месяц. Правда, в стандартной подписке можно при необходимости докупить ещё нейросетевого времени, ну а бесплатным пользователям придётся ждать месяц (и, кстати, через месяц им дадут уже в пять раз меньше времени, всего 25 секунд).

Для начала надо найти в интернетах сайт нейросети Runway и зарегистрироваться на нём. На странице перед регистрацией рассказывают о том, как прекрасна нейросеть и как мощны её лапищи, а после регистрации сразу предлагают сменить бесплатный тариф на стандартный за 12 долларов в месяц — на нём можно генерировать видео повышенного разрешения без водяных знаков и с меньшим временем ожидания.

Ещё у нейросети есть режим работы с картинкой и текстовым описанием одновременно. В более ранней версии интерфейса этот режим находился во вкладке Text — просто в нём было окошко для загрузки изображения. В него можно было перетянуть картинку, которую нейросеть использовала в качестве образца стиля, и генерировала похожее по стилю видео с заданным в текстовом поле описанием (в обучающих роликах на сайте до сих пор показан именно такой способ работы).

Если хочется большего контроля над видео, придётся покопаться в настройках. В общих настройках (1) есть только один важный пункт — галочка Interpolate. Она отвечает за интерполяцию промежуточных кадров и делает видео более плавным. А вот галочки Upscale для увеличения разрешения видео и Remove watermark для удаления водяного знака доступны только платным подписчикам.

Далее идут настройки движения. General motion (2) отвечает за то, насколько динамичным будет кадр: чем выше значение, тем активнее всё будет двигаться. С помощью Camera motion можно почувствовать себя профессиональным оператором и настроить то, как будет двигаться камера в кадре. Ползунки задают направления движения (вперёд-назад, вправо-влево, вверх-вниз, наклон, поворот и зум) и его интенсивность.

AnyMP4 Video Converter Ultimate — это интеллектуальное программное обеспечение, которое использует технологию искусственного интеллекта для улучшения качества видео. Это программное обеспечение может удалить размытость из видео четырьмя практичными способами. Используя это программное обеспечение, вы можете повысить разрешение вашего видео со стандартного разрешения до высокого разрешения. Вы можете улучшить качество вашего видео до разрешения 4K за несколько простых шагов. Кроме того, это программное обеспечение может уменьшить дрожание видео, вызванное неправильным удерживанием камеры во время съемки. Кроме того, вы также можете оптимизировать контрастность и яркость видео, чтобы добавить яркий эффект к вашему видео. Более того, если вы хотите удалить все грязеподобные точки с изображений вашего видео, вы можете удалить их с помощью этого мощного программного обеспечения.

Как создать видео по текстовому описанию в Runway Gen-2

А вот в актуальной версии интерфейса появилась новая вкладка Image+Description, которая ведёт себя странно: нейросеть просто анимирует загруженную картинку, а не использует её для копирования стиля. Описание в текстовом поле при этом просто игнорируется. Результат очень похож на то, что делает нейросеть во вкладке Image для работы с картинками без текста.

Индийские разработчики представили систему, которая умеет создавать короткие видео из размытых изображений. Алгоритм работает на основе сверточных и рекуррентных нейросетей и позволяет превращать артефакты движения на снимках в короткие (до десяти кадров) видео, говорится в препринте на arXiv.org.

После создания проекта открывается простенький видеоредактор, в котором есть две дорожки для видео и две для аудио. Слева в браузере находятся все материалы, с которыми работали — и загруженные, и созданные нейросетью. Справа — менеджер эффектов и фильтров.Там есть и странные фильтры (пикселизация или стилизация под картинку на экране древней игровой приставки), и полезные инструменты (размытие, трекинг, работа с хромакеем).

Размытость — это качество нечеткости, неясности, отсутствия определения и фокусировки на чем-то одном. Эта проблема обычно видна на видео, фотографиях и всем, что связано с нашим зрением. В видеозаписи это нормально, и есть много причин, по которым видео становится размытым. Некоторые возможные причины — запись в низком разрешении, пыльный объектив камеры, неправильное использование фильтров и многое другое. Существуют также профилактические способы избавиться от размытости видео. Но в этой статье мы покажем вам как убрать размытие из видео на Android, iPhone и настольных компьютерах с помощью программного обеспечения, приложений и онлайн-сервисов.

Давайте создадим видео с шеф-поваром пиццерии, который стоит у печи и готовит пиццу. Текстовое описание для Runway должно быть на английском языке: Cinematic shot, long shot, wide angle, the chief puts the pizza in the oven, pizzeria on the background, Shallow focus, warm light (Кинематографичный кадр, общий план, шеф-повар кладёт пиццу в печь, пиццерия на заднем плане, малая глубина резкости, тёплый свет).

При просмотре размытого изображения человек может мысленно достроить картину происходящего. Например, видя фотографию птицы с нечеткими крыльями, можно предположить, что размытие изображения обусловлено артефактами движения крыльев во время получения снимка. Для систем компьютерного зрения эта задача, однако, представляет бóльшую сложность, и большинство известных методов направлены только на удаление артефактов движения и сглаживание кадров.

Давайте протестируем, насколько хорошо нейросеть подходит для решения реальных задач. Попробуем с её помощью создать рекламный ролик для пиццерии, который можно разместить в соцсетях. Для этого нужно создать отдельные фрагменты (панорама пиццерии снаружи, повар готовит пиццу, крупные руки с пиццей и люди, которые её едят), а затем смонтировать эти кусочки в единый ролик.

Удалить размытие из видео легко, если вы используете программное обеспечение, которое может исправить, сделать более резким и улучшить качество видео. На рынке доступно множество видеоредакторов, которые могут эффективно решить проблему размытия видео. Но в этой части статьи мы продемонстрируем самый простой способ удалить размытие из видео с помощью AnyMP4 Video Converter Ultimate .

Часть 1. Снимите цензуру с видео с помощью AnyMP4 Video Converter Ultimate

И, наконец, с помощью инструмента Motion brush можно создать маску и выделить только те участки, которые должны шевелиться, а всё остальное оставить неподвижным. У этой кисти тоже есть свои настройки: можно указать, куда именно должны двигаться элементы картинки.

По мере развития нейросетей их возможности становятся всё более продвинутыми, а область распространения всё шире. Нейросеть Runway пытается заменить не только фотографа или художника, но и видеооператора с режисёром. Он умеет генерировать четырёхсекундные видео на заданную тему, которые можно использовать по отдельности или смонтировать в короткометражный фильм или рекламный ролик.

В результате работы нейросеть выдает восстановленные из размытого изображения видео, состоящие из десяти кадров. Разработанный алгоритм, по мнению создателей, сможет в дальнейшем помочь улучшать не только восстановление размытых изображений, но и самих видео.

Модель обучается на большом количестве видео, которые разбиваются на кадры. После этого нейросеть ищет такой кадр, артефакты на котором наиболее соответствуют артефактам кадра тренировочной выборки. После этого декодер «восстанавливает» артефакты кадра тренировочной выборки в движение, запечатленное на видео. Внутри модели, таким образом, хранятся данные о возможных восстановленных движениях из каждого доступного в обучающей выборке размытого кадра.

Нейросеть Runway Gen-2 умеет не только добавлять движение к готовым картинкам, но и создавать видео с нуля. Для этой работы используется то же самое окно, только вместо вкладки Image нужно переключиться на вкладку Text и ввести описание в текстовое поле.

Ученые из Индийского технологического института под руководством А. Н. Раджагопалана (A. N. Rajagopalan) предположили, что на основе одного размытого изображения можно создать целое короткое видео: то есть восстановить изначальное движение из его артефактов на снимке. Для этого они разработали алгоритм на основе сверточных нейросетей, которые активно применяют для задач, связанных с автоматическим распознаванием изображений, а также рекуррентных нейросетей.

Нейросетевых инструментов здесь хватает: есть и генератор картинок по текстовому описанию, инструменты удаления и расширения фона, цветокоррекция и размытие лиц на видео. Но в первую очередь нас интересуют инструменты для работы с видео: создание видео из картинок и по текстовому запросу.

Все отдельные фрагменты сгенерированы, можно монтировать. Для монтажа можно скачать 4-секундные кусочки на компьютер и воспользоваться каким-нибудь редактором. А можно смонтировать прямо на сайте. Для этого на главной странице нужно выбрать Video Editor Projects и нажать кнопку для создания нового проекта.