Topaz Video AI — нейросеть для видео
Обработайте видео:
Теперь давайте рассмотрим, как именно FlowFrames помогает повысить FPS в видео. FlowFrames основана на глубоком обучении и нейронных сетях. Она использует алгоритмы компьютерного зрения и машинного обучения для анализа движения в видеозаписи и создания дополнительных кадров между существующими кадрами. Это помогает создать более плавное и детализированное воспроизведение.
Попробуем сделать из него FullHD (1920×1080 пикселей). И здесь есть одна тонкость. В первую очередь нужно открыть вкладку Enhancement, и выбрать в ней нужную модель. Так как на видео есть люди (и собаки, но это не столь важно), выбираем модель Iris — она хорошо подходит для отрисовки человеческих лиц.
Технология FlowFrames основана на методе, известном как “интерполяция движения” (motion interpolation). Интерполяция движения используется для заполнения пробелов между кадрами, создавая видимое движение там, где оно отсутствует в исходной видеозаписи. Эта техника расширяет запись, увеличивая ее количество кадров в секунду без изменения длительности видео.
Некоторые моменты лучше смотрятся в замедленном в 4-10 раз виде. Это могут быть разлетающиеся залпы фейерверка, полёт букета невесты или эффектный вход в поворот на гоночной машине. Но чтобы замедлить видео на монтаже, оно изначально должно быть снято с повышенной частотой кадров (120 к/с для 5х замедления, 240 к/с для замедления в 8-10х). Многие современные камеры и даже смартфоны способны на такое.
Если при съёмке не использовался стедикам, а в камере нет хорошего матричного стабилизатора, то итоговое видео будет трясущимся и смотреть его вряд ли кто захочет. Спасти видео можно с помощью стабилизации при обработке. Чтобы сделать это в Topaz Video AI, нужно включить вкладку Stabilization AI и выбрать метод стабилизации.
Нейросети продолжают развиваться и захватывать всё новые области. Topaz Video AI создана для работы с видео: нейросеть умеет чистить его от шумов, стабилизировать трясущуюся картинку, увеличивать разрешение вплоть до 16К и частоту кадров (чтобы сделать видео более плавным или превратить обычный ролик в slow-motion). Всё это поможет сделать хорошее видео ещё лучше, а в некоторых случаях и спасти бракованный материал, сэкономив время и деньги на пересъёмку.
Прежде чем мы окунемся в детали, давайте разберемся, что такое FPS и какова его роль в видеозаписях. FPS (Frames Per Second) или кадры в секунду – это мера количества кадров, отображаемых в секунду. Чем больше кадров в секунду, тем более плавно и реалистично выглядит видео. Стандартным значением FPS является 24, однако в некоторых случаях требуется более высокое значение для достижения определенной цели.
В Topaz Video AI всё немного сложнее. Во-первых, возможностей автоматического выбора настроек пока нет (в тесте участвовала свежая версия Topaz Video AI 4). Во-вторых, все нейросетевые модели носят имена греческих богов (Аполлон, Артемида, Хронос и прочие Тейи с Иридами). Так что пользователю предлагается самостоятельно решить, выбрать для улучшения качества модель Iris или Artemis, и экспериментально выяснять, кто лучше справляется с создание slow-mo видео — Apollo или Chronos Fast.
Преимущества
Тестировали стабилизацию на трясущемся ролике, снятом на экшн-камеру из окна судна на воздушной подушке. Topaz справился хорошо, тряска заметно уменьшилась, а угол зрения сохранился, каких-то искажений по углам не видно. Правда, времени на это ушло немало: на стабилизацию 18-секундного кусочка в FullHD на тестовом компьютере ушло около 20 минут, а основная нагрузка была на видеокарту Geforce GTX1650.
Используя модель Nyx HQ Denoise, можно вручную задать степень шумоподавления и другие параметры. А в Artemis Denoise/Sharpen можно лишь выбрать, насколько качественный у вас исходник (в нашем случае — Low quality) / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт
Ещё одно отличие в том, что выбранные настройки не отображаются мгновенно в окне просмотра. Это связано с тем, что работа с видео требует времени даже на мощном компьютере — так что, сперва нужно выбрать все необходимые настройки, и потом нажать кнопку «Preview». После этого Topaz обработает видео и создаст двухсекундное превью, по которому можно оценить результат. А если программа используется в первый раз, время понадобится и на скачивание нейросетевых моделей: в установочном файле их нет, и Topaz Video AI скачивает нужные прямо во время работы.
Методов всего два: Auto-Crop, при котором редактор обрезает изображение по краям для стабилизации, и Full-frame, при котором края кадра дорисовываются с помощью нейросетей, сохраняя угол зрения исходника. Нас интересует именно Full-frame — стабилизировать видео с обрезкой можно в любом другом видеоредакторе, и будет это гораздо быстрей.
На тестовом компьютере удалось запустить только шумоподавление с помощью модели Artemis Denoise/Sharpen, при этом на обработку одной (. ) секунды 4К-видео ушло три с половиной минуты. А модель Nyx HQ Denoise и вовсе не сработала ни на 4К, ни на FullHD исходнике: компьютер гудел, нагрузка на процессор и видеокарту выросла до 100%, но за 10 минут прогресс так и не сдвинулся с 0%.
Тем, кто пользуется продуктами Topaz для работы с фотографиями, интерфейс Topaz Video AI покажется знакомым. Но есть и отличия. В нейросетевых программах для работы с фото (Topaz Denoise AI, Topaz Sharpen AI) можно доверить автоматике анализ изображения и подбор подходящих настроек, и в 80% случаев этого хватит для получения хорошего результата. А если нужно выбрать нейросетевую модель для работы с изображениями вручную, это сделать довольно просто. Например, в Topaz Sharpen AI для этого нужно указать, что вызвало проблемы с резкостью — промах по фокусу, смаз движения, или просто изображение недостаточно резкое и стоит попробовать универсальную модель.
