Как создать дипфейк видео или фото в 2024 году⁠⁠

Системные требования для DeepFaceLab

Для создания видео в Deepfakes Web. Пользователи должны зарегистрироваться и загрузить свои видеоролики, которые обрабатываются в облаке с использованием мощных графических процессоров. Нейронная сеть платформы отлично справляется с обучением и изменением лиц в видеороликах, при этом стандартное время обработки составляет в среднем четыре часа. В качестве альтернативы пользователи могут выбрать предварительно обученные модели, что сокращает время обработки всего до получаса. Качество результатов зависит от минимизации потерь при обучении из-за загруженных видео, обеспечивая более высокое общее качество.

AE architecture : можно выбрать тип архитектуры модели. Два основных типа: DF и LIAE . Обе модели обеспечивают высокое качество, но DF лучше срабатывает для лиц анфас, а LIAE качественнее справляется с трансформациями. Дополнительные буквы в названии соответствуют повышению сходства ( -U ) и увеличению разрешения модели ( -D ).

Сервис Visper от Sber предлагает простое создание видео-подделок. Пользователи могут без особых усилий создавать убедительные видеоролики с изображением живого оратора, настраивая жесты, добавляя текст и выбирая фон. Расположение изображения оратора также можно настроить в соответствии с желаемым сценарием.

Сразу после распаковки в workspace уже могут содержаться примеры видеороликов для теста. В соответствии с описанной терминологией вы можете заменить их видеофайлами с теми же названиями data_src.mp4 и data_dst.mp4 . Максимально поддерживаемое разрешение – 1080p. Приведенные в документации примеры расширений файлов: mp4, avi, mkv.

На этом этапе начинается глубокое обучение. Нам необходимо детектировать лица на src-кадрах. Получаемая выборка будет храниться по адресу workspace\data_src\aligned . Этому пункту соответствует множество bat-файлов, начинающихся с 4) data_src faceset extract . При стандартном подходе используется SF3D-алгоритм детекции лица. Есть следующие опции:

DeepFake – технология синтеза изображения, основанная на искусственном интеллекте и используемая для замены элементов изображения на желаемые образы. Если вы не слышали о дипфейках, посмотрите приведенный ниже видеоролик. В нём актёр Джим Мескимен читает стихотворение «Пожалейте бедного пародиста» в двадцати лицах знаменитостей.

Извлечение кадров сцены для переноса лица (опционально)

При необходимости обрезаем видео с помощью 3.1) cut video (drop video on me).bat . Этот пункт удобен, если вы никогда не пользовались программным обеспечением для редактирования видео. Перетаскиваем файл data_dst поверх bat-файла. Указываем временные метки, номер аудиодорожки (если их несколько) и при необходимости битрейт выходного файла. Появляется дополнительный файл с суффиксом _cut .

После того, как вы объедините/конвертируете все лица, внутри папки data_dst появится папка с именем merged , содержащая все кадры, а также директория merged_masked , которая содержит кадры масок. Последний шаг – преобразовать их обратно в видео и объединить с исходной звуковой дорожкой из файла data_dst.mp4 .

Создайте копию папки aligned_debug . После этого выделите все файлы в папке aligned , скопируйте их в свежесозданную копию папки align_debug , дождитесь завершения и, пока все только что замененные файлы еще выделены, удалите их. Просмотрите оставшиеся кадры и удалите все, на которых нет лиц, которые вы хотите извлечь вручную. Скопируйте остальные кадры обратно в исходную папку align_debug , замените, дождитесь завершения и, пока все замененные файлы все еще выделены, удалите их.

В новой версии DeepFaceLab доступно множество режимов наложения с различными масками и дополнительными настройками. В качестве параметров для первой пробы можно использовать параметры по умолчанию (по нажатию Enter) и варьировать их, если вас не устроит результат соединения сцены и нового лица.

Очевидно, что технология должна использоваться с особой осторожностью. Злоумышленниками могут преследоваться цели компрометирования личности или создания фейковых новостей. В начале октября 2019 г. члены Комитета по разведке Сената США призвали крупные технологические компании разработать план для борьбы с дипфейками. Ранее, в сентябре этого года, Google создала специальный датасет дипфейков.

В следующем видео показаны процессы, происходящие за кулисами обучения нейросети. Как пишет автор проекта Sham00K, на итоговое видео потрачено более 250 часов работы, использовались 1200 часов съемочных материалов и 300 тыс. изображений. Объем сгенерированных данных составил приблизительно 1 Тб.