DeepFake-туториал: создаем собственный дипфейк в DeepFaceLab

Политические манипуляции

Социальные сети — Twitter, Facebook, TikTok, Reddit — уже разрабатывают и применяют политику по защите пользователей от фальшивок. В некоторых странах вопрос с подделками решают на законодательном уровне. В Китае такие ролики маркируются, в некоторых штатах США, например в Калифорнии, запрещено распространять дипфейки с политиками перед выборами. Во Франции ввели санкции за монтаж речи или изображения человека без его согласия.

В марте 2019-го гендиректор британского филиала крупной энергетической компании принял звонок от босса из Германии. Тот со своим обычным немецким акцентом пробормотал срочное поручение: в течение часа отправить средства венгерскому поставщику. Британец положил трубку, перевёл на указанный счёт 220 тысяч евро и вскоре попал во все газеты как первый известный человек, облапошенный с помощью искусственного интеллекта. Ему звонила нейросеть, научившаяся с помощью GAN имитировать голос начальника-немца на основе аудиозаписей его выступлений. Страховой компании пришлось покрыть убытки, а остальным — задуматься о будущем.

По мере совершенствования дипфейков расширялось их применение в криминальной сфере. Теперь мошенники генерируют голос для звонков по телефону и создают компрометирующие видеоролики для шантажа. А в будущем? По прогнозам экспертов, дипфейки могут стать угрозой национальной безопасности. Повсеместный сбор биометрических данных создаёт дополнительные риски: фейковое изображение можно будет использовать вместе с фейковыми отпечатками пальцев или следами ДНК.

4.2) data_src util faceset pack.bat и 4.2) data_src util faceset unpack.bat служат для упаковки (распаковки) лиц из папки aligned в один файл. Используется для подготовки настраиваемого набора данных для предварительного обучения, упрощает совместное использование в виде одного файла и значительно сокращает время загрузки набора данных (секунды вместо минут).

Локализация рекламы. Достаточно записать один рекламный ролик со знаменитостью, после чего записанное лицо можно переносить в видео с местными актерами, произносящими рекламные слоганы на родном языке. То есть можно добиться эффекта, как будто знаменитость говорит на языке страны дистрибуции продукта.

Очевидно, что технология должна использоваться с особой осторожностью. Злоумышленниками могут преследоваться цели компрометирования личности или создания фейковых новостей. В начале октября 2019 г. члены Комитета по разведке Сената США призвали крупные технологические компании разработать план для борьбы с дипфейками. Ранее, в сентябре этого года, Google создала специальный датасет дипфейков.

Весной 2019 года в интернете опубликовали дипфейк со спикером Палаты представителей США демократкой Нэнси Пелоси. В видео она медленно говорила, за счет чего создавалась иллюзия, что она сильно пьяна. Республиканские эксперты и политики немедленно принялись критиковать спикера, почти начался скандал. Лишь через несколько дней оказалось, что речь Пелоси была сгенерирована ИИ.

Детище Гудфеллоу помогло заработать не только художникам, но и специалистам по компьютерным спецэффектам. Раньше, чтобы создать вымышленную реальность, им требовались миллионы долларов, 3D-сканирование актёров и большие компьютерные мощности. Но чтобы поменять местами лица каскадёра и актёра, довольно ноутбука.

2. Очистка данных сцены

Если результат вас не удовлетворил, попробуйте разные опции наложения, либо продолжите тренировку для повышения четкости, используйте другую модель или другие видео с исходным лицом. О неописанных особенностях работы с библиотекой, прочих советах и хитростях читайте в оригинальном руководстве и комментариях к нему.

На этом этапе необходимо удалить крупные группы некорректных кадров, чтобы далее не тратить на них вычислительный ресурс. К некорректным кадрам относятся все, что не содержат четко различимого лица. Лицо также не должно быть закрыто предметом, волосами и пр. Не тратьте время на мелкие группы. Мы удалим их на следующем шаге.

На этом этапе начинается глубокое обучение. Нам необходимо детектировать лица на src-кадрах. Получаемая выборка будет храниться по адресу workspace\data_src\aligned . Этому пункту соответствует множество bat-файлов, начинающихся с 4) data_src faceset extract . При стандартном подходе используется SF3D-алгоритм детекции лица. Есть следующие опции:

В следующем видео показаны процессы, происходящие за кулисами обучения нейросети. Как пишет автор проекта Sham00K, на итоговое видео потрачено более 250 часов работы, использовались 1200 часов съемочных материалов и 300 тыс. изображений. Объем сгенерированных данных составил приблизительно 1 Тб.

Инженеры-исследователи Кейт Глазко и Ивэй Чжэн используют дипфейки для помощи людям с афантазией. В этом состоянии у человека нет воображения, и он не может создавать абстрактные образы в своей голове. Ученые с помощью дипфейков воспроизводят разные жизненные обстоятельства, в которые может попасть такой человек. Это помогает людям с афантазией прорепетировать потенциально стрессовую ситуацию и за счет этого снизить тревогу.

DeepFake – технология синтеза изображения, основанная на искусственном интеллекте и используемая для замены элементов изображения на желаемые образы. Если вы не слышали о дипфейках, посмотрите приведенный ниже видеоролик. В нём актёр Джим Мескимен читает стихотворение «Пожалейте бедного пародиста» в двадцати лицах знаменитостей.

Телеграм-каналы об ИИ

Считается, что эра дипфейков началась в конце 2017 года, когда пользователь с ником DeepFakes выложил на Reddit несколько видео с контентом 18+. На них актрисам из видео для взрослых были «приделаны» лица голливудских звёзд. Технология быстро разошлась в интернете и запустила волну по созданию похожего контента. В недавнем исследовании нидерландская компания по кибербезопасности Deeptrace выявила, что ролики 18+ составляют 96% от общего числа дипфейков: на момент исследования их было около 15 тысяч во всей Сети.

Создайте копию папки aligned_debug . После этого выделите все файлы в папке aligned , скопируйте их в свежесозданную копию папки align_debug , дождитесь завершения и, пока все только что замененные файлы еще выделены, удалите их. Просмотрите оставшиеся кадры и удалите все, на которых нет лиц, которые вы хотите извлечь вручную. Скопируйте остальные кадры обратно в исходную папку align_debug , замените, дождитесь завершения и, пока все замененные файлы все еще выделены, удалите их.

Картинками и картинами, созданными искусственным интеллектом с помощью GAN, уже никого не удивить. Самая известная из них была продана на знаменитом лондонском аукционе Christie»s за 432,5 тысячи долларов. В названии «шедевра» — портрета некоего Эдмона Белами — угадывается привет отцу GAN: на французском bel ami означает «хороший друг». Примерно так переводится с английского фамилия Гудфеллоу.

Пращуром дипфейков стал в конце ХХ века цифровой клон актёра — понятие, пришедшее из киноиндустрии. Внешность и голос умершего или живого актёра воссоздавали с помощью донейросетевой технологии CGI (computer-generated imagery — изображения, сгенерированные компьютером), получая виртуальную модель человека.

Во время выборов в Великобритании в 2019 году художник Билл Постерс выпустил фейковое видео, в котором Борис Джонсон (тогдашний глава Консервативной партии Великобритании) говорил, что британцы должны голосовать за Джереми Корбина (в то время — лидера соперничающей с консерваторами Лейбористской партии).

Следующие операции с некоторыми отличиями идентичны выборке лиц источника. Главным отличием является то, что для принимающей сцены важно определить dst -лица во всех кадрах, содержащих лицо, даже мутных. Иначе в этих кадрах не будет произведено замены на источник.

Новый алгоритм освободил человека от необходимости быть наставником для машин: благодаря соперничеству между двумя нейросетями система учится сама у себя. Это диалог антагонистов, работающих в одной команде, как если бы фальшивомонетчик всё более искусно подделывал купюры, а полицейский выискивал всё более тонкие способы опознать подделку. Обучение продолжается, пока алгоритм не начнёт путаться, где фальшивка, а где оригинал. Это означает, что машина научилась создавать нечто уникальное, но при этом неотличимое от реальности. Например, лицо никогда не существовавшего человека, которое вы не отличите от фото реальных людей. Разве не это называют творчеством?

После того, как вы объедините/конвертируете все лица, внутри папки data_dst появится папка с именем merged , содержащая все кадры, а также директория merged_masked , которая содержит кадры масок. Последний шаг – преобразовать их обратно в видео и объединить с исходной звуковой дорожкой из файла data_dst.mp4 .