Google научила нейросеть реалистично дорисовывать фотографии

Какие VPN самые надежные? Как понять, что сервис сотрудничает со спецслужбами? Могут ли Россию вообще отключить от нормального интернета? Эксперты отвечают на вопросы читателей «Медузы» o VPN

Такой подход позволил дискриминатору сконцентрироваться на области, дорисованной генератором, и тем самым повысить качество распознавание «подделок». Это в свою очередь повысило качество работы генератора после обучения. Еще одна причина хорошего качества доррисованных фрагментов связана с обучающей выборкой. В качестве нее авторы выбрали почти два миллиона изображений из датасета Places365-Challenge.

В интернете уже появилось множество руководств по использованию нейросети (особенно в ютьюбе), а также примеров отредактированных фотографий в стиле было/стало. Пользователи опробовали генеративную заливку на самых разных изображениях, от пейзажных снимков и популярных мемов до обложек культовых альбомов и «Моны Лизы». В твиттере дизайнеры показывают, насколько ускорилась их работа благодаря нейросети.

Для работы с продуктами Adobe необходима учетная запись в Creative Cloud — ее можно создать без VPN или подключиться, используя имеющийся гугл-аккаунт. Управлять Creative Cloud удобно с помощью приложения для рабочего стола, но скачивать его необязательно: достаточно после открытия Photoshop выбрать опцию в меню Help → Sign In, залогиниться, а затем вернуться в редактор.

Новая функция достаточно проста в использовании. Некоторые журналисты даже утверждают, что создавать фотоколлажи стало слишком просто — и что интернет рискует заполниться фейковыми изображениями. Adobe позиционирует Firefly как «второго пилота», помогающего в управлении программой, но делает упор на специалистов, занятых в креативных индустриях, и на пользу для бизнеса.

Проблемой фейков озабочены и сами разработчики. В 2019 году Adobe совместно с New York Times и Twitter создала Content Authenticity Initiative. В 2021-м к организации присоединились представители «Би-би-си», Intel, Microsoft и других компаний. Задача проекта — внедрение технических стандартов и цифровых подписей, которые позволят определять надежность текстов и изображений. В частности, о том, что контент сгенерирован искусственно, будет говориться в метаданных файлов. Еще одна важная инициатива Adobe — Content Credentials («удостоверение контента»). В официальном заявлении после анонса Firefly говорилось, что каждое изображение, отредактированное с использованием нейросети, содержит соответствующее указание в метаданных. Конечно, подобную предосторожность легко обойти, просто сделав скриншот изображения (как мы поступили в этом материале, о чем честно предупреждаем!).

Компания Adobe интегрировала нейросеть Firefly в последнюю версию Photoshop. Теперь пользователи по текстовому описанию могут генерировать фрагменты изображений, изменять фон, добавлять и удалять детали. Новая функция Generative Fill («генеративная заливка») доступна подписчикам сервиса Creative Cloud. Попробовать ее можно и в бесплатной пробной версии Photoshop. «Медуза» составила пошаговую инструкцию, с помощью которой вы сможете добавить на фотографию все, на что хватит фантазии, — или, наоборот, очистить ее от ненужных объектов.

Кажется, теперь мы будем жить в мире, полном фейков, — так что будьте аккуратнее

Пользователям доступны четыре функции: генерация изображений по текстовым описаниям (подобно тому, что предлагают Midjourney, DALL-E и Stable Diffusion), генеративная заливка (редактирование фрагментов изображений), текстовые эффекты и перекрашивание. Есть дополнительные варианты (генерация картинок по 3D-моделям), которые пока находятся в разработке, но еще полноценно не внедрены.

Нейросетевые алгоритмы уже некоторое время применяются на практике при редактировании фотографий. К примеру, Adobe Photoshop умеет убирать объекты со снимка, реалистично заменяя их на фон. Для этого программа использует информацию со всех окружающих объект областей. Кроме того, Photoshop способен дорисовывать края изображения, к примеру, при повороте, однако эта функция работает хуже и способна справляться лишь с небольшими участками, отчасти именно из-за того, что лишь часть пустой области окружена фрагментами исходного изображения, с которых можно взять информацию.

Самый простой способ отличить фейковые фотографии от реальных — проверять надежность источника информации. Ни одно СМИ, которое дорожит репутацией, не будет публиковать сомнительные данные (но, к сожалению, иногда ошибаются и журналисты). В случае с Firefly ситуация пока что проще, чем с Midjourney, так как искусственный интеллект не очень хорошо справляется с фотореалистичными изображениями людей.

Разработчики из Google Research научили нейросеть качественно дорисовывать недостающие фрагменты фотографий, даже если от нее скрыта большая часть снимка. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, рассказывают авторы статьи, опубликованной на arXiv.org.

Разработчики из Google Research под руководством Уильяма Фримена (William Freeman) научили нейросеть реалистично дорисовывать даже большие области на кадре, расположенные сбоку. Алгоритм основан на популярной архитектуре генеративно-состязательной нейросети. Она подразумевает, что алгоритм состоит из двух частей: одна из них выполняет прямую задачу (в данном случае дорисовывает фотографии), а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки.

Чтобы попробовать нейросетевую функцию, нужно выделить часть изображения. Для этого можно воспользоваться одним из нескольких инструментов. Самый простой из них — выделение прямоугольником или овалом. Варианты инструментов выскакивают при нажатии правой кнопкой мыши.

Добавлять можно практически все, на что хватит фантазии , — не только кошку. Качество генерации во многом зависит от хороших промтов. Как их составлять, мы писали в карточках про нейросеть Midjourney. Если коротко, следует подробно описывать, что вы хотите увидеть, и добавлять стилистические референсы.

Одна из ключевых особенностей подхода авторов, которая привела к хорошим результатам, заключается в том, что на входе нейросеть получает не один снимок, а два. Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом. Авторы экспериментировали с размером этой области, заливая 25, 50 и 75 процентов от исходного кадра. Второе изображение — это маска, показывающая, какая именно область была залита.