Нейросеть научили дорисовывать фотографии

Кажется, теперь мы будем жить в мире, полном фейков, — так что будьте аккуратнее

Чтобы попробовать нейросетевую функцию, нужно выделить часть изображения. Для этого можно воспользоваться одним из нескольких инструментов. Самый простой из них — выделение прямоугольником или овалом. Варианты инструментов выскакивают при нажатии правой кнопкой мыши.

Новая функция достаточно проста в использовании. Некоторые журналисты даже утверждают, что создавать фотоколлажи стало слишком просто — и что интернет рискует заполниться фейковыми изображениями. Adobe позиционирует Firefly как «второго пилота», помогающего в управлении программой, но делает упор на специалистов, занятых в креативных индустриях, и на пользу для бизнеса.

В интернете уже появилось множество руководств по использованию нейросети (особенно в ютьюбе), а также примеров отредактированных фотографий в стиле было/стало. Пользователи опробовали генеративную заливку на самых разных изображениях, от пейзажных снимков и популярных мемов до обложек культовых альбомов и «Моны Лизы». В твиттере дизайнеры показывают, насколько ускорилась их работа благодаря нейросети.

Самый простой способ отличить фейковые фотографии от реальных — проверять надежность источника информации. Ни одно СМИ, которое дорожит репутацией, не будет публиковать сомнительные данные (но, к сожалению, иногда ошибаются и журналисты). В случае с Firefly ситуация пока что проще, чем с Midjourney, так как искусственный интеллект не очень хорошо справляется с фотореалистичными изображениями людей.

Для работы с продуктами Adobe необходима учетная запись в Creative Cloud — ее можно создать без VPN или подключиться, используя имеющийся гугл-аккаунт. Управлять Creative Cloud удобно с помощью приложения для рабочего стола, но скачивать его необязательно: достаточно после открытия Photoshop выбрать опцию в меню Help → Sign In, залогиниться, а затем вернуться в редактор.

Нейросетевые алгоритмы успешно применяются для редактирования фотографий, но на сегодняшний день они, как правило, способны дорисовывать лишь небольшие фрагменты или, наоборот, удалять лишние объекты со снимков. Специалистам из Google Research удалось научить нейросеть весьма реалистично дорисовывать даже крупные области на кадре, расположенные сбоку, благодаря применению алгоритма на архитектуре генеративно-состязательной нейросети.

Проблемой фейков озабочены и сами разработчики. В 2019 году Adobe совместно с New York Times и Twitter создала Content Authenticity Initiative. В 2021-м к организации присоединились представители «Би-би-си», Intel, Microsoft и других компаний. Задача проекта — внедрение технических стандартов и цифровых подписей, которые позволят определять надежность текстов и изображений. В частности, о том, что контент сгенерирован искусственно, будет говориться в метаданных файлов. Еще одна важная инициатива Adobe — Content Credentials («удостоверение контента»). В официальном заявлении после анонса Firefly говорилось, что каждое изображение, отредактированное с использованием нейросети, содержит соответствующее указание в метаданных. Конечно, подобную предосторожность легко обойти, просто сделав скриншот изображения (как мы поступили в этом материале, о чем честно предупреждаем!).

Компания Adobe интегрировала нейросеть Firefly в последнюю версию Photoshop. Теперь пользователи по текстовому описанию могут генерировать фрагменты изображений, изменять фон, добавлять и удалять детали. Новая функция Generative Fill («генеративная заливка») доступна подписчикам сервиса Creative Cloud. Попробовать ее можно и в бесплатной пробной версии Photoshop. «Медуза» составила пошаговую инструкцию, с помощью которой вы сможете добавить на фотографию все, на что хватит фантазии, — или, наоборот, очистить ее от ненужных объектов.

«Восстание терминаторов на самом деле не исключено» Интервью создателя мобильного ютьюба Андрея Дороничева. После начала войны он решил бороться с дезинформацией с помощью нейросетей

Добавлять можно практически все, на что хватит фантазии , — не только кошку. Качество генерации во многом зависит от хороших промтов. Как их составлять, мы писали в карточках про нейросеть Midjourney. Если коротко, следует подробно описывать, что вы хотите увидеть, и добавлять стилистические референсы.

© 2007 — 2024 ООО «Фэшн Пресс»
При размещении материалов на Сайте Пользователь безвозмездно предоставляет ООО «Фэшн Пресс» неисключительные права на использование, воспроизведение, распространение, создание производных произведений, а также на демонстрацию материалов и доведение их до всеобщего сведения.

Размер этой области в разных случаях составлял 25, 50 и 75% исходного кадра. Такой подход позволил дискриминатору сконцентрироваться на области, дорисованной генератором, и тем самым повысить качество распознавания изображений. Как результат, это существенно повысило качество работы генератора после обучения. В качестве обучающей выборки были использованы почти два миллиона изображений из базы Places365-Challenge.

Сетевое издание TechInsider
Учредитель ООО «Фэшн Пресс»: 119435, г. Москва, Большой Саввинский пер., д. 12, стр. 6, этаж 3, пом. II;
Адрес редакции: 119435, г. Москва, Большой Саввинский пер., д. 12, стр. 6, этаж 3, пом. II;
Главный редактор: Василенок Никита Александрович
Адрес электронной почты редакции: info@techinsider.ru
Номер телефона редакции: +7 (495) 252-09-99
Знак информационной продукции: 16+
Cетевое издание зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций, регистрационный номер и дата принятия решения о регистрации: серия ЭЛ № ФС 77 — 84123 от 09 ноября 2022 г.

Пользователям доступны четыре функции: генерация изображений по текстовым описаниям (подобно тому, что предлагают Midjourney, DALL-E и Stable Diffusion), генеративная заливка (редактирование фрагментов изображений), текстовые эффекты и перекрашивание. Есть дополнительные варианты (генерация картинок по 3D-моделям), которые пока находятся в разработке, но еще полноценно не внедрены.

Обрабатывающая изображение нейронная сеть подразумевает, что алгоритм состоит из двух частей: одна из них выполняет свою непосредственную задачу – дорисовывает фотографию, а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки. Одна из ключевых особенностей алгоритма заключается в использовании двух фотографий: исходной, на которой прямоугольная область залита одним цветом, и второй, показывающей, какая именно область была залита.

Другая проблема — это копирайт. Нейросеть Firefly обучалась на 300 миллионах изображений и видео из фотобанка Adobe Stock, находящихся в общественном достоянии. Компания утверждает, что сделала все возможное, чтобы не нарушить авторские права. Тем самым планируется избежать судебных исков, которые были поданы, в том числе против создателей Midjourney. Если же на компании, которые использовали Firefly, все-таки подадут в суд за нарушение копирайта, Adobe пообещала возместить им убытки. Все вопросы это, конечно, не решит. Журнал Forbes приводит мнения пользователей, разместивших свои работы на Adobe Stock. Они обнаружили, что не могут поменять условия лицензионного соглашения и помешать Firefly в дальнейшем эти изображения использовать.