ПРОБЛЕМЫ ПРИМЕНЕНИЯ НЕЙРОСЕТЕЙ В КИНО

Введение в Midjourney: как пользоваться нейросетью

Генерация образов актеров
Для этого используется технология дипфейк (Deepfake). Ее задействуют в соединении и наложении существующих фото и видео на исходные материалы, используемые в фильме. Технология может быть применена для следующих случаев:

Чтобы нейросеть сгенерировала изображение, нужно ввести команду /imagine в одном из чатов Newbies и придумать запрос. Описание желаемой картинки необходимо сформулировать на английском языке. Когда придумаете запрос, нажмите кнопку «Отправить». Бот начнет генерировать изображение. Вы буквально в прямом эфире увидите, как смутные очертания превращаются в четыре картинки.

Резидент творческой студии «Среда» Петр Хики, режиссер двух якутских картин «Хомус» и «Холодное золото», рассказал, что использует нейросети преимущественно при монтаже: «Мы используем неросети для решения стандартных задач — улучшения качества конечной картинки, компьютерной графики, например дома, или для того, чтобы, например, облака добавить. В своем нынешнем проекте я использую нейросети для дорисовки кадров в анимации».

Заместитель генерального директора, коммерческий директор сервиса «Антипират» Павел Марченко объяснил, что нейросеть существенно облегчает работу по выявлению «пиратов»: «Значительную часть рутинных процессов мы упрощаем при помощи “нейронки”. Благодаря ей время на поиск незаконного контента сокращается, что помогает нашим клиентам всегда контролировать распространение контента, добиваться хороших финансовых результатов. Наша нейросеть сформирована по конкретным запросам и выполняет конкретные задачи. Она смотрит и разбирает ссылки: отделяет “мусорные”, “живые”, “нормальные”».

Звуковое и музыкальное сопровождение
С помощью нейросетей воссоздается звуковое сопровождение фильмов, вроде скрипа дверей, ударов палок, воя ветра и прочих шумов. В режиме реального времени нейросеть распознает изображение, вычисляет, что на нем происходит, и подбирает соответствующий звук к каждой из сцен. Также можно создать звуки научной фантастики или звуковых ландшафтов, в том числе новые музыкальные сэмплы.

Создание локаций
Изучив сценарий, нейросеть может предложить подходящие локации практически для каждой из сцен. Благодаря этому можно не подстраиваться под погодные условия и время суток, так как перспектива, окружение и свет могут изменяться в режиме реального времени. Такой процесс не только упрощает работу актерам, но и значительно сокращает расходы на постпродакшн.

Как составить запрос и сгенерировать фильм

Создание фильмов
Полнометражных фильмов нейросетям пока не удалось создать, однако первые шаги к этому уже сделаны. Так, нейросеть Benjamin под руководством инженера Росса Гудвина из Google создала черно-белую короткометражку Zone Out. Также на Twich транслируется созданный Mismatch Media с помощью нейросети ситком Nothing, Forever.

В бесплатной версии нейросети 25 попыток. Попытка тратится и на полноценный запрос, и на апскейл конкретной картинки. Ограничения можно убрать, заплатив за подписку. Преимуществ у платной версии достаточно: безлимитная генерация, повышенное качество, возможность создавать картинки в приватном канале. Безлимит на месяц стоит 30 долларов, но заплатить российской банковской картой нельзя.

Заместитель генерального директора по аналитике и информации проекта «Гиперграф. Кино» Дмитрий Макаревич высказался в пользу «живого» кино, созданного руками человека: «»Живое» кино, на мой взгляд, всегда будет привлекать внимание зрителя. Безусловно, все смотрят картины с обилием спецэффектов и трюков, в том числе созданные с применением искусственного интеллекта, но, когда попадаешь на фильм, который берет тебя за душу и заставляет о чем-то задуматься и искренне сопереживать, это заменить нельзя ничем. Искусственный интеллект можно использовать для анализа большого массива данных о прокате. Например, при оценке состава аудитории, определении того, какое количество людей и в какое время приходит на сеансы, какие фильмы пользуются большим успехом у зрителя, также можно оценивать реакцию зрителей на определенные моменты или в целом на фильм с помощью систем технического зрения. Эти данные можно использовать в дальнейшем при репертуарном планировании: например, определять, какому кинотеатру отдавать предпочтение, и выделять больше экранного времени фильмам определенного жанра или направленности».

Сегодня нейросети используются преимущественно при создании визуальных эффектов и синтезировании реалистичных изображений. Их использование открывает новые возможности для развития кинематографии, делая эту сферу еще более интересной, привлекательной и инновационной. Представители киноиндустрии, присутствовавшие на сессии, отметили существенную пользу нейросетей и рассказали, каким образом их использование облегчает работу кинопроизводителей.

Аналитика и прогнозирование
Нейросети могут использоваться для прогнозирования того, какие фильмы могут стать успешными, а какие провалятся в прокате. Нейросети могут исследовать структуру произведения, сюжетную линию, актерский состав, имена режиссеров и сценаристов, размер бюджета, сравнить потенциальные кинопроекты с базой данных, где представлены широко известные фильмы, и в итоге предсказать возможную сумму кассовых сборов. Также нейросети могут выступать бета-ридерами — они изучают сценарии фильмов и прикидывают, насколько они удачны. Еще нейросеть помогает понять, как тот или иной актерский состав скажется на успехе продукта. Более того, можно оценить влияние участия конкретного актера на рейтинги. Все это позволяет экономить время на прослушиваниях нерелевантных кандидатов, а также правильно подобрать актеров для ремейков и франшиз.

Создание анимации, спецэффектов, помощь в монтаже
При помощи нейросетей можно дорисовывать детали, менять фон, применять спецэффекты и фильтры, генерировать плавные переходы между кадрами, создавать анимацию для персонажей или объектов. Нейросети способны быстро объединить видеофрагменты, определить лучшие кадры, удалить дубликаты или неудачные дубли, улучшить качество видео. Также есть алгоритмы, удаляющие из кадра провода, маркерные метки и следы фломастеров, которые используют в монтажно-тонировочный период (клинап). Кроме того, нейросети помогают визуализировать сценарий и быстро создать раскадровку.

Какие запросы должны получиться в итоге

Для достижения таких же результатов по защите своих прав в России предполагается создание таких же крепких и устойчивых гильдий. И государство поддерживает подобную инициативу. Об этом говорится в ст. 28 Закона «Основы законодательства Российской Федерации»:

«Нейросеть — это не автор, а в первую очередь инструмент. А вот человек, делающий запрос в нейросети, он автор. Впрочем, применять искусственный интеллект везде невозможно: к примеру, он не может заменить продюсера. Да, мы применяем нейросеть при написании сценариев, она помогает нам увидеть альтернативное мнение. А вот при продакшене мы ее не используем, хотя некоторые процессы она помогает оптимизировать», — отметил режиссер Дмитрий Кольцов.

Это самая доступная нейросеть из конкурентов. К Dall-E нет публичного доступа, а для запуска Stable Diffusion нужен хороший компьютер. Вся работа с Midjourney же происходит в мессенджере Discord: достаточно скачать приложение и вступить в сообщество нейросети.

Подберите описание конкретных сцен. Запрос «Кадр из DVD-издания Властелин Колец» неплох, но дает нейросети уж слишком много свободы. Так больше шансов, что вы не получите желаемого результата. А вот запрос «Сцена из DVD-издания Властелин Колец, где Арагорн, Леголас и Гимли бегут по зеленому полю за орками» сработает гораздо точнее.

Например, написанный нейросетью фильм Sunspring рассказывает о будущем, а актерами выступили живые люди. По мнению зрителей, фильм смотрится довольно нелепо. Сюжет вполне серьезный, но из-за того, что написание сценария полностью отдали машине, он не был раскрыт, как надо. На сегодняшний день для того, чтобы сделать качественный контент, создаваемые нейросетями объекты требуют доработки их пользователями, так как без человеческого восприятия, мировоззрения и творческой составляющей раскрыть потенциал любого фильма просто невозможно.

Написание сценариев
Нейросети довольно хорошо себя проявляют при работе с текстом. Поэтому их начали широко применять и для написания сценариев. Например, нейросетями были созданы сюжеты к российскому сериалу «Сидоровы», а также к короткометражным фильмам Sunspring и It’s No Game.