Как бесплатно генерировать видео и оживлять фото в нейросети Luma AI

Как пользоваться

В настоящее время нейросетей, генерирующие изображения по текстовому запросу – множество. Это и Midjourney, и Playground AI, и Lexica, и другие. Зависит от того, что ищете Вы: определенный стиль, в котором будет наиболее удачно сгенерировано изображение, большая библиотека изображений, которые послужат основой, сообщество, где Вы сможете изучать работы других пользователей, или, к примеру, отсутствие регистрации.

Мы ввели следующий запрос: «the girl has blue eyes, red long curly hair, looks straight, sits with a cat on her lap». На русском языке тоже можно вводить запрос, но видимо сервис ещё не настроен на русский язык, и в результате генерирует изображение мало связанное с запросом.

Если хотите генерировать по текстовому запросу и картинке, нажмите на иконку с изображением и загрузите файл в формате JPG, JPEG или PNG. Он может быть любым. Но лучше всего работают генерации с фото, где только один объект в центре. После этого напишите текстовый запрос. Вот что рекомендует команда Luma AI :

Долгое время модели для генерации видео работали не очень качественно. Они создавали видеоряд на той же архитектуре, что и нейросервисы для статичных картинок. Обычное изображение для ИИ уже не проблема. А вот сгенерировать множество кадров, да и еще правильно согласовать их между собой, — задача гораздо сложнее.

Шаг 2. Выберите, как будете генерировать: только по текстовому запросу или по картинке и текстовому запросу. В первом случае напишите на английском языке, что хотите увидеть. Если не знаете английского, воспользуйтесь переводчиком DeepL. Он лучше, чем конкуренты, переводит с русского на английский, сохраняя контекст.

Давайте рассмотрим ещё один функционал, предлагаемый Dream – редактирование изображения с помощью текстового запроса. Подобное мы использовали выше, когда попросили AI изменить цвет волос на светлый. Здесь же мы загрузим картинку и скажем AI что нужно сделать.

Но мы рекомендуем использовать различные инструменты и сервисы, которые помогут вам создавать креативные подсказки (промпты) для ваших изображений. Существует множество таких сервисов, и с их помощью Вы сможете подобрать стиль, освещение, угол съемки, цветовую гамму и многое другое, чтобы добиться наилучшего результата.

Из-за этого даже короткие ролики распадались на артефакты, объекты постоянно менялись, будто бы каждую секунду их перерисовывали заново. При создании Sora в Open AI нашли новый подход: нейросеть не только генерирует последовательность картинок, но и строит модель мира, учится понимать физику и движение объектов. Благодаря этому видеоряд получается стабильным и естественным.

Письма о технологиях и интернете

Модель создает видео, сравнимое по качеству с генерациями Sora — самой продвинутой нейросети из имеющихся. Вот только попробовать сервис от компании OpenAI пока что нельзя, а Luma AI уже доступна всем. В месяц можно бесплатно создавать ограниченное количество роликов.

Здесь мы можем ввести название иллюстрации в поле Name artwork, добавить тэги, описывающие изображение, по которым другие пользователи смогут найти вашу картинку. Ползунок Show prompt in artwork отображает/скрывает описание промта на верхней части сгенерированной картинки. Для сохранения нажимаем Download.

Давайте рассмотрим ещё один функционал, предлагаемый Dream – редактирование изображения с помощью текстового запроса. Подобное мы использовали выше, когда попросили AI изменить цвет волос на светлый. Здесь же мы загрузим картинку и скажем AI что нужно сделать.

Dream позволяет нам изменить изображение с помощью текстового запроса: добавить/убрать предмет, изменить фон и прочее. В бесплатной версии сервиса даётся только 2 попытки редактирования выбранного изображения с помощью текста. Нажимаем Edit with text. Мы хотим изменить цвет волос на светлый. Вводим запрос и нажимаем Enter.

Мы ввели следующий запрос: «the girl has blue eyes, red long curly hair, looks straight, sits with a cat on her lap». На русском языке тоже можно вводить запрос, но видимо сервис ещё не настроен на русский язык, и в результате генерирует изображение мало связанное с запросом.

Dream Machine от Luma AI — эта одна из первых нейросетей для генерации видео на такой же архитектуре, которую можно попробовать самому. Она создает реалистичные ролики, которые выглядят качественнее, чем у конкурентов — Runway Gen-2 или Pika. Картинка не дергается, а герои видео не морфятся

Edit Image

В поле Enter promt вводим текстовый запрос. Здесь мы сталкиваемся с ограничением: длина запроса 200 символов. Как нам кажется – этого достаточно, чтобы изложить описание для нашей будущей иллюстрации. Конечно, чем детальнее будет запрос, но при этом слова, использованные в запросе «понятные», тем результат будет удовлетворительнее. Но можно вводить абстрактные понятия и посмотреть на них глазами AI Dream.

При этом разработчики подтвердили, что у нейросети есть ряд ограничений. Luma AI не может генерировать качественный текст — он будет с ошибками или вообще нечитаемым. Она ошибается в движениях: например, собака, которая должна бежать, может полететь. А еще искажает и деформирует объекты. Но такие же ограничения есть и у Sora.

Но мы рекомендуем использовать различные инструменты и сервисы, которые помогут вам создавать креативные подсказки (промпты) для ваших изображений. Существует множество таких сервисов, и с их помощью Вы сможете подобрать стиль, освещение, угол съемки, цветовую гамму и многое другое, чтобы добиться наилучшего результата.

В настоящее время нейросетей, генерирующие изображения по текстовому запросу – множество. Это и Midjourney, и Playground AI, и Lexica, и другие. Зависит от того, что ищете Вы: определенный стиль, в котором будет наиболее удачно сгенерировано изображение, большая библиотека изображений, которые послужат основой, сообщество, где Вы сможете изучать работы других пользователей, или, к примеру, отсутствие регистрации.