Нейросеть Luma AI: как бесплатно сгенерировать видео с помощью Dream Machine

Что нельзя создать с помощью Luma AI

Здесь мы можем ввести название иллюстрации в поле Name artwork, добавить тэги, описывающие изображение, по которым другие пользователи смогут найти вашу картинку. Ползунок Show prompt in artwork отображает/скрывает описание промта на верхней части сгенерированной картинки. Для сохранения нажимаем Download.

Давайте рассмотрим ещё один функционал, предлагаемый Dream – редактирование изображения с помощью текстового запроса. Подобное мы использовали выше, когда попросили AI изменить цвет волос на светлый. Здесь же мы загрузим картинку и скажем AI что нужно сделать.

«Всего за полтора месяца она стала очень популярной площадкой и в связи с большим наплывом желающих за генерацией своего видео уже приходится постоять в очереди, хотя сам процесс преобразования текста в видео производится с молниеносной скоростью — до 120 секунд», — рассказала в беседе с «Лентой.ру» специалист по нейросетям Лена Идейная.

Dream позволяет нам изменить изображение с помощью текстового запроса: добавить/убрать предмет, изменить фон и прочее. В бесплатной версии сервиса даётся только 2 попытки редактирования выбранного изображения с помощью текста. Нажимаем Edit with text. Мы хотим изменить цвет волос на светлый. Вводим запрос и нажимаем Enter.

Как и многие современные нейросети, Dream Machine также имеет свои недостатки. Среди них разработчики отмечают четыре: — трансформация объектов. Нейросеть не всегда может создавать объекты без дефектов. В качестве примера создатели программы приводят движущуюся машину, которая преображается при развороте: там, где был задний бампер, вдруг появляется передний; — движение. ИИ может также перепутать действие. Собака, вместо того чтобы бежать, может зависнуть в воздухе; — текст. Текст на видео всё также остается большой проблемой нейросетей. Dream Machine может создать подобие текста на ролике, но он будет либо нечитаемым, либо написан с ошибками; — так называемая проблема Януса (двуликий бог в древнеримской мифологии. — «Известия»). В качестве примера этой проблемы разработчики показывают видео, где у белого медведя во время разворота вдруг вырастает вторая голова.

Мы ввели следующий запрос: «the girl has blue eyes, red long curly hair, looks straight, sits with a cat on her lap». На русском языке тоже можно вводить запрос, но видимо сервис ещё не настроен на русский язык, и в результате генерирует изображение мало связанное с запросом.

Как составить текстовый запрос с фото

При выборе тарифов Pro (от 79,99 доллара, что по курсу составляет около 7040 рублей) и Premier (от 399,99 доллара, то есть 35 208 рублей) количество генераций увеличивается до 400 и 2000 соответственно. Также появляется приоритетность создания видео по вашим промптам. Это значит, что ваши запросы будут обработаны раньше тех, что сделали пользователи бесплатной версии и самого начального тарифа.

Проверить эти утверждения на практике редакции не удалось: из-за высокого спроса сервис работает с перебоями и фактически не функционирует в триал-режиме. В целом, по утверждениям разработчиков, нейросеть может: — создавать реалистичные видео длительностью 5 секунд (кинематографичные, драматичные и с плавными движениями); — превращать в видео фотографии и текст (запрос дается на английском языке);

В настоящее время нейросетей, генерирующие изображения по текстовому запросу – множество. Это и Midjourney, и Playground AI, и Lexica, и другие. Зависит от того, что ищете Вы: определенный стиль, в котором будет наиболее удачно сгенерировано изображение, большая библиотека изображений, которые послужат основой, сообщество, где Вы сможете изучать работы других пользователей, или, к примеру, отсутствие регистрации.

В начале июня 2024 года компания Luma AI представила новую нейросеть, получившую название Dream Machine, которая может создавать реалистичные пятисекундные видео из фотографий и текста. Правда, в настоящее время из-за перегрузки сервис работает с перебоями. Подробнее о том, как «оживить» фотографии и как пользоваться сервисом, — в материале «Известий».

О простых изображениях, которые можно создать с помощью приложений с искусственным интеллектом (ИИ), знает практически каждый активный интернет-пользователь. Но создание качественных видео до сих пор оставалось недостижимой целью. ИИ-видео можно было легко определить по отсутствию мимики у персонажей, лишним частям тела, ряби или резкому изменению расположения объекта в кадре. Ролики казались будто склеенными в один видеоряд из разных похожих картинок. Однако нейросеть Dream Machine, созданная командой Luma AI и вышедшая в свет в июне 2024 года, по качеству созданного видео и дополнительным опциям опередила многие другие нейросети. Так, особенно по душе пользователям пришлась возможность «оживить» старые семейные фотографии. В интернете появились видео, где люди со старых семейных фотографий стали двигаться, а картинка при этом осталась качественной и плавной, а герои не менялись от кадра к кадру.

В поле Enter promt вводим текстовый запрос. Здесь мы сталкиваемся с ограничением: длина запроса 200 символов. Как нам кажется – этого достаточно, чтобы изложить описание для нашей будущей иллюстрации. Конечно, чем детальнее будет запрос, но при этом слова, использованные в запросе «понятные», тем результат будет удовлетворительнее. Но можно вводить абстрактные понятия и посмотреть на них глазами AI Dream.

Edit Image

Но мы рекомендуем использовать различные инструменты и сервисы, которые помогут вам создавать креативные подсказки (промпты) для ваших изображений. Существует множество таких сервисов, и с их помощью Вы сможете подобрать стиль, освещение, угол съемки, цветовую гамму и многое другое, чтобы добиться наилучшего результата.

В Luma AI есть возможность дать нейросети подсказку, указав вектор движения. Для этого прикрепите к запросу фото того, что хотите видеть в ролике. Специальный значок «картинка» находится слева от текстового окна: нажмите на него, выберите нужное изображение на компьютере и прикрепите его. После этого впишите нужный промпт и нажмите кнопку «Старт». В результате получается «ожившая» картинка.

Формально нейросеть открыта всем желающим. Чтобы создать или «оживить» картинку, нужно зарегистрироваться на сайте. Под одним аккаунтом можно создавать до 30 бесплатных видео в месяц и не больше пяти за один день. Если этого недостаточно, есть платная подписка. В месяц услуги сервиса будут стоить около 2 тыс. рублей ($23,9).

В июне 2024 года компания Luma AI выпустила новую нейросеть для создания видео. Сервис получил название Dream Machine. Это программа, способная по текстовому описанию создать видео профессионального уровня. «Лента.ру» рассказывает, как работает нейросеть, что умеет, а что нет, и кто может в ней творить.

Dream Machine, по словам самих разработчиков, может создавать точные, последовательные и насыщенные событиями ролики с высокой скоростью: «120 кадров за 120 секунд». Разработчики также добавляют, что Dream Machine обучена понимать, как двигаются и взаимодействуют люди и животные с окружающим миром. Именно из-за этого она может создавать такие реалистичные ролики, где объекты двигаются, как настоящие.

При этом, как рассказал «Ленте.ру» генеральный директор и основатель компании по разработке программного обеспечения BVM Сергей Чащин, пока генератор видео все-таки лучше справляется с английским. «Нейросеть понимает русский язык для запросов, но даже с более конкретизированными промптами выдает лучший результат, если делать запрос на английском», — пояснил эксперт.

Dream Machine предлагает несколько способов создания видео и «оживления» фото: — текстовое описание. Для этого следует очень подробно рассказать нейросети, что должно быть в кадре, действие, обрисовать атмосферу и эмоции. Также следует избегать использование сложных текстовых конструкций и жаргонов; — текстовое описание с подсказками. Данный способ следует использовать, если вы не уверены, как описать всё, что вы хотите видеть в кадре. В таком случае нейросеть додумает всё за вас; — изображение в видео. Можно загружать как свои фотографии, так и созданные при помощи нейросетей. При этом лучше также использовать текстовое описание, чтобы программа смогла сделать более качественное видео.