Нейросеть научили генерировать мемы

Сегодня мемы используются не только для развлечений, но и для рекламы, а также — для политической и идеологической пропаганды. Отчасти поэтому они часто становятся объектом различных исследований. К примеру, совсем недавно американские разработчики провели векторный анализ популярных мемов и выяснили, что самым частым их героем выступает Дональд Трамп, а самыми популярными оказались мемы с лягушонком Пепе.

В эпоху, когда мемы становятся неотъемлемой частью нашей жизни, а смех — универсальным языком, нейросети пришли на помощь, чтобы сделать этот язык ещё более выразительным. Забудьте о статичных картинках! Теперь, благодаря нейросетям, у нас есть возможность создать видео из смешных мемов, которые когда-то оставались неподвижными. Представьте себе: ваши любимые мемы теперь могут танцевать, смеяться и даже рассказывать анекдоты!

Ученые из Стэнфордского университета разработали нейросеть, которая придумывает текстовую часть мемов. Система основана на работе нейросети с долгой краткосрочной памятью и умеет генерировать субъективно (по мнению пятерых добровольцев) смешные картинки. Препринт опубликован на arXiv.org.

Неудивительно, что в 2024 году мы увидим всплеск новых видео, созданных с помощью нейросетей, которые все будут обсуждать и они будут покорять интернет. Всё в ваших руках! С нейросетью Kling вы можете легко сами создавать видео, которое удивит ваших знакомых и поднимет настроение.

Оценить получившиеся мемы исследователи попросили пять добровольцев, каждому из которых показывали искусственные мемы и мемы из обучающей выборки, сделанные людьми. Картинки реальных людей получили 7 баллов по шкале забавности (от 1 до 10), в то время как созданные нейросетью мемы — от 6 до 6,8 в зависимости от алгоритма. Добровольцы также отличали настоящие мемы от искусственных в 63-70 процентах случаев. Для автоматической оценки получившихся кэпшенов разработчики использовали параметр «растерянности» (perplexity), который подсчитывает обратную вероятность появления каждого последующего слова в сгенерированном тексте на основе распределения вероятностей обучающей выборки и выражается в двойке в положительной степени (чем ближе этот показатель к двум, тем точнее работает модель). Величина этого параметра для созданных мемов равнялась 2,02 и 2,68 для разных моделей.

Как же это работает? Нейросеть для генерации видео использует сложные алгоритмы, чтобы распознать элементы на картинке и добавить к ним движение. Вы можете создать видео онлайн, загрузив мемы дня или мемы котиков, и наблюдать, как они становятся живыми. Нейросеть оживляет фото так, что даже самые скучные изображения превращаются в настоящие видеомемы, которые можно скачать и поделиться с друзьями.

Prompt: не применялся. В этом примере стоит обратить внимание на то, что текст который был на изображении исчез после генерации. В тоже время на примере с демотиватором выше текст остался. Я бы рекомендовала вам, для того чтобы избежать искажений использовать картинки без текста. Текст можно будет добавить позже. В тех же самых редакторах — CapCut или Vidma.

Для создания мемов с подписями (кэпшенами) используются специальные сайты (например, популярный Meme Generator), которые позволяют использовать картинку-шаблон и окошки для ввода текста. Для искусственного интеллекта создание подобного мема с помощью шаблона кажется задачей достаточно простой: придумывать и вводить членораздельный кэпшн самостоятельно компьютеры давно умеют. Задача, однако, осложняется тем, что зачастую картинка-шаблон подразумевает и использование подписи определенного типа. Знаменитый мем с Боромиром должен начинаться с фразы «Нельзя так просто взять и. » («One does not simply. «), а мем с Брайаном-неудачником (Bad Luck Brian) — описывать ситуацию, которая начинается позитивно, а развязка неожиданным образом становится негативной.

Для создания мема система использует рекуррентную нейросеть с двумя моделями, основанными на долгой краткосрочной памяти. Система также во многом основана на алгоритме для создания подписей к изображениям Show and Tell, который в 2015 году представили разработчики Google. Нейросеть обучили создавать мемы не только получая на вход картинку-шаблон, но и шаблон вместе с соответствующим ему названием.

Научить компьютер придумывать такие мемы самостоятельно (и так, чтобы они выглядели достоверно) можно с помощью алгоритмов глубокого обучения. Этим занялись Абель Пирсон Пятый (Abel L. Peirson V) и Мелтэм Толунэй (E. Meltem Tolunay) из Стэнфордского университета. Они разработали нейросеть, которую обучили на 400 тысячах изображений с сайта Meme Generator: из них извлекли 2600 уникальных шаблонов-картинок, каждому из которых соответствовало краткое описание (название мема, например, «злой школьник») и примеры кэпшенов.

Продлять видео прибавляя по 5 секунд можно неоднократно. Важно отметить что каждый последующий фрагмент видео требует промт. Согласно вашей идее вы отражаете в промте действия, которые должны происходить в каждом кадре при продлении. Если последний созданный фрагмент вам не понравится, найдите предыдущее сообщение в боте и введите другой промт.

А как же с качеством? Нейросеть качество видео генерирует хорошее, как видно по примерам выше. Так что даже самые старые мемы могут выглядеть неплохо. Вы можете наслаждаться видео, не переживая о трудностях редактирования. Просто загрузите ваш мем и наблюдайте, как он оживает на экране.

С помощью бесплатной нейросети, такой как kling ai, процесс анимации стал проще, чем когда-либо. Зачем тратить часы на создание видео мемов, когда нейросеть делает всё сама? Всего лишь загрузите ваши мемы картинки, и она оживит их в считанные минуты. Теперь каждый сможет стать автором красивого видео, не имея никакого опыта в видеомонтаже. Вы можете спокойно сидеть на диване, смотря любимый сериал, пока нейросеть генерирует ваше шедевральное творение.

Итак, подводя итог, можно сказать, что нейросеть — это не просто инструмент, а настоящая находка для тех, кто хочет добавить немного жизни в свои мемы. Смешные мемы, мемы с котами или мемы про собак — всё это теперь можно легко анимировать. И кто знает, возможно, ваш мем станет вирусным благодаря помощи нейросети. Так что, если вы ещё не пробовали, самое время открыть для себя мир видеомемов и анимации с помощью нейросети kling. Покажите видео друзьям, и пусть они тоже оценят, как технологии могут оживить даже самые простые картинки! Или используйте созданные видео для размещения в социальных сетях, это поможет разнообразить созданный вами контент и привлечь внимание. Удачи в творческом процессе!