Музыка, картины и тексты нейросетей. Девять удачных примеров

«Евровидение» для искусственного интеллекта

В 2020 году певица Grimes, бывшая девушка Илона Маска и большая поклонница технологий, создала бесконечную колыбельную для своего сына, дав нейросети в приложении Endel за основу свою композицию. Если слушать эту музыку в Endel, она получается разной, подстраивается под время суток или погоду. Это красивая умиротворяющая музыка, под которую можно медитировать или засыпать. Вот пример.

По такому же принципу проводится и музыкальный тест Тьюринга: нейросеть проходит его, если произведение принимают за созданное человеком. Например, так протестировали [14] алгоритм DeepBach. Более 1,6 тыс. человек должны были послушать музыку и понять, где работа алгоритма, а где — Баха. Как оказалось, сделать это непросто: 50% испытуемых приняли работу компьютера за творчество композитора.

Сегодня мы часто встречаем новости с заголовками вроде: «Нейросеть написала картину, музыку, сценарий для фильма». Не всегда получается хорошо. Обычно это убеждает нас в том, что творческим специалистам не стоит бояться будущего, где программы делают их работу. Тем более что такие проекты часто затевают, играя с технологиями ради шоу. Но иногда выходит то, что люди находят прекрасным, сохраняют в плейлисты или готовы покупать по высокой цене

Нейросеть с открытым программным кодом Jukebox [8] была выпущена компанией OpenAI в 2020 году. С помощью этой программы можно имитировать разные музыкальные инструменты и даже человеческий голос. Эта нейросеть работает через создание аудиосигналов, а не нот, поэтому требует больших мощностей. Одна минута трека генерируется несколько часов. Чтобы пользоваться программой, необходимо обладать знаниями в программировании. Для обучения алгоритма в компании использовали 1,2 млн песен. Нейросеть бесплатна, в OpenAI предоставляют лицензию на использование в некоммерческих целях.

При создании аудиосигналов написанием только нот программа не ограничена, здесь используются ритм, тембр, тональность. Но есть и большой минус для повседневного использования: у ПК, на котором будет запущена такая нейросеть, должна быть большая вычислительная мощность.

Сервис Amper Music [10] очень прост и выглядит как облачная платформа. По заданным параметрам можно генерировать треки для фильмов, игр, рекламы. Можно выбрать из двух режимов работы: в простом — сгенерировать несложный трек по разным параметрам (например, продолжительность, эмоциональность, стиль); в сложном — использовать сгенерированные отрезки, выбирать музыкальные инструменты, темп. Есть бесплатная версия. Стоимость платной подписки — от $5, есть несколько тарифных планов с разным функционалом.

Jukebox

Чтобы сгенерировать трек в Mubert [11], нужно выбрать жанр, стиль и настроение мелодии или составить текстовый запрос на английском. В первом случае композиция будет готова уже через несколько секунд, чуть больше времени потребуется на генерацию с помощью текстового запроса. Очень простая в использовании программа; треки можно создавать как для личных, так и для коммерческих целей — в зависимости от тарифа. Стоимость — от $14, есть бесплатная версия.

Чтобы создать музыку в этой нейросети, потребуется минимальное участие человека. Нужно лишь указать несколько жанров и скорость. Регистрация очень простая, через аккаунт Google. Soundful [7] подойдет для тех, кому нужен контент для соцсетей или фоновая музыка, например для рекламных роликов. Стоимость подписки — от $9,99 в месяц.

Чтобы определить, действительно ли хорошее произведение смог создать компьютер, можно использовать тест. Его создал ученый Алан Тьюринг в середине прошлого века. Тест работает так: человек взаимодействует и с компьютером, и с другим человеком, задает им вопросы. Тест пройден компьютером в том случае, если тот, кто спрашивает, не может отличить по ответам программу от человека.

Очень простая программа, в которой можно вписать ключевые слова, жанр, темп будущего произведения и нейросети этого будет достаточно. Soundraw [6] предложит несколько вариантов, понравившийся можно доработать. Подойдет для создания аудиоконтента для роликов на YouTube, кино, рекламы, подкастов, видеоигр, социальных сетей. Стоимость — от $16,99 в месяц.

Эта нейросеть появилась еще в 2016 году и с того времени продолжает совершенствоваться. У AIVA [5] даже вышел собственный альбом. Алгоритм также сочинил композицию, которая используется в видеоигре Pixelfield. Стартап запускали специально для написания мелодий для рекламы или видеоигр. Нейросеть создает собственные треки, корректирует готовые, пишет несколько вариаций одной песни. Стоимость — от €11 в месяц, разные тарифы зависят от целей.

Эта нейросеть [13] создает звуковой пейзаж. Например, если загрузить фото медведя в лесной чаще, то вы услышите, как зверь рычит, а на фоне шумит листва деревьев, а по фото горной реки нейросеть воспроизведет шум волн. Алгоритм придумали в Японии. Пользоваться Imaginary Soundscape можно бесплатно.

«ВКонтакте» анонсировала выход сериала, сценарий которого написан нейросетью». «В России вышел сборник рассказов, написанный в соавторстве с нейросетью». «Нейросеть написала музыку о российских городах». Это далеко не полный список новостей про эксперименты с искусственным интеллектом в творческой индустрии только в мае.

Создание нот: нейросеть выстраивает последовательность аккордов, нот, звуков, но такой подход не позволяет работать с тональностью звука и не может воспроизвести человеческий голос. В результате можно получить музыкальную партитуру, последовательность событий MIDI (распространенный стандарт цифровой звукозаписи), простую мелодию, последовательность аккордов, текстовое представление — символическую форму, по которой можно сыграть произведение.