Яндекс создал искусственный интеллект, пишущий музыку

Контакты

На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», находящихся на территории Российской Федерации).

Когда у нас есть несколько таких представлений, построенных разными сетями, возникает логичный вопрос, а как нам их сравнивать? Здесь снова не обойтись без помощи человека. Мы предлагаем людям послушать исходный трек и пару похожих, по мнению нейросетей, треков. А затем спрашиваем, какой трек из этой пары больше похож на исходный. После этого мы можем измерить, насколько точно решение алгоритма совпадает с оценкой людей и лучший из алгоритмов внедрить в «Яндекс.Музыку».

«Яндекс.Радио» — сервис, который предлагает выбирать станции под настроение и лайками или дизлайками оценивать звучащую музыку. Чтобы сформировать такие станции на основе одного лишь абстрактного понятия настроения необходима помощь нейросетей. Именно они помогают из миллиона композиций отобрать треки, которые могут звучать на конкретной станции. Для жанрового радио такие треки отобрать довольно легко: достаточно, например, взять наиболее популярные песни в определенном жанре среди слушателей «Яндекс.Музыки» и предложить их пользователю.

Ранее в «Яндекс Музыке» появился альбом с колыбельными народов России под названием «Туры в культуры». В частности, в сборник попали традиционные песни удмуртов, якутов, ненцев и других жителей страны. Колыбельные исполнили современные артисты, поющие на национальном языке.

Во время разработки технологий компьютерного зрения (те самые технологии, которые понимают, что изображено на картинке) мы в «Яндексе» заметили, что в процессе обучения нейросеть строит некоторое свое внутреннее представление изображения, и похожие представления соответствуют похожим по смыслу изображениям. Например, нейросеть может «разглядеть» в разных картинках белых кошек. Мы решили поступить аналогичным образом с музыкой. Казалось бы, что мешает нам просто брать и сравнивать разные треки: вот тут перед припевом бит ускоряется похожим образом, а здесь такая же партия саксофона в конце? Проблема в том, что музыки в мире много, а это значит, что есть и огромное число параметров, каждый из которых не так очевиден, как наличие в песни саксофонной партии, но при этом не менее важен.

Эта система искусственного интеллекта, как и многие другие проекты такого рода, состоит из множества связанных друг с другом слоев «нейронов. Каждый из них анализирует простые элементы, из которых состоит музыка великих композиторов, и обладает памятью, позволяющей им учитывать при анализе и «сочинении» музыки то, что они делали в недавнем прошлом, и то, как часто они связывались с другими нейронами и слоями сети.

Но что делать, если нужно отобрать треки для «весенней» станции? И что вообще понимать под «весенним» треком? На первый взгляд кажется, что ответить на второй вопрос могут только люди, поэтому для начала мы используем собственный сервис «Яндекс.Толока», позволяющий поставить большое количество несложных задач, за выполнение которых пользователи получают деньги. В нем мы просим пользователей сказать, считают ли они какие-то треки из нашей библиотеки весенними, и делаем из этого выборку. После этого в игру вступают нейронные сети, для которых такая выборка служит положительным примером, и каждую песню в ней они раскладывают буквально по кирпичикам. В итоге на основе этой выборки нейросеть способна оценить на соответствие теме и другие треки из нашей библиотеки.

Для того, чтобы превратить эту систему в настоящего композитора, Тихонов и Ямщиков «скормили» ей огромное количество произведений Моцарта, Брамса, Бетховена и других великих композиторов, в том числе и Скрябина. В общей сложности ИИ проанализировал около 4 гигабайтов MIDI-файлов, электронных наборов «нот», что оставляет около 600 часов музыки, прежде чем он приобрел способность самостоятельно сочинять музыку.

Настроение в цифрах

В «Яндексе» машинное обучение (в том числе и нейросети) используется повсеместно: оно помогает лучше понимать смысл поисковых запросов пользователей, строить оптимальные маршруты в «Навигаторе», с высочайшей точностью прогнозировать погоду и многое другое. А в технологии «Диско» (от слова discovery), которая находится под капотом «Яндекс.Радио», нейросети помогают находить новую интересную для пользователя музыку и подсказывать песни, которые будут созвучны его настроению.

Совсем другое дело создавать музыку с нуля: здесь мы опускаемся на иной уровень абстракции, и такой задаче сеть обучить гораздо сложнее. Только представьте: одна секунда звука в виде волны в цифровом виде это 44 100 чисел. И чтобы сочинять музыку, алгоритм должен научиться понимать зависимости между этими числами на разных временных масштабах. Допустим, мы научились генерировать короткие и неплохо звучащие отрывки, но сложить целое произведение из них очень сложно. Иными словами, этюд на фортепьяно и симфония — это большая разница, и до сочинения нейросетями симфоний еще довольно далеко. Зато они уже неплохо справляются с имитацией авторского стиля в текстах песен, что можно увидеть на примере «Нейронной обороны», проекта сотрудников Яндекса, которые научили нейросеть сочинять тексты песен в стиле Егора Летова, а затем положили их на музыку.

Русский композитор и пианист Александр Скрябин родился 6 января 1872 в Москве. Он является первым композитором, использовавшим цвето- и светомузыку при создании своих произведений, создавшим таблицу соответствия цветов определенным тональностям. В 1910 году для симфонического оркестра расширенного состава, фортепиано, органа, хора, света Скрябин написал «Поэму огня», которая считается одним из самых значительных его творений.

В последние годы, благодаря развитию математики и росту вычислительных мощностей компьютеров, у ученых появилась возможность создавать сложные нейросети, системы искусственного интеллекта, способные исполнять нетривиальные задачи и даже «мыслить» креативно, создавая новые образцы искусства и технологий.

Для решения этой задачи, как и в случае с «Радио», мы использовали метод обучения с учителем. Мы даем нейросети пример: вот это трек Can’t Believe It, его спектрограмма (мощность звукового сигнала в разные отрезки времени) выглядит так, а теперь определи, почему он считается танцевальным. Нейросеть понимает, например, что в какой-то момент в треке много высоких частот звука, а в другой момент, наоборот, преобладают низкие. И она начинает искать в спектрограмме другие такие зависимости. Это могут быть и не совсем понятные нам колебания звука, которые не факт, что действительно определяют наш запрос, а могут быть вполне очевидные вещи (например, смена ритма в середине песни). В итоге нейросеть переводит все эти особенности в цифры, а сами треки получаются представлены относительно небольшим набором чисел (от нескольких десятков до пары тысяч). Математически это представление выглядит как вектор, и теперь нам нужно всего лишь найти другие песни, чьи вектора будут похожи на вектор нашего трека.

Мария подтвердила сходство пьес музыкальной нейросети с творчеством композитора-«юбиляра». Используя этот ИИ, программисты Яндекса и Чернова подготовили музыкальное произведение в стиле Скрябина, которое было исполнено на открытии YaC 2017, ежегодной конференции Яндекса, под аккомпанемент камерного оркестра. Действие сопровождалось видеорядом, свет и графика в котором также созданы машиной — они подчиняются музыке, а партия терменвокса точно воспроизводит цвета по цветовой шкале первооткрывателя цветомузыки.

Чарты музыкальных предпочтений слушателей «Яндекс.Музыки» показывают, что пользователи все чаще ищут новую музыку, а не ставят на повтор проверенных Scorpions или Metallica. И сегодня одна из самых сложных и интересных задач для музыкальных сервисов — научиться подбирать музыку под настроение. Согласитесь, на мосту весеннего Будапешта и в трамвае заснеженного Екатеринбурга мы, скорее всего, выберем совершенно разные треки. Найти музыку, которая понравилась бы пользователю в определенный момент времени нам помогают нейросети.

Дальше начинается самое интересное. Когда у нас на руках есть готовая «весенняя» радиостанция, нам уже проще создавать новые подборки музыки, пусть даже и полностью противоположные по настроению: например, осеннюю или дождливую. А все потому, что нейросеть, на самом деле, понимает музыку в очень широком смысле. Настолько, что для человека такое понимание довольно сложно представить. Подкрепленная знанием о музыкальных жанрах и их составляющих частях, она видит даже такие особенности треков, которые мы никогда бы не заметили, но при этом они играют важную роль в создании настроения музыки. И этих особенностей очень и очень много. Жонглируя ими, наша заряженная нейросетями рекомендательная система с каждой новой радиостанцией все точнее определяет настроение треков, а для создания новых радиостанций требуется уже не так много пользовательских определений настроения, как в самом начале (хотя без них все равно не обойтись). Говоря простыми словами, нейросеть по-настоящему понимает, из чего состоит, например, восприятие «дождливости» у человека и может выразить числами то, что мы никогда бы не выразили словами.

Наши проекты

МОСКВА, 30 мая – РИА Новости. Программисты «Яндекса» создали необычную нейронную сеть, которая умеет сочинять музыку и создавать ее в стиле тех произведений, которые писали известные композиторы прошлого. Итоги работы и описание этой системы искусственного интеллекта были опубликованы в электронной библиотеке arXiv.org.

Искусственные нейронные сети — один из методов машинного обучения, который стал особенно популярен в последние годы. Нейросети прекрасны тем, что им достаточно показать, условно, что такое хорошо, а что такое плохо, чтобы получить желаемый результат. Например, нейронную сеть можно обучить распознавать на изображениях те или иные объекты — скажем, автомобили или собак. В ходе обучения ей показывают огромное количество картинок, где есть нужные объекты (положительные примеры) и где их нет (отрицательные примеры). В результате нейросеть получает способность верно определять нужные объекты на любых изображениях.

При этом нейросеть готова прислушиваться ко вкусам пользователя. «Система рекомендаций “Яндекс Музыки” еще и отлично понимает, из каких частей состоит “Нейромузыка”, и может ориентироваться на конкретные сэмплы внутри нее», — поясняют в пресс-службе. Так, подписчики сервиса могут ставить лайки и дизлайки в процессе прослушивания, а нейросеть будет стараться еще лучше угодить музыкальным предпочтениям пользователя.

Отмечается, что в мелодии нет слов и пауз, которые могли бы отвлечь человека от важного дела. В основе нейромузыки лежат партии, которые были сочинены нейросетью и записаны на виртуальных инструментах. Они представляют собой мелодии в жанрах рок, хип-хоп, поп, электроника и др. Из них создаются десятки тысяч композиций и переходов, которые образуют миллионы вариаций. В итоге в реальном времени алгоритмы генерируют бесконечную мелодию.

«В прошлом году я познакомилась с Андреем Себрантом, руководителем отдела маркетинга сервисов компании Яндекс. В процессе общения с командой Яндекса стали рождаться новые идеи, и Андрей предложил разработать неординарную концепцию открытия очередной конференции YaC с живой музыкой и технологиями на основе идей Александра Скрябина, которому в этом году исполняется 145 лет», — рассказывает Мария Чернова, композитор и музыкальный эксперт.

По задумке создателей, мелодия будет играть фоном, пока пользователь занимается творчеством, учится, работает, тренируется и др. В «Нейромузыке» доступны три режима: «спокойствие», «бодрость» и «вдохновение». Новую функцию уже могут оценить подписчики «Музыки» и обладателям «Станции». Последним нужно произнести команду «Алиса, включи „Нейромузыку»».