Сведение треков при помощи генеративных нейронных сетей

Технология потребовала долгих лет разработки

История приложения началась в 2007 году. Три студента из разных стран мира разработали портативную DJ-приставку и назвали ее Pacemaker. Суть у ее была немного другая: сводить музыку нужно было самостоятельно, но габариты и простота управления давали возможность делать это любому желающему. Плеер представили на музыкальном фестивале Sónar в Барселоне. Его поддержали музыкальные журналы и оценили дизайнерскими премиями.

Синхронизация с медиатекой. Чтобы по максимуму воспользоваться возможностями Pacemaker Music, нужно иметь аккаунт на Spotify. С Apple Music приложение не синхронизируется, хотя и показывает вашу медиатеку. Как вариант — скачать треки на телефон и сделать микстейп из них: в приложении можно работать с сохраненными на устройство аудиозаписями.

Для каждого трека доступен небольшой набор инструментов для работы со звуком по специальной кнопке «FX». В бесплатной версии разработчики дают поработать только с частотами: можно регулировать верхние, средние и басы. Остальные эффекты вроде реверберации, нойза и 8-битной стилизации можно купить дополнительно. Каждый эффект стоит от 149 до 299 ₽ и приобретается с помощью покупки внутри приложения.

Если вы не сводите вживую для реальной публики, попробуйте делиться творчеством с виртуальной. Готовые микстейпы можно публиковать в глобальной ленте. Здесь в двух вкладках отображаются новые и популярные плейлисты. Как и в любой социальной сети, их можно лайкать и оставлять комментарии. А если понравился автор — подписаться на его обновления.

Но именно этот момент вы можете редактировать. Доступны два действия: постепенно увеличивать или уменьшать громкость дорожек или изменять диапазон сведения. Для этого есть два бегунка для каждого трека соответственно. Потяните вниз или вверх — поменяется громкость; переместите вправо или влево — изменится диапазон сведения.

Если однократно коснуться круга, откроется меню действий: можно добавить трек перед или после выбранной песни, удалить её или добавить в избранное. Песни можно менять местами прямо в списке: достаточно долгого касания по нужному треку, и приложение перейдет в режим сортировки.

Расширенная версия. У Pacemaker две версии: стандартная бесплатная и расширенная с подпиской. В расширенной версии разработчики предлагают детальную работу с диапазоном сведения: более точный инструмент для обрезки трека и редактирование громкости всего трека. Также в качестве бонуса на вашей аватарке в профиле появится специальный значок VIP-пользователя.

Рис.2. Десять образцов ритмических шаблонов в датасете. Инструменты сверху вниз: 1) Большой барабан 2) Малый барабан. 3) Закрытый хай-хэт 4) Открытый хай-хэт. 5) Удар по ободу барабана. 6) Колокольчик. Цвет пикселей соответствует громкости MIDI сигнала. Верхняя строка: Электро-Фанк; Две средних строки: интеллектуальная танцевальная музыка; Две нижних: Техно.

Что такое Pacemaker Music

Идея в том, что интерполяция в неизвестную область между шаблонами даёт лучшие результаты, чем интерполяция внутри шаблонов. Возникает вопрос: всегда ли это верно? Оказывается, да. Ответ кроется в теории глубокого обучения. Интерполяция в неизвестную область работает лучше из-за нелинейного отображения входных данных в неизвестную область и из неизвестной области на выход системы. В рамках работы генерация взвешенного среднего двух шаблонов даёт перекрёстное затухание (плавное уменьшение громкости одного трека и одновременное увеличение громкости другого). В сущности, данный подход является интерполяцией в закодированном пространстве, т.е. просто линейной комбинацией двух закодированных шаблонов.

Недавние работы в области глубокого обучения обнаружили методы решения проблемы плавного перехода между треками. Tijn Borghuis и коллеги предлагают генеративный подход для создания ритмического шаблона (барабанного бита), который нужен для непрерывного перехода между треками.

Суть предлагаемого метода в следующем: два ритмических шаблона (каждый представлен как 6х64 массив) кодируются с использованием обученной VAE модели, а затем производится интерполяция между закодированными представлениями этих двух шаблонов. После этого оба шаблона декодируются и на выходе получаем плавный переход между ними.

Для использования метода авторы создали датасет ритмических рисунков трёх популярных электронных направлений: электро-фанк, техно и интеллектуальной танцевальной музыки (IDM), который содержит 1–1.5 часа записи для каждого из жанров. Датасет состоит из 1782 ритмических рисунков. Каждый шаблон представлен как двумерный массив, ось Y которого содержит 6 ударных инструментов, а ось X — время. Размер массива — 6х64 элемента, так как все рисунки имеют длину 64.

Как быть, когда хочется ставить свою музыку на вечеринке и при этом не стоять постоянно за пультом? Pacemaker Music — приложение, которое само сведет любимые песни в гармоничный микстейп, пока вы занимаетесь своими делами. Узнайте о нем подробнее в нашем обзоре.

В 2014 году вышло одноименное приложение для iPad. Разработчики сразу стали сотрудничать со Spotify, чтобы у пользователей был доступ к миллионам треков. В этой версии представили и функцию Autopilot, которая делает приложение уникальным — возможность автосведения треков без участия диджея. Наконец, в 2015 вышли приложения для iPhone и Apple Watch.