Плясать под ИИ-дудку: как музыканты используют нейросети

Adobe представила «фотошоп» для редактирования музыки и ее создания на основе текстовых описаний

Система использует модель искусственного интеллекта, которая обучена на общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки. В качестве входных данных используются ноты: модель учится играть по ним, предсказывая характеристики исполнения — локальный темп, позицию, длительность и громкость. Результатом является исполнение произведения в определенном стиле.

Технический директор направления ИИ Softline Digital Максим Милков рассказал «Известиям», что набор функций ИИ-сервисов для музыкантов достаточно обширный. — Это и генерация музыки по «подсказкам» в виде текстовых описаний, видео- или аудиофрагментов. Можно даже напеть мелодию и попросить нейросеть создать по данному мотиву целую композицию. Кроме того, силами искусственного интеллекта можно делать постобработку и мастеринг звуковых дорожек, — поделился Милков.

На январь 2019 года Popgun имеет искусственный интеллект (или, лучше сказать, группу искусственных интеллектов), который может подыграть человеку на пианино, на басу или на барабанах (или на всем сразу). Если же мелодия снабжена человеческим вокалом, то разработанный алгоритм может сочинять подходящую инструментальную партию, а также сводить несколько музыкальных отрывков в один и производить финальную обработку звучания.

С момента релиза алгоритма NSynth, Magenta продолжала экспериментировать с различными музыкальными интерфейсами и инструментами, чтобы сделать вывод алгоритма NSynth более понятным для обывателя и воспроизводимым. В рамках этого исследования они создали NSynth Super в сотрудничестве с Google Creative Lab. Это экспериментальный инструмент с открытым исходным кодом, который дает музыкантам возможность создавать музыку, используя новые звуки, генерируемые алгоритмом NSynth из 4-х различных базовых исходных звуков. Затем прототипом опыта (на фото выше) поделились с небольшим сообществом музыкантов, чтобы лучше понять, как они могут использовать его в своем творческом процессе. Например, можно посмотреть [12] , как лондонский музыкальный продюсер Гектор Плиммер исследует звуки, сгенерированные NSynth Super.

27 марта 2019 года появилась информация о том, что Warner Music заключила первый в истории контракт с исполнителем-алгоритмом Endel, создающим музыкальные композиции под настроение пользователя в текущий момент. По условиям контракта, в течение года нейросеть Endel выпустит 20 уникальных альбомов. На март 2017 года пять альбомов уже доступны для скачивания в iTunes, при этом все альбомы созданы, как выражаются разработчики, «нажатием одной кнопки».

Первой, кто заговорил о попытках написания машинной музыки, была изобретательница двоичного кода Ада Лавлейс. В 1843 году она написала, что аналитическая машина Чарльза Бэббиджа может сочинять осмысленные отрывки музыки любой сложности и длины. Нынешняя инди-поп-звезда Граймс (Клер Элис Буше) разрешила использовать свой голос для генерации ИИ-композиций в обмен на половину гонорара. Область применения и возможности ИИ почти безграничны. Искусственный интеллект способен генерировать музыкальные композиции, интегрировать в них голоса давно умерших исполнителей и создавать неизвестные ранее музыкальные жанры. В России наибольшей популярностью пользуются программы AIVA, Mubert, MuseNet и онлайн-сервис по созданию ремиксов TheWubMachine. Об этом «Известиям» рассказала композитор, старший преподаватель НИУ ВШЭ Евгения Евпак.

Искусство нейросетей

ИИ может применяться на разных этапах создания музыкального произведения: от получения необычных синтезированных звуков и новых инструментов до генерации самой мелодии. При этом человек, создающий такую музыку, может выбирать различные инструменты и интегрировать их в свой уникальный творческий план. Этим поделился с «Известиями» доцент факультета компьютерных наук НИУ ВШЭ Дмитрий Сошников. — Основное, что могут делать нейросети, — извлекать какие-то паттерны из входных данных, на которых такие модели обучаются. Если мы будем обучать нейросеть на последовательностях нот, она будет генерировать мелодии, если на звуковых волнах или спектрограммах звучания различных инструментов — она будет генерировать звучащие по-новому инструменты, — подчеркнул эксперт.

В мае 2016 года компания Google даже запустила специальный проект Magenta, основная задача которого заключается в изучении креативных возможностей нейронной сети. Ученые планируют осваивать премудрости творческого процесса постепенно: сначала будет разработан алгоритм для создания музыкальных произведений. Затем настанет очередь видео и изобразительного искусства. Данные о результатах работы планируется размещать в открытом доступе на GitHub.

В июле 2024 года в России запущена открытая нейросеть для создания музыки, разработанная инженерами пермской компании «Дабл Ю Экспо». Новая технология на базе искусственного интеллекта способна генерировать музыкальные произведения в современных жанрах, создавать уникальные тексты песен и настраивать композиции под вкусы целевой аудитории. Подробнее здесь.

Адвокат и партнер ООО «Правовая группа» Владимир Шалаев рассказал, что в настоящее время вопрос авторского права на ИИ-произведения в России и в мире является дискуссионным. В разных странах имеются разные принципы, регулирующие результаты деятельности нейросетей, при этом большинство признают право авторства за пользователем. — В России автором может быть только физическое лицо. А вопрос о том, кто будет автором — создатель нейросети или пользователь, — дискуссионный. При этом нельзя исключать, что результатом деятельности искусственного интеллекта может быть переработка ранее загруженной в него информации и что это может нарушать авторские права авторов исходных произведений. Мне видится, что право авторства должно быть за пользователем нейросети или результат такой деятельности не должен охраняться авторским правом в принципе, — считает Владимир Шалаев.

А вот на следующем этапе сочинения, система требует вмешательства человека. Пользователь может сохранить понравившуюся часть получившейся мелодии, и отказаться от остального, а затем снова запустить программу в ожидании следующих удачных сгенерированных вариаций. И так можно делать до тех пор, пока не появится мелодия и последовательность аккордов, которыми вы будете довольны.

Преподаватель НИУ ВШЭ Евгения Евпак рассказала «Известиям» об эмпирическом исследовании, которое проводилось на основе экспертных интервью ведущих московских академических композиторов. Из результатов исследования следует, что сгенерированный ИИ-контент нельзя приравнивать к искусству. Большинство экспертов сходятся во мнении, что, как правило, генеративная музыка не вызывает чувственной реакции слушателя. Она безэмоциональна, композиционно и стилистически структурирована с ошибками мелодического интонирования и логики гармонизации, а главное — в большинстве своем примитивна. ИИ-музыка интересна лишь как некий «скелет» — структура, которая подлежит дальнейшей проработке живым человеком со сформированным художественным вкусом.

По мнению эксперта, дальнейшая трансформация рынка музыки и шоу-бизнеса будет происходить ускоренными темпами. Как известно, в Китае и Корее концерты полностью виртуальных исполнителей — уже обычное дело, а число фанатов «цифровых» кумиров исчисляется миллионами. Теперь эта тенденция, полагает аналитик, будет распространяться и на более консервативном западном рынке.

Ожидается [2] , что в мировом масштабе доход компаний от использования искусственного интеллекта составит $1,2 трлн по итогам 2018 года, что на 70 процентов больше по сравнению с 2017 годом, а в 2022 году, по прогнозам, эти выгоды достигнут $3,9 трлн. И такой быстрый рост уже далеко ни для кого не тайна: искусственный интеллект можно назвать определяющей технологией 21-го века. Искусственный интеллект отличается от традиционных программ анализа данных своей способностью учиться распознавать шаблоны с помощью алгоритмов машинного обучения, а затем принимать автономные решения на основе этих шаблонов, будучи явно не запрограммированным на это.