Real-time Symbolic Music Generation using Deep Learning Methods — An Interactive AI-based Improvisation System for Musicians

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Date

2024-08-19

Department

Major/Subject

Machine Learning, Data Science and Artificial Intelligence

Mcode

SCI3044

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

80 + 3

Series

Abstract

Symbolic music generation methods generate music using notation-based representations that contain explicit information about the musical content. While most deep learning based symbolic music generation methods are concerned with generating long passages of music or entire compositions, few have studied its application in a real-time improvisation context. This thesis explores the application of deep learning methods, especially Transformer models, in real-time symbolic music generation, focusing on the task of generating melodies based on given chord progressions. Real-time music generation AI empowers musicians to engage in a fascinating form of creativity and musicianship that has traditionally required the participation of peers or intelligent beings. This thesis also contributes a music improvisation system that allows musicians to interact and improvise with the melody generation model in real-time through a musically intuitive user interface. The music improvisation setting introduces new challenges, most notably real-time inference speed, input context size constraints and limited musical input context given the spontaneous nature of music improvisation. To address these challenges, multiple novel techniques are proposed for tokenizing data, model training strategy and evaluating output quality. Extensive experiments are conducted to identify the ideal properties of a real-time improvisation model in both CPU and GPU environments. Results show that the proposed encoder-decoder Transformer models are able to generate believable and interesting melodies in real-time with minimal impact on music domain objective metrics, such as harmonic consistency. The model was put to the test in the real-time improvisation environment, with the solution being deployed online for musicians to test. Received feedback confirmed the plausibility of an online music improvisation system with an AI music generation model.

Symbolisen musiikin generointimenetelmät tuottavat musiikkia notaatioon perustuvien esitysten avulla, jotka sisältävät eksplisiittistä tietoa musiikillisesta sisällöstä. Vaikka suurin osa syväoppimiseen perustuvista symbolisen musiikin generointimenetelmistä keskittyy pitkien musiikkikatkelmien tai kokonaisien sävellysten luomiseen, harvat ovat tutkineet sen soveltamista reaaliaikaiseen improvisointiin. Tämä diplomityö tutkii syväoppimismenetelmien, erityisesti Transformer-mallien, soveltamista reaaliaikaiseen symbolisen musiikin generointiin. Malli keskittyy luo- maan melodioita siihen syötettävien sointukulkujen pohjalta. Diplomityö toteuttaa myös improvisointijärjestelmän, jossa muusikko voi olla reaaliaikaisessa vuorovaikutuksessa palvelimella olevan improvisointimallin kanssa musiikillisesti intuitiivisen käyttöliittymän kautta. Spontaanin luonteensa vuoksi improvisointitilanne tuo mukanaan uusia haasteita, joista merkittävimmät ovat mallin ennustusnopeus, syötteen pituusrajoitukset sekä rajoitettu musiikillinen konteksti. Näiden haasteiden ratkaisemiseksi diplomityössä ehdotetaan useita uusia tekniikoita, jotka liittyvät musiikkidatan tokenisaatioon, mallin koulutusstrategiaan ja tuotetun musiikin laadun arviointiin. Lisäksi suoritetaan laajoja kokeita ihanteellisen reaaliaikaisen improvisointimallin toivottujen ominaisuuksien määrittämiseksi sekä CPU- että GPU-ympäristöissä. Tulokset osoittavat, että ehdotetut koodaus-dekoodaus Transformer-mallit pystyvät reaaliaikaisesti tuottamaan uskottavia ja mielenkiintoisia melodioita mahdollisimman pienillä vaikutuksilla musiikin objektiivisiin mittareihin, kuten harmoniseen johdonmukaisuuteen. Testi toteutettiin reaaliaikaisessa improvisointiympäristössä, jossa kehitetty malli tuotiin muusikoiden testattavaksi. Testaajilta kerätty palaute vahvisti, että verkossa toimiva AI-pohjainen improvisointijärjestelmä on toteutettavissa ja kiinnostava myös musiikoille.

Description

Supervisor

Kaski, Samuel

Thesis advisor

Hyvönen, Ville

Keywords

symbolic musicgGeneration, real-time music generation, deep learning, transformer, music improvisation

Other note

Citation