Conductor Follower: Controlling sample-based synthesis with expressive gestural input
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2012
Department
Major/Subject
Akustiikka ja äänenkäsittelytekniikka
Mcode
S-89
Degree programme
Language
en
Pages
[9] + 63 s.
Series
Abstract
Vuosien mittaan on kehitetty useita järjestelmiä, jotka seuraavat kapellimestarin liikkeitä, ja soittavat musiikkia keräämänsä tiedon perusteella. Koska orkesterinjohto on pohjimmiltaan kommunikaatiota kapellimestarin ja muusikkojen välillä - sisältäen muutakin kuin eleiden kautta kommunikointia - on selvää, että ongelman täydellinen hallinta on hyvin monimutkaista. Tietokonepeliteollisuuden viimeaikaisen kehityksen myötä kuluttajatason liikesensoreita on helposti saatavilla, ja niille on helppo kehittää ohjelmistoja. Siksi ne ovat hyvin varteenotettava vaihtoehto kapellimestariseuraajan syötteen tuottamiseksi. Tässä tutkimuksessa suunniteltiin ja toteutettiin kyseisenlaista liikesensoria, sekä korkealaatuista sample -pohjaista syntetisaattoria käyttävä kapellimestariseuraaja. Nämä komponentit antavat hyvän perustan luonnolliselle käyttäjäkokemukselle, eikä niitä ole aikaisemmin käytetty vastaavanlaisissa sovelluksissa. Työn tulos on VST-liitännäinen, joka käyttää MIDI-tiedostoja syötteenään. Oikeilla asetuksilla liitännäistä on mahdollista käyttää lähes minkä tahansa samplepohjaisen syntetisaattorin kanssa. Järjestelmän toimintaa arvioitiin ammattikapellimestarin avustuksella, ja vaikka järjestelmän ekspressiiviset ominaisuudet ovat jokseenkin rajoittuneet, sopivilla asetuksilla sen temponseuraamisominaisuuksien todettiin muistuttavan oikeaa orkesteria.Over the years, several systems that follow conductor movement and play back a score accordingly have been implemented. Since conducting is essentially communication between the conductor and the musicians - including more than only gestural communication - it is clear that the problem is very complex to master completely. Recent developments in the computer gaming industry have made consumer grade motion sensing devices commonly available and easy to use in software development, making such a device an intriguing choice for using as the input of a conductor follower system. A system using such a device together with a high quality sample based synthesis engine was designed and implemented. These building blocks provide a solid foundation for a natural user experience, and have not been previously used in a similar way. The result is a VST plugin which uses MIDI scores as input, and may be configured to work with any sample based synthesis engine supporting patch switching via keyswitch events. The system was evaluated by a professional conductor, and while the expressive features of the system are somewhat limited, the tempo following functionality was concluded to resemble a real orchestra when adjusted correctly.Description
Supervisor
Lokki, TapioKeywords
conductor follower, motion capture, musical gestures, score following, expressive synthesis, kapellimestariseuraaja, liikeenseuranta, musiikilliset eleet, partituurin seuranta, ekspressiivinen synteesi
