Tuning the body to music
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Author
Date
2014-02-10
Department
Major/Subject
Laskennallinen ja kognitiivinen biotiede
Mcode
S3001
Degree programme
BIO - Bioinformaatioteknologia
Language
en
Pages
60 + 6
Series
Abstract
Tämän työn aiheena ovat äänen psykoakustiset ominaisuudet, musiikkiin liitettävät tunteet, ja niiden aiheuttamat fysiologiset vasteet. Tavoitteena on kehittää reaaliaikainen järjestelmä psykoakustisten ominaisuuksien mallintamiseksi kuuntelijan fysiologisten vasteiden perusteella. Tämän teknologian mahdollisia käyttökohteita ovat fysiologisesti ja tunteellisesti tietoisten käyttöliittymien kehittäminen, sekä taiteellinen ilmaisu. Työ alkaa katsauksella autonomiseen hermostoon, affektiiviseen tietotekniikkaan ja musiikin tiedonhakuun. Metodiosiossa kartoitetaan tunnettuja työkaluja ja menetelmiä fysiologisten signaalien ja psykoakustisten ominaisuuksien analysoimiseksi. Koska saatavilla ei ollut työkaluja ihon sähkönjohtavuuden, sydänsähkökäyrän ja hengityksen reaaliaikaista analyysiä varten, kehitettiin tätä tarkoitusta varten uusi tietokoneohjelmisto. Äänen analyysi ja regressiomallinnus toteutettiin olemassaolevilla työkaluilla. Arviointitutkimuksen avulla pyrittiin selvittämään regressiomallin toimivuus. Validoidussa paradigmassa monen muuttujan lineaarista regressiomallia ja neuroverkkomallia verrattiin vakiomalliin. Lopputulos oli sekalainen. Vakiomalli oli tarkempi kuin kaksi muuta mallia, mutta neuroverkkomalli saavutti merkittäviä korrelaatioita ennusteiden ja kohdearvojen välille. Päätösluvussa teen ehdotuksia nykyisen järjestelmän edelleenkehittämistä varten, sekä ehdotan mahdollisia jatkotutkimuksen aiheita.}The topic of this work is determining the relationship between the psychoacoustic qualities of sound, musical emotions, and their physiological response patterning. The goal is the development of a real-time system for predicting psychoacoustic features, derived from a songs audio signal, with physiological measurements of the listener. Possible uses for this technology are in the creation of physiologically and affectively aware user interfaces, as well as in artistic expression. The background chapter consists of an overview of the autonomous nervous system, affective computing, and music information retrieval. In the methods chapter the available tools and methods for the analysis of physiological signals and psychoacoustic features from music are evaluated. Because no readily available software is identified for real-time analysis of electrodermal activation, electrocardiography and respiration inductance plethysmography, a new software application is developed for this purpose. Audio analysis and regression modeling are approached using existing tools. An evaluation study is conducted to determine the efficacy of the regression model. In a validated paradigm, a multiple linear regression model and an artificial neural network model are tested against a constant regressor, or dummy model. The results of the evaluation study are mixed. The dummy model outperforms the other models in prediction accuracy, but the artificial neural network model achieves significant correlations between predictions and target values. In the conclusion chapter I suggest improvements to the current system and possible future directions for this research.Description
Supervisor
Sams, MikkoThesis advisor
Makkonen, TommiVatanen, Tommi
Keywords
affective computing, physiological computing, psychoacoustics, music information retrieval, MIR, music emotion recognition, physiology, autonomic nervous system, ANS, real-time, tunteet, musiikki, fysiologia, autonominen hermosto, reaaliaikainen, psykoakustiikka
