Tilaäänitekniikat sisäisten äänien esittämisessä virtuaaliympäristöissä
Loading...
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2023-01-23
Department
Major/Subject
Acoustics and Audio Technology
Mcode
ELEC3030
Degree programme
CCIS - Master’s Programme in Computer, Communication and Information Sciences (TS2013)
Language
fi
Pages
54 + 4
Series
Abstract
The inner experience of a person comprises various sounds which rather than originating from sources in their environment, form as a result of internal processes within the brain. Examples of such sounds are, for instance, verbal thoughts, auditory hallucinations, and sound in dreams. These sounds have been represented in films and audiovisual media in numerous ways. Virtual reality environments engage with human perception in a fundamentally different way compared to traditional films, and it is therefore sensible to consider whether the conventional approaches are suitable for VR environments. This thesis approaches the problem through a two-stage study. The first stage uses a questionnaire to form a baseline understanding of the topic. In the second stage, a listening test was conducted in VR to apply the findings made in the first stage in a practical environment. The listening test was implemented using a short film comprising representations of diegetic sounds and inner-voices which were evaluated by the test subjects in terms of their realism and entertainment. Based on the findings of this thesis, when striding for a realistic representation, a character's inner voice should be rendered as if originating from inside the spectator's head. The voice should contain effects of bone conduction but no clear room-acoustic characteristics such as reverberation. Auditory hallucinations should be perceptually similar to sources in the physical environment. In an entertainment context, the characteristics of inner speech did not change considerably, whereas a more clear separation from reality was expected for auditory hallucinations.Ihmisen sisäiseen kokemukseen lukeutuu monia ääniä, jotka ympäröivien ulkoisten äänilähteiden sijaan muodostuvat aivojen sisäisten prosessien tuloksena. Tällaisia sisäisiä ääniä ovat esimerkiksi sanallinen ajattelu, äänihallusinaatiot ja unissa kuultavat äänet. Elokuvissa ja audiovisuaalisessa mediassa sisäisiä ääniä on esitetty lukuisin tavoin. Näiden totuttujen esitystapojen sopivuutta VR-elokuvien tuotannossa on kuitenkin syytä tutkia tarkemmin, sillä VR-ympäristöt kytkeytyvät ihmisen aisteihin perinteisistä audiovisuaalisista medioista poikkeavin tavoin. Tämä tutkielma perehtyy sisäisten äänien esittämiseen VR-ympäristöissä kaksivaiheisella tutkimuksella. Ensimmäisessä vaiheessa toteutettiin kyselytutkimus, jolla rakennettiin aiheeseen liittyvää tietopohjaa. Toisessa vaiheessa ensimmäisen vaiheen tutkimustuloksia sovellettiin käytäntöön VR-kuuntelukokeessa, jossa koehenkilöt arvioivat sisäisiä- ja diegeettisiä ääniä yhdistelevän lyhytelokuvan todenmukaisuutta ja viihteellisyyttä. Tutkimustulosten valossa ihmiset odottavat sisäisen monologin paikallistuvan heidän päänsä sisälle. Luujohtumisen akustisten vaikutusten koettiin lisäävän sisäisen monologin todentuntuisuutta, mutta huoneakustisilla ominaisuuksilla ei havaittu olevan merkittävää painoarvoa. Vastaavia tuloksia huomattiin sisäisen puheen osalta sekä todenmukaisuutta että viihteellisyyttä tavoittelevissa toteutuksissa. Akustisten hallusinaatioiden kohdalla ihmiset odottivat yhteneväisyyttä ulkoiseen ympäristöön todenmukaisuutta tavoiteltaessa. Viihteellisyyttä tavoiteltaessa katsojat puolestaan painottivat selkeämpää erittelyä todellisten ja epätodellisten lähteiden välillä.Description
Supervisor
Pulkki, VilleThesis advisor
McKenzie, ThomasKeywords
spatial audio, inner voice, psychoacoustics, virtual reality, sound design
