Spatial Audio Techniques for Inner Voice Reproduction in Virtual Reality Environments

Abstract

The inner experience of a person comprises various sounds which rather than originating from sources in their environment, form as a result of internal processes within the brain. Examples of such sounds are, for instance, verbal thoughts, auditory hallucinations, and sound in dreams. These sounds have been represented in films and audiovisual media in numerous ways. Virtual reality environments engage with human perception in a fundamentally different way compared to traditional films, and it is therefore sensible to consider whether the conventional approaches are suitable for VR environments. This thesis approaches the problem through a two-stage study. The first stage uses a questionnaire to form a baseline understanding of the topic. In the second stage, a listening test was conducted in VR to apply the findings made in the first stage in a practical environment. The listening test was implemented using a short film comprising representations of diegetic sounds and inner-voices which were evaluated by the test subjects in terms of their realism and entertainment. Based on the findings of this thesis, when striding for a realistic representation, a character's inner voice should be rendered as if originating from inside the spectator's head. The voice should contain effects of bone conduction but no clear room-acoustic characteristics such as reverberation. Auditory hallucinations should be perceptually similar to sources in the physical environment. In an entertainment context, the characteristics of inner speech did not change considerably, whereas a more clear separation from reality was expected for auditory hallucinations.

Ihmisen sisäiseen kokemukseen lukeutuu monia ääniä, jotka ympäröivien ulkoisten äänilähteiden sijaan muodostuvat aivojen sisäisten prosessien tuloksena. Tällaisia sisäisiä ääniä ovat esimerkiksi sanallinen ajattelu, äänihallusinaatiot ja unissa kuultavat äänet. Elokuvissa ja audiovisuaalisessa mediassa sisäisiä ääniä on esitetty lukuisin tavoin. Näiden totuttujen esitystapojen sopivuutta VR-elokuvien tuotannossa on kuitenkin syytä tutkia tarkemmin, sillä VR-ympäristöt kytkeytyvät ihmisen aisteihin perinteisistä audiovisuaalisista medioista poikkeavin tavoin.

Tämä tutkielma perehtyy sisäisten äänien esittämiseen VR-ympäristöissä kaksivaiheisella tutkimuksella. Ensimmäisessä vaiheessa toteutettiin kyselytutkimus, jolla rakennettiin aiheeseen liittyvää tietopohjaa. Toisessa vaiheessa ensimmäisen vaiheen tutkimustuloksia sovellettiin käytäntöön VR-kuuntelukokeessa, jossa koehenkilöt arvioivat sisäisiä- ja diegeettisiä ääniä yhdistelevän lyhytelokuvan todenmukaisuutta ja viihteellisyyttä.

Tutkimustulosten valossa ihmiset odottavat sisäisen monologin paikallistuvan heidän päänsä sisälle. Luujohtumisen akustisten vaikutusten koettiin lisäävän sisäisen monologin todentuntuisuutta, mutta huoneakustisilla ominaisuuksilla ei havaittu olevan merkittävää painoarvoa. Vastaavia tuloksia huomattiin sisäisen puheen osalta sekä todenmukaisuutta että viihteellisyyttä tavoittelevissa toteutuksissa. Akustisten hallusinaatioiden kohdalla ihmiset odottivat yhteneväisyyttä ulkoiseen ympäristöön todenmukaisuutta tavoiteltaessa. Viihteellisyyttä tavoiteltaessa katsojat puolestaan painottivat selkeämpää erittelyä todellisten ja epätodellisten lähteiden välillä.