Application of spatial sound reproduction in virtual environments : experiments in localization, navigation, and orientation

Abstract

The topic of this research was spatial sound reproduction in a cave-like virtual room (EVE) of the Helsinki University of Technology. Spatial sound reproduction is widely used, for example, in movie industry and computer games. In virtual environments it has been employed less than visual and tactile modalities. There are several common tasks in virtual reality applications in which spatial audio could be used. This thesis concentrates on localization, navigation, and orientation.

This research is one of the first studies in localization accuracy of loudspeaker reproduction in a virtual room. In the localization experiments, subjects pointed to the perceived direction of the sound source. According to the measurements, the achieved localization accuracy was at the same level as presented in literature for headphone reproduction. Localization of the moving sound sources was not as accurate as localization of the static sources.

In the navigation experiments, the task of the users was to move from waypoint to waypoint according to the visual and auditory cues. In the first experiment, auditory, visual, and audio-visual conditions were tested, and in the second experiment, different auditory cues were compared. Audio-visual navigation was the most efficient. Analysis of the travel paths indicated that an auditory cue was used at the beginning to locate direction of the next target, and a visual cue was used in the final approach to the target. In addition, all the subjects could navigate using the auditory cue alone. Auditory navigation performance increased when additional information about the distance and elevation of the target was included in auditory cues.

In the orientation experiment, subjects flew a predefined route inside an architectural model. Their task was to keep the model as balanced as possible during their flight. Three auditory artificial horizons were designed using "ball on a plate" metaphor. The sound was played from the direction towards which the virtual world was tilted. According to test results, the designed horizons helped the user to keep the model better in an upright position than without them.

Additional results included how the design of the virtual room and direction indication method affect on measured localization accuracy.

Tutkimuksen kohteena on ollut kaiuttimin tuotetun tilaäänentoisto Teknillisen korkeakoulun cave-tyyppisessä virtuaalitilassa (EVE). Tilaääntä käytetään laajalti muun muassa elokuvissa ja tietokonepeleissä. Keinotodellisuustutkimuksessa pääpaino on äänen sijasta toistaiseksi ollut näkö- ja voimapalautteen tuottamisessa. Keinotodellisuussovelluksissa on monia tehtäviä, joissa tilaääntä voidaan käyttää apuna. Tässä väitöskirjassan keskitytään paikannukseen, navigointiin ja asennon havaitsemiseen (orientaatioon).

Tämä tutkimus on ensimmäisiä joissa on mitattu virtuaalitilojen kaiuttimin toteutetun tilaäänentoiston paikantamistarkkuutta. Paikannustarkkuus mitattiin käyttäjätestein, joissa testihenkilöt osoittivat havaitsemansa äänen tulosuunnan. Mittausten mukaan saavutettu äänilähteiden paikannustarkkuus on samaa tasoa kuin parhaimmillaan kuulokkeita käytettäessä. Liikkuvien äänilähteiden paikantaminen on epätarkempaa kuin staattisten.

Navigointikokeissa tehtävänä oli liikkua kääntöpisteeltä toiselle annettujen vihjeiden perusteella. Kokeissa verrattiin ensin auditorisen, visuaalisen ja audiovisuaalisen vihjeen eroa ja toisessa vaiheessa erilaisten auditoristen vihjeiden eroa. Audiovisuaalinen navigointi oli kaikkein tehokkainta. Testihenkilöiden liikkumisreittejä analysoitaessa havaittiin, että alussa kohteen suuntaa haettaessa auditorisesta vihjeestä on kaikkein eniten hyötyä. Loppulähestyminen kohteeseen taas tapahtui parhaiten visuaalisen vihjeen avulla. Kaikki koehenkilöt suorituivat navigointitehtävästä, myös pelkän auditorisen vihjeen avulla. Kun auditorisen vihjeen avulla välitettiin myös etäisyys ja korkeustieto, käyttäjät navigoivat paremmin.

Orientaatiotestissä käyttäjien tehtävänä oli lentää ennalta määritelty reitti arkkitehtonisen mallin sisällä ja samalla pitää malli mahdollisimman vaakasuorassa. Testiä varten suunniteltiin ja toteutettiin kolme erilaista auditorista keinohorisonttia. Testihenkilö sai kuulla auditorisen vihjeen suunnasta, johon malli oli kallistunut eniten. Testin perusteella malli pystyttiin pitämään paremmin vaakasuorassa auditoristen keinohorisonttien avulla kuin ilman niitä.

Päätulosten lisäksi tutkimuksen aikana saatiin selville, miten virtuaalitilan ja osoituslaitteen suunnittelu vaikuttaa mitattuun paikannustarkkuuteen.