Exploring narrative possibilities of audio augmented reality with six degrees of freedom
Loading...
Journal Title
Journal ISSN
Volume Title
School of Arts, Design and Architecture |
Master's thesis
Location:
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2021
Department
Major/Subject
Mcode
Degree programme
Master's Programme in New Media
Language
en
Pages
90
Series
Abstract
Audio augmented reality (AAR) is gaining momentum with the current renaissance of augmented reality (AR) and mixed reality (MR). Since the 1990s when the term AAR was first introduced, the medium has been researched extensively, and with new technologies and wearable devices, interesting AAR applications are getting available to the wider audiences. However, the narrative possibilities of AAR tend to be still an under-explored territory. This is especially true for AAR that utilises six-degrees-of-freedom (6DoF) positional tracking. In 6DoF AAR the user can freely move in a space while hearing spatially synchronised virtual sounds embedded in the environment. Conceivably, the medium has interesting storytelling potential in, for instance, museums. This thesis explores the narrative possibilities of 6DoF AAR, concentrating on what is arguably characteristic of the medium: use of spatialised virtual audio, interplay between real and virtual, and interactivity based on user’s location and movements. The topic is approached from a content creator’s perspective through oscillation between conceptualisation and practical work. By analysing literature and related AAR experiences, 1) a series of narrative techniques characteristic to 6DoF AAR has been identified, and 2) a prototype of a 6DoF AAR setup has been crafted. The design and creation process of the prototype has been discussed to better understand the possibilities and limitations the technology may set for the narrative use of the medium. Five demonstrative scenes have been created and used to test some of the identified techniques in practice. This thesis presents a proposal for a list of narrative techniques characteristic to 6DoF AAR. The techniques are accounted for being a useful tool set for the author when designing the demonstrative scenes. Further, observations are disclosed on designing and building a 6DoF AAR setup capable of plausible auditory illusions and immersion. Challenges are reported related to, for example, registration errors in tracking and unexpected environmental sounds potentially hindering immersion and disrupting the narrative. For lack of user testing, however, more definite presumptions of the effectiveness of the techniques and the prototyped scenes cannot be made. On the other hand, it is suggested that with off-the-shelf components and authoring tools it is nowadays relatively easy for anyone with knowledge on sound design, programming, and storytelling to create gripping, spatially dynamic AAR experiences.Lisätyn todellisuuden (augmented reality, AR) ja laajennetun todellisuuden (mixed reality, MR) nykyisen suosion myötä myös auditiivinen lisätty todellisuus (audio augmented reality, AAR) on nosteessa. Siitä lähtien kun käsite AAR esiteltiin 1990-luvulla, aihetta on tutkittu paljon, ja uusien teknologioiden ja kannettavien laitteiden myötä mielenkiintoisia AAR-sovelluksia on tullut laajan yleisön käyttöön. AAR:n kerronnalliset mahdollisuudet ovat kuitenkin jääneet vähemmälle huomiolle. Tämä pitää paikkansa erityisesti sellaisten AAR-kokemusten kohdalla, joissa käyttäjä voi liikkua vapaasti tilassa virtuaalisen maailman ja sen äänten ollessa spatiaalisesti synkronoituja ympäristöön (six-degrees-of-freedom, 6DoF). Tällaisilla sovelluksilla voidaan nähdä olevan mielenkiintoista narratiivista potentiaalia esimerkiksi museoissa. Tämä opinnäyte tutkii 6DoF AAR:n kerronnallisia mahdollisuuksia keskittyen sen luonteenomaisiin piirteisiin: spatialisoidun (kolmiulotteisen) virtuaaliäänen käyttöön, todellisen ja virtuaalisen väliseen suhteeseen sekä interaktiivisuuteen, joka perustuu käyttäjän sijaintiin ja liikkeisiin. Aihetta lähestytään sisällöntuottajan näkökulmasta liikkuen käsitteellistämisen ja käytännön työn välillä. Analysoimalla kirjallisuutta ja muita AAR-kokemuksia 1) sarja 6DoF AAR:lle luonteenomaisia, kerronnallisia tekniikoita on tunnistettu ja 2) prototyyppi 6DoF AAR järjestelmästä on rakennettu. Prototyypin suunnittelu- ja rakentamisprosessia on analysoitu, jotta voidaan ymmärtää, mitä mahdollisuuksia ja haasteita teknologia tarjoaa taiteenlajin narrativiiselle käytölle. Viisi esimerkkikohtausta on luotu kerronnallisten tekniikoiden testaamiseksi käytännössä. Opinnäyte esittelee ehdotuksen sarjasta kerronnallisia tekniikoita, jotka ovat luonteenomaisia 6DoF AAR:lle. Tekniikat ovat osoittautuneet hyödylliseksi työkalupakiksi tekijälle hänen suunnitellessaan esimerkkikohtauksia. Opinnäyte esittää myös havaintoja äänelliseen illuusioon ja immersioon kykenevän 6DoF AAR kokemuksen rakentamisesta. Haasteista raportoidaan liittyen mm. järjestelmäviiveisiin, seurantaepätarkkuuksiin ja ennakoimattomiin ympäristöääniin, jotka saattavat heikentää immersiota ja häiritä tarinankerrontaa. Ilman käyttäjätestejä syvempiä oletuksia tekniikoiden ja esimerkkikohtausten vaikuttavuudesta ei kuitenkaan voida tehdä. Toisaalta opinnäyte ehdottaa, että valmiita komponentteja ja ohjelmistotyökaluja käyttäen nykyään on suhteellisen helppoa kenelle tahansa äänisuunnittelua, ohjelmointia ja tarinankerrontaa tuntevalle luoda mukaansatempaavia, tilallisesti dynaamisia AAR-kokemuksia.Description
Supervisor
Ikonen, AnttiThesis advisor
Schlecht, SebastianTandefelt, Marko
Keywords
audio augmented reality, 6DoF, immersion, narrative, interactivity, spatial audio, augmented reality, mixed reality
