Exploring narrative possibilities of audio augmented reality with six degrees of freedom

dc.contributorAalto Universityen
dc.contributorAalto-yliopistofi
dc.contributor.advisorSchlecht, Sebastian
dc.contributor.advisorTandefelt, Marko
dc.contributor.authorHarju, Matias
dc.contributor.departmentmediafi
dc.contributor.schoolTaiteiden ja suunnittelun korkeakoulufi
dc.contributor.schoolSchool of Arts, Design and Architectureen
dc.contributor.supervisorIkonen, Antti
dc.date.accessioned2021-06-21T09:38:25Z
dc.date.available2021-06-21T09:38:25Z
dc.date.issued2021
dc.description.abstractAudio augmented reality (AAR) is gaining momentum with the current renaissance of augmented reality (AR) and mixed reality (MR). Since the 1990s when the term AAR was first introduced, the medium has been researched extensively, and with new technologies and wearable devices, interesting AAR applications are getting available to the wider audiences. However, the narrative possibilities of AAR tend to be still an under-explored territory. This is especially true for AAR that utilises six-degrees-of-freedom (6DoF) positional tracking. In 6DoF AAR the user can freely move in a space while hearing spatially synchronised virtual sounds embedded in the environment. Conceivably, the medium has interesting storytelling potential in, for instance, museums. This thesis explores the narrative possibilities of 6DoF AAR, concentrating on what is arguably characteristic of the medium: use of spatialised virtual audio, interplay between real and virtual, and interactivity based on user’s location and movements. The topic is approached from a content creator’s perspective through oscillation between conceptualisation and practical work. By analysing literature and related AAR experiences, 1) a series of narrative techniques characteristic to 6DoF AAR has been identified, and 2) a prototype of a 6DoF AAR setup has been crafted. The design and creation process of the prototype has been discussed to better understand the possibilities and limitations the technology may set for the narrative use of the medium. Five demonstrative scenes have been created and used to test some of the identified techniques in practice. This thesis presents a proposal for a list of narrative techniques characteristic to 6DoF AAR. The techniques are accounted for being a useful tool set for the author when designing the demonstrative scenes. Further, observations are disclosed on designing and building a 6DoF AAR setup capable of plausible auditory illusions and immersion. Challenges are reported related to, for example, registration errors in tracking and unexpected environmental sounds potentially hindering immersion and disrupting the narrative. For lack of user testing, however, more definite presumptions of the effectiveness of the techniques and the prototyped scenes cannot be made. On the other hand, it is suggested that with off-the-shelf components and authoring tools it is nowadays relatively easy for anyone with knowledge on sound design, programming, and storytelling to create gripping, spatially dynamic AAR experiences.en
dc.description.abstractLisätyn todellisuuden (augmented reality, AR) ja laajennetun todellisuuden (mixed reality, MR) nykyisen suosion myötä myös auditiivinen lisätty todellisuus (audio augmented reality, AAR) on nosteessa. Siitä lähtien kun käsite AAR esiteltiin 1990-luvulla, aihetta on tutkittu paljon, ja uusien teknologioiden ja kannettavien laitteiden myötä mielenkiintoisia AAR-sovelluksia on tullut laajan yleisön käyttöön. AAR:n kerronnalliset mahdollisuudet ovat kuitenkin jääneet vähemmälle huomiolle. Tämä pitää paikkansa erityisesti sellaisten AAR-kokemusten kohdalla, joissa käyttäjä voi liikkua vapaasti tilassa virtuaalisen maailman ja sen äänten ollessa spatiaalisesti synkronoituja ympäristöön (six-degrees-of-freedom, 6DoF). Tällaisilla sovelluksilla voidaan nähdä olevan mielenkiintoista narratiivista potentiaalia esimerkiksi museoissa. Tämä opinnäyte tutkii 6DoF AAR:n kerronnallisia mahdollisuuksia keskittyen sen luonteenomaisiin piirteisiin: spatialisoidun (kolmiulotteisen) virtuaaliäänen käyttöön, todellisen ja virtuaalisen väliseen suhteeseen sekä interaktiivisuuteen, joka perustuu käyttäjän sijaintiin ja liikkeisiin. Aihetta lähestytään sisällöntuottajan näkökulmasta liikkuen käsitteellistämisen ja käytännön työn välillä. Analysoimalla kirjallisuutta ja muita AAR-kokemuksia 1) sarja 6DoF AAR:lle luonteenomaisia, kerronnallisia tekniikoita on tunnistettu ja 2) prototyyppi 6DoF AAR järjestelmästä on rakennettu. Prototyypin suunnittelu- ja rakentamisprosessia on analysoitu, jotta voidaan ymmärtää, mitä mahdollisuuksia ja haasteita teknologia tarjoaa taiteenlajin narrativiiselle käytölle. Viisi esimerkkikohtausta on luotu kerronnallisten tekniikoiden testaamiseksi käytännössä. Opinnäyte esittelee ehdotuksen sarjasta kerronnallisia tekniikoita, jotka ovat luonteenomaisia 6DoF AAR:lle. Tekniikat ovat osoittautuneet hyödylliseksi työkalupakiksi tekijälle hänen suunnitellessaan esimerkkikohtauksia. Opinnäyte esittää myös havaintoja äänelliseen illuusioon ja immersioon kykenevän 6DoF AAR kokemuksen rakentamisesta. Haasteista raportoidaan liittyen mm. järjestelmäviiveisiin, seurantaepätarkkuuksiin ja ennakoimattomiin ympäristöääniin, jotka saattavat heikentää immersiota ja häiritä tarinankerrontaa. Ilman käyttäjätestejä syvempiä oletuksia tekniikoiden ja esimerkkikohtausten vaikuttavuudesta ei kuitenkaan voida tehdä. Toisaalta opinnäyte ehdottaa, että valmiita komponentteja ja ohjelmistotyökaluja käyttäen nykyään on suhteellisen helppoa kenelle tahansa äänisuunnittelua, ohjelmointia ja tarinankerrontaa tuntevalle luoda mukaansatempaavia, tilallisesti dynaamisia AAR-kokemuksia.fi
dc.format.extent90
dc.format.mimetypeapplication/pdfen
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/108358
dc.identifier.urnURN:NBN:fi:aalto-202106217616
dc.language.isoenen
dc.programmeMaster's Programme in New Mediafi
dc.programme.majorfi
dc.subject.keywordaudio augmented realityen
dc.subject.keyword6DoFen
dc.subject.keywordimmersionen
dc.subject.keywordnarrativeen
dc.subject.keywordinteractivityen
dc.subject.keywordspatial audioen
dc.subject.keywordaugmented realityen
dc.subject.keywordmixed realityen
dc.titleExploring narrative possibilities of audio augmented reality with six degrees of freedomen
dc.titleSix-degrees-of-freedom -seurantaa hyödyntävän auditiivisen laajennetun todellisuuden narratiivisia mahdollisuuksia tutkimassafi
dc.typeG2 Pro gradu, diplomityöfi
dc.type.ontasotMaster's thesisen
dc.type.ontasotMaisterin opinnäytefi
local.aalto.electroniconlyyes
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
master_Harju_Matias_2021.pdf
Size:
2.11 MB
Format:
Adobe Portable Document Format