Reproducing reality: Perception and quality in immersive audiovisual environments

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Mendonça, Catarina, PhD, Aalto University, Department of Signal Processing and Acoustics, Finland
dc.contributor.author Rummukainen, Olli
dc.date.accessioned 2016-12-01T10:01:28Z
dc.date.available 2016-12-01T10:01:28Z
dc.date.issued 2016
dc.identifier.isbn 978-952-60-7115-2 (electronic)
dc.identifier.isbn 978-952-60-7116-9 (printed)
dc.identifier.issn 1799-4942 (electronic)
dc.identifier.issn 1799-4934 (printed)
dc.identifier.issn 1799-4934 (ISSN-L)
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/23541
dc.description.abstract The research in this thesis may be classified into two inter-related categories: understanding human perceptual information processing under natural audiovisual conditions and, based on this knowledge, evaluating the quality of experience and content perception in immersive audiovisual reproductions. The main concept guiding this work is the observation that there is no need to simulate the whole world if it cannot be perceived.  The three main findings in the first category are: 1) The most important perceptual attributes in natural scenes depicting urban environments were found to be the amount of movement, perceived noisiness, and openness of the scene. 2) Movement and openness were found to be mainly visual attributes. In some scenes, the auditory system was able to derive information about movement and openness that was comparable with audiovisual conditions already after 500 ms stimulation. Noisiness was dominantly auditory, but visual information was found to be an aiding factor. Cross-modality effects affecting global estimates of the scene attributes were found in movement and openness. 3) Task-relevant auditory cues were found to aid in orienting to and detecting a peripheral but not a central visual target. Significant improvements were found with a 1000 ms audio lead compared to synchronous onset, and with a 500 ms audio lead compared to no sound condition.  The main findings in the second category are: 1) The spatial extent of the reproduction setup affects the perception of natural scene attributes especially in movement, where discrimination accuracy decreases with larger reproduction extent, and in noisiness, where the discrimination accuracy increases. 2) With full video width the effect of the spatial width of audio on quality of experience is the strongest, but as the video width is reduced, the effect of audio width almost disappears. 3) Immersive 3D sound is able to hinder the perception of visual events in video reproduction by dispersing visual attention. 4) In 2D video combined with 3D spatial sound the perceived spatial discrepancy between the auditory and visual events may become annoying if the observer is seated close to the screen and off-axis. en
dc.description.abstract Tämän väitöskirjan sisältämä tutkimus voidaan jakaa kahteen toisiinsa liittyvään kategoriaan: ihmisen aisti-informaationkäsittelyn ymmärtäminen luonnollisissa audiovisuaalisissa tilanteissa, sekä tästä saavutetun tiedon avulla sisällönhavaitsemisen ja laatukokemuksen arvioiminen uppouttavissa audiovisuaalisissa järjestelmissä. Työn kantavana ajatuksena on havainto siitä että kaikkea ympäröivästä maailmasta ei tarvitse toistaa teknisesti, jos ihminen ei kykene luonnollisesti sitä havaitsemaan.  Kolme tärkeintä tulosta ensimmäisessä kategoriassa ovat: 1) Merkittävimmät havaintomääreet luonnollisissa audiovisuaalisissa kaupunkitiloissa ovat liikkeen määrä, äänimaiseman havaittu meluisuus ja tilan avoimuus. 2) Liikkeen määrä ja avoimuus olivat enimmäkseen näköaistin perusteella havaittavia määreitä. Joissain tiloissa kuuloaisti kykeni yksin tuottamaan audiovisuaaliseen havaintoon verrattavissa olevaa tietoa tilassa tapahtuvasta liikkeestä ja sen avoimuudesta jo 500 ms ärsykkeen perusteella. Meluisuus oli vahvasti kuuloaistiin perustuva määre, mutta visuaalinen informaatio tuki meluisuusarviota muutamissa tiloissa. Aistienvälinen vuorovaikutus vaikutti määreidenmuodostukseen liikkeen määrässä, sekä tilan avoimuudessa. 3) Tehtävän kannalta olennaiset äänivihjeet auttavat tarkkaavaisuuden kohdentamista ja ääreisnäkökentässä olevien kohteiden havaitsemista. Merkittävää parannusta tapahtui, kun äänivihje edelsi visuaalista ärsykettä 1000 ms verrattuna synkronoituihin ärsykkeisiin, tai 500 ms verrattuna tilanteeseen ilman äänivihjettä.  Toisen kategorian tärkeimmät tulokset ovat: 1) Toistojärjestelmän tilallinen laajuus vaikuttaa havaintomääreiden muodostumiseen erityisesti liikkeen määrää sekä tilan meluisuutta havainnoidessa. Liikkeen määrän havaitseminen on vaikeampaa laajemmassa toistojärjestelmässä ja meluisuuden havaitseminen puolestaan helpompaa. 2) Käytettäessä täyden laajuuden videotoistoa, äänentoiston tilallisen laajuuden vaikutus kokemuksen laatuun on vahva, mutta videon laajuutta rajoitettaessa äänentoiston laajuuden merkitys lähes katoaa. 3) Uppouttava 3D äänentoisto saattaa hajaannuttaa visuaalista tarkkaavaisuutta ja vaikeuttaa visuaalisten tapahtumien havaitsemista. 4) 2D kuvan ja 3D äänen yhdistelmä saattaa tuottaa ärsyttäviä sijantieroavuuksia ääni- ja kuvatapahtumien välille, jos havaitsija istuu kuvaruudun lähellä ja poissa järjestelmän keskilinjasta. fi
dc.format.extent 96 + app. 82
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.ispartofseries Aalto University publication series DOCTORAL DISSERTATIONS en
dc.relation.ispartofseries 232/2016
dc.relation.haspart [Publication 1]: Olli Rummukainen, Jenni Radun, Toni Virtanen, and Ville Pulkki. Categorization of Natural Dynamic Audiovisual Scenes. PLoS One, 9(5): e95848, pp. 1-14, May 2014. DOI: 10.1371/journal.pone.0095848
dc.relation.haspart [Publication 2]: Olli Rummukainen and Catarina Mendonça. Reproducing Reality: Multimodal Contributions in Natural Scene Discrimination. ACM Transactions on Applied Perception, 14(1):1, August 2016. DOI: 10.1145/2915917
dc.relation.haspart [Publication 3]: Olli Rummukainen and Catarina Mendonça. Task-Relevant Spatialized Auditory Cues Enhance Attention Orientation and Peripheral Target Detection in Natural Scenes. Journal of Eye Movement Research, 9(1):4, 1-10, January 2016. DOI: 10.16910/jemr.9.1.4
dc.relation.haspart [Publication 4]: Olli Rummukainen and Catarina Mendonça. Content or Reproduction: Natural Scene Perception in Immersive and Non-Immersive Reproduction Setups. Sixth International Workshop on Quality of Multimedia Experience (QoMEX), Singapore, September 2014. DOI: 10.1109/QoMEX.2014.6982301
dc.relation.haspart [Publication 5]: Olli Rummukainen and Ville Pulkki. Audiovisual Reproduction in Surrounding Display: Effect of Spatial Width of Audio and Video. Fourth International Workshop on Quality of Multimedia Experience (QoMEX), Melbourne, Australia, July 2012. DOI: 10.1109/QoMEX.2012.6263861
dc.relation.haspart [Publication 6]: Catarina Mendonça, Olli Rummukainen, and Ville Pulkki. 3D Sound can have a negative impact on the perception of visual content in audiovisual reproductions. International Conference on Auditory Display (ICAD), Graz, Austria, July 2015.
dc.relation.haspart [Publication 7]: Olli Rummukainen, Javier Gómez Bolaños, and Ville Pulkki. Horizontal Localization of Auditory and Visual Events with Directional Audio Coding and 2D Video. Fifth International Workshop on Quality of Multimedia Experience (QoMEX), Klagenfurt am Wörthersee, Austria, July 2013. DOI: 10.1109/QoMEX.2013.6603217
dc.subject.other Acoustics en
dc.title Reproducing reality: Perception and quality in immersive audiovisual environments en
dc.title Todellisuutta toistamassa: Havaitseminen ja laatu immersiivisissä audiovisuaalisissa ympäristöissä fi
dc.type G5 Artikkeliväitöskirja fi
dc.contributor.school Sähkötekniikan korkeakoulu fi
dc.contributor.school School of Electrical Engineering en
dc.contributor.department Signaalinkäsittelyn ja akustiikan laitos fi
dc.contributor.department Department of Signal Processing and Acoustics en
dc.subject.keyword multimodal perception en
dc.subject.keyword quality of experience en
dc.subject.keyword virtual reality en
dc.subject.keyword spatial sound en
dc.subject.keyword moniaistinen havaitseminen fi
dc.subject.keyword kokemuksen laatu fi
dc.subject.keyword virtuaalitodellisuus fi
dc.subject.keyword tilaääni fi
dc.identifier.urn URN:ISBN:978-952-60-7115-2
dc.type.dcmitype text en
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.contributor.supervisor Pulkki, Ville, Prof., Aalto University, Department of Signal Processing and Acoustics, Finland
dc.opn Raake, Alexander, Prof., Ilmenau University of Technology, Germany
dc.date.dateaccepted 2016-08-09
dc.rev Burnett, Ian, Prof., University of Technology Sydney, Australia
dc.rev Reiter, Ulrich, Prof., Technical University of Cologne, Germany
dc.date.defence 2016-12-13


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account