The impact of sound systems on the perception of cinematic content in immersive audio-visual productions

 |  Login

Show simple item record

dc.contributor Aalto University en
dc.contributor Aalto-yliopisto fi
dc.contributor.advisor Mendonça Hiipakka, Catarina
dc.contributor.author Korshunova, Viktoriya
dc.date.accessioned 2019-09-29T17:00:12Z
dc.date.available 2019-09-29T17:00:12Z
dc.date.issued 2019
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/40513
dc.description In the printed copy of the thesis, the author's name is in the form of Victoria Korshunova. en
dc.description.abstract With fast technological developments, traditional perceptual environments gradually fade away, and new ones emerge. These changes force human senses to adapt to new ways of perceptual understanding, for example, regarding the perceptual integration of sound and vision. This study aimed to understand human perception of visual and auditory signals. Proceeding from the fact that hearing cooperates with visual attention processes, the purpose is to investigate the effect of different sound design conditions on the perception of cinematic content in immersive audio-visual reproductions. In this thesis, introduced the results of a visual selective attention task (counting objects) performed by participants watching 9-second stimuli from the movie (“Ego Cure”) on 270-degree immersive audio-visual display. Four sound conditions were used, which employed an increasing number of loudspeakers, i.e., mono, stereo, 5.1 and 7.1.4. During the task, an eye-tracking device was used to record the participant’s eye gaze data. Additionally, here introduced authors own findings from two perspectives: sound engineer and psychoacoustics researcher. The eye-tracking data showed that an increased number of speakers and a wider spatial audio distribution diffused the participants’ attention from the task-related part of the display to non-task-related directions. The number of participants focusing on the task-irrelevant display in the 7.1.4 condition was higher than in the mono audio condition. Additionally, pupil dilation data showed that 5.1 and 7.1.4 sound conditions had more dilation than the other sound systems. Therefore, possible to conclude that it was more difficult for the subjects to perform during 5.1 and 7.1.4 audio conditions. This result implies that additional spatial cues in the auditory modality automatically influence human visual attention (involuntary eye movements) and human analysis of visual information. Sound engineers should consider this when mixing educational or any other information-oriented productions. en
dc.description.abstract Nopeiden teknologisten kehityksien myötä perinteiset havaintoympäristöt vähitellen häviävät ja uudet ilmaantuvat. Nämä muutokset pakottavat ihmiskunnan aisteja sopeutumaan havainto ymmärrykseen uusin keinoin, esimerkiksi äänen ja vision havaintointegraation suhteen. Tämän tutkimuksen rooli on ymmärtää ihmisten käsitys visuaalisista ja auditiivisista signaaleista. Koska kuulo toimii yhteistyössä visuaalisten huomioprosessien kanssa, tarkoituksena on tutkia eri äänisuunnittelu olosuhteiden vaikutusta elokuvasisällön havaitsemiseen immersiivisissä audiovisuaalisissa ohjelmatuotannoissa. Tässä tutkimuksessa esittelin visuaalisen valikoivan huomiointi tehtävän (objektien laskenta), jossa osallistujat suorittivat katselemalla yhdeksän sekunnin ärsykkeitä elokuvasta (”Ego Cure”) 270 asteen immersiivisellä audiovisuaalisella näytöllä. Testissä käytettiin neljää erilaista ääniolosuhdetta, joiden aikana käytettiin yhä enemmän kaiuttimia kuten: mono, stereo, 5.1 ja 7.1.4. Tehtävän aikana osallistujan silmäntietojen (näköhavainto) tallentamiseen käytettiin silmä seurantalaitetta. Lisäksi esiteltiin kirjoittajien omia havaintoja kahdesta näkökulmasta: äänisuunnittelija ja psykoakustikkaatutkija. Silmäseurantadata näytti, että kasvanut määrä kaiuttimia ja laajempi spatiaalinen äänijakelu levittää osallistujien huomiota näytön tehtävään liittyvästä osasta tehtäviin liittymättömiin suuntiin. 7.1.4-olosuhteissa tehtävään merkityksettömiin alueisiin näyttöä keskittyneiden osallistujien määrä oli suurempi kuin monoääniolosuhteissa. Myös, silmäterän laajenemis data näytti, että 5.1:lla ja 7.1.4:lla aikana oli enemmän katse laajenemista kuin muiden äänentoistojärjestelmien käytön aikana. Voidaan päätellä, että koehenkilöiden oli hankalampaa suorittaa testiä olosuhteissa 5.1 ja 7.1.4. Tämä tulos antaa ymmärtää, että ylimääräiset spatiaaliset vihjeet auditiivisessa tilajoukossa vaikuttavat automaattisesti ihmisen visuaaliseen huomioon (tahattomat silmän liikkeet) ja ihmisen analyysiin visuaalisesta tiedosta. Äänisunnitelojoiden tulee harkita tätä sekoittuessaan kasvatus, koulutus- tai muuhun informaatio suunnattuun tuotantoon. fi
dc.format.extent 61
dc.language.iso en en
dc.title The impact of sound systems on the perception of cinematic content in immersive audio-visual productions en
dc.title Äänentoistojärjestelmien vaikutus käsitykseen elokuvallisesta sisällöstä immersiivisissä audiovisuaalisissa ohjelmatuotannoissa fi
dc.type G2 Pro gradu, diplomityö fi
dc.contributor.school Taiteiden ja suunnittelun korkeakoulu fi
dc.contributor.school School of Arts, Design and Architecture en
dc.contributor.department Department of Media en
dc.contributor.department Median laitos fi
dc.subject.keyword audio-visual perception en
dc.subject.keyword sound systems en
dc.subject.keyword spatial sound en
dc.subject.keyword eye tracking en
dc.subject.keyword eye gaze en
dc.subject.keyword immersive environments en
dc.identifier.urn URN:NBN:fi:aalto-201909295536
dc.type.ontasot Master's thesis en
dc.type.ontasot Maisterin opinnäyte fi
dc.contributor.supervisor Ikonen, Antti
dc.programme Sound on New Media en


Files in this item

Files Size Format View

There are no open access files associated with this item.

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse