The impact of sound systems on the perception of cinematic content in immersive audio-visual productions
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
School of Arts, Design and Architecture |
Master's thesis
Ask about the availability of the thesis by sending email to the Aalto University Learning Centre oppimiskeskus@aalto.fi
Location:
P1 OPINNÄYTTEET D 2019 Korshunova
Authors
Date
2019
Department
Major/Subject
Mcode
Degree programme
Sound on New Media
Language
en
Pages
61
Series
Abstract
With fast technological developments, traditional perceptual environments gradually fade away, and new ones emerge. These changes force human senses to adapt to new ways of perceptual understanding, for example, regarding the perceptual integration of sound and vision. This study aimed to understand human perception of visual and auditory signals. Proceeding from the fact that hearing cooperates with visual attention processes, the purpose is to investigate the effect of different sound design conditions on the perception of cinematic content in immersive audio-visual reproductions. In this thesis, introduced the results of a visual selective attention task (counting objects) performed by participants watching 9-second stimuli from the movie (“Ego Cure”) on 270-degree immersive audio-visual display. Four sound conditions were used, which employed an increasing number of loudspeakers, i.e., mono, stereo, 5.1 and 7.1.4. During the task, an eye-tracking device was used to record the participant’s eye gaze data. Additionally, here introduced authors own findings from two perspectives: sound engineer and psychoacoustics researcher. The eye-tracking data showed that an increased number of speakers and a wider spatial audio distribution diffused the participants’ attention from the task-related part of the display to non-task-related directions. The number of participants focusing on the task-irrelevant display in the 7.1.4 condition was higher than in the mono audio condition. Additionally, pupil dilation data showed that 5.1 and 7.1.4 sound conditions had more dilation than the other sound systems. Therefore, possible to conclude that it was more difficult for the subjects to perform during 5.1 and 7.1.4 audio conditions. This result implies that additional spatial cues in the auditory modality automatically influence human visual attention (involuntary eye movements) and human analysis of visual information. Sound engineers should consider this when mixing educational or any other information-oriented productions.Nopeiden teknologisten kehityksien myötä perinteiset havaintoympäristöt vähitellen häviävät ja uudet ilmaantuvat. Nämä muutokset pakottavat ihmiskunnan aisteja sopeutumaan havainto ymmärrykseen uusin keinoin, esimerkiksi äänen ja vision havaintointegraation suhteen. Tämän tutkimuksen rooli on ymmärtää ihmisten käsitys visuaalisista ja auditiivisista signaaleista. Koska kuulo toimii yhteistyössä visuaalisten huomioprosessien kanssa, tarkoituksena on tutkia eri äänisuunnittelu olosuhteiden vaikutusta elokuvasisällön havaitsemiseen immersiivisissä audiovisuaalisissa ohjelmatuotannoissa. Tässä tutkimuksessa esittelin visuaalisen valikoivan huomiointi tehtävän (objektien laskenta), jossa osallistujat suorittivat katselemalla yhdeksän sekunnin ärsykkeitä elokuvasta (”Ego Cure”) 270 asteen immersiivisellä audiovisuaalisella näytöllä. Testissä käytettiin neljää erilaista ääniolosuhdetta, joiden aikana käytettiin yhä enemmän kaiuttimia kuten: mono, stereo, 5.1 ja 7.1.4. Tehtävän aikana osallistujan silmäntietojen (näköhavainto) tallentamiseen käytettiin silmä seurantalaitetta. Lisäksi esiteltiin kirjoittajien omia havaintoja kahdesta näkökulmasta: äänisuunnittelija ja psykoakustikkaatutkija. Silmäseurantadata näytti, että kasvanut määrä kaiuttimia ja laajempi spatiaalinen äänijakelu levittää osallistujien huomiota näytön tehtävään liittyvästä osasta tehtäviin liittymättömiin suuntiin. 7.1.4-olosuhteissa tehtävään merkityksettömiin alueisiin näyttöä keskittyneiden osallistujien määrä oli suurempi kuin monoääniolosuhteissa. Myös, silmäterän laajenemis data näytti, että 5.1:lla ja 7.1.4:lla aikana oli enemmän katse laajenemista kuin muiden äänentoistojärjestelmien käytön aikana. Voidaan päätellä, että koehenkilöiden oli hankalampaa suorittaa testiä olosuhteissa 5.1 ja 7.1.4. Tämä tulos antaa ymmärtää, että ylimääräiset spatiaaliset vihjeet auditiivisessa tilajoukossa vaikuttavat automaattisesti ihmisen visuaaliseen huomioon (tahattomat silmän liikkeet) ja ihmisen analyysiin visuaalisesta tiedosta. Äänisunnitelojoiden tulee harkita tätä sekoittuessaan kasvatus, koulutus- tai muuhun informaatio suunnattuun tuotantoon.Description
In the printed copy of the thesis, the author's name is in the form of Victoria Korshunova.
Supervisor
Ikonen, AnttiThesis advisor
Mendonça Hiipakka, CatarinaKeywords
audio-visual perception, sound systems, spatial sound, eye tracking, eye gaze, immersive environments