Design and implementation of an immersive audiovisual

No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering | Master's thesis
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2011
Major/Subject
Akustiikka ja äänenkäsittelytekniikka
Mcode
S-89
Degree programme
Language
en
Pages
ix + 74
Series
Abstract
Immersive audio-visual environments are systems that try to reproduce realistically the visual and auditory events of the real situation. In such systems, a large video projection screen spanning a wide field of view immerses the observer making him to feel like being inside the scene. In addition, a 3D sound reproduction system provides a proper spatial distribution of the auditory events according to the images. In this work, an immersive audio-visual environment with a field of view of 2260 and 3D sound reproduction over 20 loudspeakers is implemented. The video screen is based on over-head video projection on acoustically transparent screens. This type of screen reduces its acoustical effect on the sound field and allows the placement of the loudspeakers behind the screen since the influence of the screen in the frequency response can be corrected with simple processing. The 3D audio reproduction system is based on Directional Audio Coding (DirAC) technique. The system is built in the A-paja room in the department of Signal Processing and Acoustics of Aalto University. In this room, the measured parameters for listening conditions are sufficiently good for the aimed tasks. Furthermore, an audio and video capturing system consisting in three HD-videocameras, a microphone and two mirrors is built in this work in order to record a very wide field of view video and 3D audio for reproducing them in the reproduction system. Some recordings were performed with the system for test purposes. Additionally, a head-tracking system is included in the environment for motion related tasks. The main aim of this project is to provide a tool for researching the influence of immersive image and sound in the total perception of the scene.

Immersiiviset audiovisuaaliset ympäristöt ovat järjestelmiä, jotka yrittävät toistaa realistisesti ihmisen näkö- ja kuulohavainnot todellisen maailman tilanteessa. Tällaisissa järjestelmissä suuri valkokangas kattaa laajan näkökentän ja ympäröi havainnoitsijan, sekä optimaalisesti saa hänet tuntemaan kuin olisi tallennetussa tilanteessa. Välitetyn kuvan lisäksi 3D-äänentoistojärjestelmä välittää uskottavasti äänilähteiden tilajakauman. Tässä työssä on rakennettu immersiivinen audiovisuaalinen näyttö, jonka videonäyttö on 226° leveä ja 3D-ääni toistetaan 20 kaiuttimella. Videonäyttö on toteutettu akustisesti läpinäkyvillä valkokankailla sijoittaen videoprojektorit käyttäjän pään yläpuolelle. Tämäntyyppinen ratkaisu vähentää kankaan akustista vaikutusta äänikenttään, sekä mahdollistaa kaiuttimien sijoittelun välittömästi valkokankaan takapuolelle, jolloin kankaan vaikutus niitten taajuusvasteeseen voidaan korjata suhteellisen yksinkertaisella prosessoinnilla. Äänentoisto on toteutettu Directional Audio Coding (DirAC) -menetelmällä. Näyttö on rakennettu Aalto-yliopiston Signaalinkäsittelyn ja Akustiikan laitoksen A-paja -huoneeseen, jossa vallitsevien kuunteluolosuhteiden mitataan olevan riittävän hyvät tällaiselle audiovisuaaliselle näytölle. Työssä on myös rakennettu kolmesta HD-videokamerasta, yhdestä mikrofonista, sekä kahdesta peilistä koostuva laitteisto, jolla voidaan tallentaa ympäröivää videokuvaa sekä 3D ääntä toistettavaksi audiovisuaalisessa näytössä. Muutama video ja äänitallenne on tehty tällä systeemillä testausta varten. Lisäksi audiovisuaaliseen ympäristöön kuuluu pään liikkeiden seurantajärjestelmä, jonka avulla voidaan mitata esimerkiksi havaitsijan pään orientaatio sekä sijainti. Päätavoitteena tässä projektissa on tarjota väline, jolla voi tutkia ympäröivän kuvan ja äänen vaikutusta kokonaishavaintoon.
Description
Supervisor
Pulkki, Ville
Keywords
immersive audiovisual environments, ympäröivä, audiovisual systems, immersiivinen, spatial sound reproduction, audiovisuaalinen ympäristö, audio-video interaction, audiovisuaaliset järjestelmät, tilaäänen toisto, audio ja video interaktio
Other note
Citation