Room-adapted audio in augmented reality telemeetings

Thumbnail Image

Files

master_Heikkinen_Jaakko_2026.pdf (25.91 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Electrical Engineering | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-12-31

Department

Major/Subject

Acoustics and Audio Technology

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences
Tieto-, tietoliikenne- ja informaatiotekniikan maisteriohjelma
Magisterprogrammet i data-, informations- och kommunikationsteknik

Language

en

Pages

66

Series

Abstract

This thesis investigates room-adapted spatial audio for augmented reality (AR) telemeetings. A one-to-one AR telemeeting application was developed that renders a realtime colored point-cloud reconstruction of the remote participant on a head-mounted display operating in passthrough mode. A user study involving two participants was conducted in which pairs discussed predefined topics using the telemeeting system. The experiment examined the perceptual effects of matched and mismatched room acoustics, audio capture distance, and low-bitrate audio transmission. Results show that matched-room spatial audio combined with a glasses-mounted close microphone performed significantly better than direct-sound-only rendering across all measured factors, including overall experience, perceived audio quality, audiovisual coherence, and social presence. The results indicate that, when matched-room spatial audio is applied, a glasses-mounted microphone positioned close to the speaker’s mouth is preferred over a camera-integrated microphone. No significant perceptual difference between matched-room spatial audio and direct audio was found when using low-bitrate audio rendering or a camera-integrated microphone. These results suggest that there are advantages of using room-adapted spatial audio in AR telemeetings, but that these advantages depend strongly on capture quality and available bandwidth.

Tämä diplomityö tutkii huoneeseen sovitetun tilaäänen käyttöä lisätyn todellisuuden videopuheluissa. Osana työtä kehitettiin reaaliajassa toimiva kahden käyttäjän hologrammivideopuhelusovellus, joka näyttää pistepilvirekonstruktion puhelun etäosallistujasta VR-lasien avulla. Muuten sovelluksen käyttäjä näkee normaalisti ympäröivän tilan VR-lasien läpinäkyvyysominaisuuden avulla. Sovellusta hyödynnettiin tutkimuksessa, jossa tutkittiin tilaa simuloivia äänentoistomentelmiä. Tutkimukseen kuului eri äänentoistomenetelmiä, mukaan lukien käyttäjän huonetta vastaava tilaääni, huoneeseen sopimaton tilaääni sekä pakattu ääni. Tutkimuksessa kokeiltiin myös kahta eri mikrofonivaihtoehtoa, jotka vastaavat lasien mikrofonia ja kameran mikrofonia. Tuloksista käy ilmi, että kun lasien mikrofoni on käytössä, tilaääni, joka vastaa käyttäjän huonetta parantaa käyttäjäkokemusta, äänenlaatua, audiovisuaalista yhtenäisyyttä ja läsnäolon tuntua verrattuna tilanteeseen, jossa tilaääni ei ole käytössä ja vain suora ääni kuullaan. Lisäksi tulokset osoittavat, että kun tilaäänentoisto on käytössä, käyttämällä VR-lasien mikrofonia, joka on lähempänä suuta, kuin kameran mikrofoni, saavutetaan parempi käyttäjäkokemus. Tutkimus ei löytänyt merkittäviä eroja tilaäänen ja suoran äänen välillä kun kameramikrofoni oli käytössä tai kun ääntä oli pakattu. Työn tulokset viittaavat vahvasti siihen, että tilaäänen käyttö voi parantaa merkittävästi hologrammivideopuhelun käyttökokemusta, mutta nämä hyödyt riippuvat suuresti käytetystä mikrofonista ja äänen pakkauksen vahvuudesta.

Description

Supervisor

Lokki, Tapio

Thesis advisor

Meyer-Kahlen, Nils

Keywords

spatial audio, augmented reality, telepresence, virtual acoustics, room-adapted audio, avatar

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202601191503

Collections

[dipl] Sähkötekniikan korkeakoulu / ELEC