Perception and auditory modeling of spatially complex sound scenarios

Abstract

The sound localization ability of humans is dominantly based on temporal differences and sound-pressure-level differences between the ears. Localization is most accurate with a single sound source in the frontal horizontal plane. However, natural scenarios typically consist of more than one sound source having narrower or broader spatial extent. The aim of this thesis was to study how humans perceive such complex scenarios and how various attributes of the sound scene contribute to the perception. In all of the listening experiments of this thesis, the perception of widely distributed sound scenarios was studied on the horizontal plane. Sounds were presented from varying loudspeaker setups with up to thirteen loudspeakers close to one another. With noise signals, the directions of only up to three individual sound sources were accurately perceived at their original locations, and widely distributed sound source groups were perceived as narrower than they were. With monophonic music and ambient-noise signals that were synthesized to be spatially extended, the perception was found to be yet slightly narrower than with the noise cases. The effects of changes in the temporal domain were investigated as well. First, peaks in the signal envelope were shown to aid in the directional discrimination of a sound in the presence of two other simultaneous spatially non-overlapping sounds. Second, accurate spatial perception of temporally successive sounds was shown to be difficult, as the inter-stimulus-interval was required to be high in order to perceive the correct spatial distribution of the presented sounds. In addition to studying human perception, a binaural auditory model was developed to mimic human spatial hearing performance. The design of the model was motivated by knowledge on neurophysiology and psychoacoustics. A binaural activity map produced by the model showed performance matching that of humans in various listening scenarios. Importantly, spatially wide or complex sound scenarios can be analyzed as well, a feature uncommon in auditory modeling. Furthermore, the model was applied in the assessment of spatial sound reproduction techniques and showed differences in activation when there were perceivable differences in the reproduced scenarios. The results give new insight on spatial sound perception. Overall, spatial hearing is not accurate in localizing multiple simultaneous sounds as opposed to accuracy in vision. Obtained results help in the development of parametric spatial sound reproduction techniques, as the techniques do not need to reproduce details that are not perceived by human listeners.

Äänten paikallistaminen perustuu ihmisillä ennen kaikkea korvienvälisiin aika- ja äänenvoimakkuuseroihin. Tarkimmillaan paikallistamiskyky on silloin, kun yksittäisiä ääniä esitetään horisontaalitasolla etusuunnassa. Luonnollisissa tilanteissa on kuitenkin yleensä useampi kuin yksi äänilähde, ja kukin näistä lähteistä saattaa muodostaa äänitapahtuman, joka havaitaan pistemäisenä tai leveämpänä. Tämän väitöskirjan tavoitteena oli tutkia ihmisten kykyä havaita tilajakaumaltaan monimutkaisia äänitapahtumia sekä sitä, miten äänten eri ominaisuudet vaikuttavat havaintoon. Väitöskirjan kaikissa kuuntelukokeissa tutkittiin horisontaalitasossa laajojen äänitapahtumien havaitsemista. Äänet esitettiin erilaisista kaiutinkokonaisuuksista, ja yhtäaikaisesti käytössä oli yhdestä kolmeentoista lähekkäin sijoitettua kaiutinta. Tutkimukset osoittivat, että kohinasignaaleilla enimmillään vain kolmen erillisen äänilähteen suunnat oli mahdollista havaita tarkasti. Laajalle levitetyt äänilähderyhmät vuorostaan havaittiin kapeampina kuin ne oikeasti olivat. Havainto oli vielä kapeampi, kun testiäänenä oli synteettisesti levitettyä musiikkia tai meren kohinaa. Ajallisten muutosten vaikutuksia tutkittiin käyttämällä testiääntä, jonka verhokäyrässä oli lyhyitä piikkejä. Piikikkyyden lisääntyminen helpotti tehtävää, jossa pyrittiin havaitsemaan kohdeäänen suunta kahden eri suunnista tulevan häiriöäänen välistä. Lyhyiden peräkkäin esitettyjen äänten suuntien tarkka havaitseminen osoittautui haastavaksi, sillä äänten tarkka tilajakauma havaittiin vasta, kun äänten välinen aikaero oli huomattavan suuri. Ihmisen havaintokyvyn tutkimisen lisäksi väitöskirjassa kehitettiin binauraalinen kuulomalli, jonka tehtävänä on jäljitellä ihmisen tilakuulon toiminnallisuutta. Sen toteutuksessa käytettiin pohjana neurofysiologian ja psykoakustiikan tietoja. Mallin suorituskyvyn osoitettiin olevan samankaltainen kuin ihmisten kyky useissa erilaisissa kuuntelutilanteissa. Myös tilajakaumaltaan leveiden tai monimutkaisten äänitapahtumien analysointi toimii, mikä on toistaiseksi harvinainen ominaisuus kuulomalleissa. Lisäksi testattiin mallin kykyä analysoida tilaäänentoistomenetelmiä, ja mallin tuottamassa aktivaatiossa oli nähtävissä muutoksia silloin, kun ihminenkin pystyi toistetuista äänitapahtumista sellaisia havaitsemaan. Väitöskirjan tulokset antavat uusia näkemyksiä tilaäänen havaitsemiseen. Yleisesti ottaen voidaan sanoa, että useiden samanaikaisten äänten paikantaminen on epätarkkaa verrattuna näkökyvyn tarkkuuteen. Tuloksista on hyötyä parametristen tilaäänentoistomenetelmien kehityksessä, sillä kyseiset tekniikat perustuvat ihmisen havaintokyvyn puutteiden hyödyntämiseen.