The effect of sound location on audiovisual speech perception

Abstract

Puheen havaitseminen on audiovisuaalista; havaitsemme puhetta sekä nähdyn että kuullun aisti-informaation perusteella. Nähty puhe vaikuttaa kuulohavaintoon ja voi ristiriitaisena jopa muuttaa selkeästi kuultua puhehavaintoa. Näin tapahtuu ns. McGurk-illuusiossa. Aistien vaikutus toisiinsa on yleensä suurempi, kun aistiärsykkeet sijaitsevat samassa paikassa. Voisi siis kuvitella, että nähty puhe vaikuttaa kuulohavaintoon enemmän, kun puheärsyke esitetään sieltä, missä kasvot ovat. Aikaisemmat tutkimukset ovat kuitenkin osoittaneet, että äänen tulosuunnalla ei ole vaikutusta McGurk-illuusion voimakkuuteen. Näissä tutkimuksissa tarkkaavaisuuden suuntaa ei kuitenkaan ole kontrolloitu.

Oletuksemme oli, että kun kuulotarkkaavaisuus kohdistetaan tiettyyn paikkaan, aistien välinen vuorovaikutus on suurempi tästä paikasta tuleville puheärsykkeille. Aikaisemmissa tutkimuksissa puheärsykkeet on esitetty hitaassa tahdissa, mikä on mahdollistanut laajan tarkkaavaisuuskentän. Tässä tutkimuksessa auditoriset puheärsykkeet esitettiin viidestä eri suunnasta (edestä, 45°/90° vasemmalta/oikealta) nopeassa tahdissa. Visuaaliset ärsykkeet (puhuvat naisen kasvot) esitettiin aina edestä. Muuntelimme kuulotarkkaavaisuuden tilaa esittämällä kuuloärsykkeitä eri todennäköisyyksillä eri suunnista; suurin osa puheärsykkeistä esitettiin yhdestä suunnasta (edestä tai 90° vasemmalta) ja harvoin muista suunnista. Koehenkilöiden tehtävänä oli vastata mahdollisimman nopeasti ja tarkasti mitä he kuulivat, ja olla välittämättä äänen tulosuunnasta.

Tuloksemme osoittivat että tilanteessa, jossa ääniä esitettiin yhtä usein kaikista eri suunnista, McGurk-illuusion voimakkuus oli riippumaton äänen tulosuunnasta. Koehenkilöiden kuulotarkkaavaisuuden ollessa kohdistettuna suoraan eteen, McGurk-illuusio vahvistui edestä tuleville puheärsykkeille. Kun kuulotarkkaavaisuus oli kohdistettu 90° vasemmalle, McGurk-illuusio oli edelleen voimakkain edestä tuleville puheärsykkeille. Illuusio oli kuitenkin hieman voimakkaampi vasemmalta, kuin oikealta tuleville ärsykkeille. Tulokset osoittavat ensimmäistä kertaa, että äänen tulosuunta voi vaikuttaa audiovisuaaliseen integraatioon riippuen siitä, miten tarkkaavaisuutta suunnataan tilassa.