The effect of sound location on audiovisual speech perception
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology |
Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Authors
Date
2007
Department
Major/Subject
Laskennallinen tekniikka
Mcode
S-114
Degree programme
Language
en
Pages
73
Series
Abstract
Puheen havaitseminen on audiovisuaalista; havaitsemme puhetta sekä nähdyn että kuullun aisti-informaation perusteella. Nähty puhe vaikuttaa kuulohavaintoon ja voi ristiriitaisena jopa muuttaa selkeästi kuultua puhehavaintoa. Näin tapahtuu ns. McGurk-illuusiossa. Aistien vaikutus toisiinsa on yleensä suurempi, kun aistiärsykkeet sijaitsevat samassa paikassa. Voisi siis kuvitella, että nähty puhe vaikuttaa kuulohavaintoon enemmän, kun puheärsyke esitetään sieltä, missä kasvot ovat. Aikaisemmat tutkimukset ovat kuitenkin osoittaneet, että äänen tulosuunnalla ei ole vaikutusta McGurk-illuusion voimakkuuteen. Näissä tutkimuksissa tarkkaavaisuuden suuntaa ei kuitenkaan ole kontrolloitu. Oletuksemme oli, että kun kuulotarkkaavaisuus kohdistetaan tiettyyn paikkaan, aistien välinen vuorovaikutus on suurempi tästä paikasta tuleville puheärsykkeille. Aikaisemmissa tutkimuksissa puheärsykkeet on esitetty hitaassa tahdissa, mikä on mahdollistanut laajan tarkkaavaisuuskentän. Tässä tutkimuksessa auditoriset puheärsykkeet esitettiin viidestä eri suunnasta (edestä, 45°/90° vasemmalta/oikealta) nopeassa tahdissa. Visuaaliset ärsykkeet (puhuvat naisen kasvot) esitettiin aina edestä. Muuntelimme kuulotarkkaavaisuuden tilaa esittämällä kuuloärsykkeitä eri todennäköisyyksillä eri suunnista; suurin osa puheärsykkeistä esitettiin yhdestä suunnasta (edestä tai 90° vasemmalta) ja harvoin muista suunnista. Koehenkilöiden tehtävänä oli vastata mahdollisimman nopeasti ja tarkasti mitä he kuulivat, ja olla välittämättä äänen tulosuunnasta. Tuloksemme osoittivat että tilanteessa, jossa ääniä esitettiin yhtä usein kaikista eri suunnista, McGurk-illuusion voimakkuus oli riippumaton äänen tulosuunnasta. Koehenkilöiden kuulotarkkaavaisuuden ollessa kohdistettuna suoraan eteen, McGurk-illuusio vahvistui edestä tuleville puheärsykkeille. Kun kuulotarkkaavaisuus oli kohdistettu 90° vasemmalle, McGurk-illuusio oli edelleen voimakkain edestä tuleville puheärsykkeille. Illuusio oli kuitenkin hieman voimakkaampi vasemmalta, kuin oikealta tuleville ärsykkeille. Tulokset osoittavat ensimmäistä kertaa, että äänen tulosuunta voi vaikuttaa audiovisuaaliseen integraatioon riippuen siitä, miten tarkkaavaisuutta suunnataan tilassa.Description
Supervisor
Sams, MikkoThesis advisor
Tiippana, KaisaKeywords
audiovisual integration, audiovisuaalinen integraatio, speech, puhe, McGurk effect, McGurk-illuusio, spatial attention, tarkkaavaisuus, sound location, äänen tulosuunta