The effect of the attentional load on audiovisual speech perception

No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology | Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2005
Major/Subject
Laskennallinen tekniikka
Mcode
S-114
Degree programme
Language
fi
Pages
63
Series
Abstract
Puhe on ensisijaisesti auditiiviseen puheviestintään perustuva ilmiö, mutta myös näköaistimus vaikuttaa puheen havaitsemiseen. Kyseessä on audiovisuaalinen integraatio, joka on todettu mm. McGurk-efektin avulla: esimerkiksi yhdistettäessä /ki/ tavun lausuvat kasvot /pi/-ääneen, on kuulohavainto tavu Iti/. Kokeessa tutkittiin tarkkaavaisuuden kuormittamisen vaikutusta puheen audiovisuaaliseen havaitsemiseen. Tutkimuksessa tehtiin psykofyysinen koe, jonka hypoteesinä oli, että audiovisuaalinen integraatio heikkenee, kun tarkkaavaisuutta kuormitetaan häiriöärsykkeiden avulla. Kokeessa mitattiin tarkkaavaisuutta kuormittavan tehtävän vaikutusta McGurk-efektin voimakkuuteen. Kokeessa esitettiin kolmenlaisia puheärsykkeitä: pelkkiä auditiivisia, pelkkiä visuaalisia, yhdenmukaisia audiovisuaalisia ja ristiriitaisia audiovisuaalisia eli McGurk-ärsykkeitä. Puheärsykkeiden lisäksi puhujan suun kohdalla esitettiin nopeaan tahtiin häiriöärsykkeitä. Häiriöärsykkeet olivat viivapiirroksia erilaisista objekteista (esineitä, eläimiä jne.). Kokeessa oli kolme tilannetta: puheärsykkeiden seuraaminen ilman häiriötehtävää, helppo häiriötehtävä ja vaikea häiriötehtävä. Helpossa tehtävässä koehenkilön tuli reagoida aina tiettyyn häiriöärsykkeeseen. Vaikeassa tehtävässä koehenkilön oli reagoitava kahteen peräkkäiseen samanlaiseen häiriöärsykkeeseen. Puheärsykkeiden avulla selvitettiin, vaikuttiko samanaikainen häiriötehtävä puheen audiovisuaaliseen integraatioon. Jos näin on, McGurk-efektin pitäisi heikentyä, kun häiriötehtävää vaikeutetaan. Tutkimuksessa saadut tulokset eivät tue tätä hypoteesia. McGurk-efekti oli yhtä voimakas kaikissa tilanteissa. Tarkkaavaisuuden kuormittaminen ei tämän tutkimuksen mukaan vaikuta audiovisuaaliseen integraatioon.
Description
Supervisor
Jääskeläinen, Iiro
Thesis advisor
Möttönen, Riikka
Keywords
audiovisual speech, audiovisuaalinen puhe, integration, integraatio, attention, tarkkavaisuus, perception, havaitseminen, McGurk effect, McGurk-efekti
Other note
Citation