Electroencephalographic study on audiovisual integration of speech and non-speech stimuli

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Helsinki University of Technology | Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author

Authors

Date

2006

Department

Sähkö- ja tietoliikennetekniikan osasto

Major/Subject

Laskennallinen tekniikka

Mcode

S-114

Degree programme

Language

en

Pages

xi + 81 s. + liitt. 6

Series

Abstract

Havaitseminen jokapäiväisessä elämässämme on moniaistista. Muodostaakseen yhtenäisen kuvan esineestä tai tapahtumasta aivojen täytyy yhdistää eri aistien tuomaa tietoa. Audiovisuaalisen puheen havaitseminen, jossa tietoa puhujan kasvonliikkeistä ja äänestä yhdistyy, on esimerkki moniaistisesta integraatiosta. Tässä työssä tutkittiin samanaikaisten ja asynkronisten puhe- ja ei-puhe -ärsykkeiden audiovisuaalista integraatiota ihmisen kuuloaivokuorella elektroenkefalografian (EEG) avulla. Erityisesti haluttiin selvittää, onko kuuloärsykkeen herätepotentiaalin N1-komponentin amplitudin vaimeneminen erityistä puheelle ja integroidaanko asynkroniset ärsykkeet voimakkaammin ja nopeammin kuin samanaikaiset ärsykkeet. EEG mitattiin koehenkilöiden suorittaessa objektin tunnistustehtävää oddball-koeasetelmassa. Näköärsykkeinä käytettiin /ä/- ja /ö/ -vokaaleja ja muotoaan muuttavia renkaita, ja kuuloärsykkeinä /ä/- ja /ö/ -vokaaleja sekä 500 Hz ja 840 Hz taajuisia siniääniä. Ärsykkeet esitettiin unimodaalisina (A, V), samanaikaisina (AV) ja asynkronisina audiovisuaalisina, jolloin näköärsyke esitettiin 200 ms ennen kuuloärsykettä. Kokeessa oli neljä tilannetta: yhdessä tilanteessa oli puheärsykkeitä, yhdessä ei-puheärsykkeitä, ja kahdessa näiden yhdistelmiä. Audiovisuaaliset ärsykkeet tunnistettiin nopeammin kuin pelkät kuulo- tai näköärsykkeet kaikissa tilanteissa, joissa ärsykkeet esitettiin samanaikaisesti. Kuuloärsykkeen aiheuttaman herätepotentiaalin N1-komponentin vaimenemista tapahtui sekä samanaikaisilla että asynkronisilla puheärsykkeillä, mutta ei tilanteissa, joissa oli ei-puheärsykkeitä. Tulosten mukaan AV-puhetta mahdollisesti integroidaan kuuloaivokuorella. Nl:n amplitudin vaimenemisen ehdotetaan olevan ominaista puheelle, mutta todetaan ettei se johdu näköinformaation aikaisemmuudesta audiovisuaalisessa puheessa. Kuuloaivokuorella saattaa olla erityisiä mekanismeja AV-puheen käsittelemiseksi.

Description

Supervisor

Sams, Mikko

Thesis advisor

Tiippana, Kaisa
Möttönen, Riikka

Keywords

electroencephalography, elektroenkefalografia, audiovisual integration, audiovisuaalinen integraatio, evoked potential, herätepotentiaali, multisensory perception, moniaistinen havaitseminen, auditory cortex, kuuloaivokuori

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-2020120552360

Collections

[dipl] Teknillinen korkeakoulu / TKK