Learning Centre

Visuaalisen puheen vaikutus FM-pyyhkäisyiden aiheuttamiin MEG vasteisiin

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Kauramäki, Jaakko; DI
dc.contributor.author Tujunen, Juuso
dc.date.accessioned 2011-12-08T09:20:16Z
dc.date.available 2011-12-08T09:20:16Z
dc.date.issued 2006
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/959
dc.description.abstract Multimodaalisuus eli useiden eri aisteista tulevan tiedon yhdistäminen yhdeksi yhtenäiseksi havainnoksi on keskushermoston yleinen ominaisuus. Tämä koskee myös audiovisuaalista toimintaa eli kuullun ja nähdyn yhdistämistä. Eräs tunnetuimmista ja vaikuttavimmista esimerkeistä tästä on niin sanottu McGurk-illuusio, jossa tiettyä tavua vastaava ääni ja eri tavua vastaava videokuva puhuvasta henkilöstä aiheuttavat kuuloaistimuksen, joka eroaa näistä kahdesta ärsykkeestä. Tässä kokeessa tutkittiin visuaalisen puheen vaikutusta formantin kaltaisten sinipyyhkäisyiden aiheuttamiin aivovasteisiin käyttämällä magnetoenkefalografiaa (MEG) tutkimusmenetelmänä. MEG mittaa aivoissa olevien sähkövirtojen pään ympärille muodostamaa magneettikenttää; tästä kentästä päätellään taas aivoissa tapahtuvat aktivaatiot. Visuaalisina puheärsykkeinä toimi joko henkilö toistamassa tavua /ba/, tavua /ga/ tai still-kuva samasta henkilöstä. Auditorisina ärsykkeinä toimi kuusi sinipyyhkäisyä, joiden alku ja lopputaajuudet olivat seuraavat: 200-700 (F1), 400-1800 (F2a), 1000-1800 (F2b), 1600-1800 (F2c), 2200-1800 (F2d) ja 2800-1800 Hz (F2e). Tutkimusoletuksena oli, että kun visuaalinen ja auditorinen ärsyke vastaisivat toisiaan, aktivaatio aivoissa olisi voimakkaampaa tai heikompaa, kun jos ne eivät vastaisi toisiaan. Myös vasteiden latenssit saattaisivat erota toisistaan. Kokeessa tuli aina sarja joko /ba/-, /ga/- tai still-tilannetta videolta, joiden aikana kuului sinipyyhkäisyjä satunnaisessa järjestyksessä. Visuaaliset tilanteet vaihtuivat myös satunnaisesti. Koehenkilöiden tuli aina visuaalisen tilanteen vaihtuessa toiseksi vastata nostamalla sormeaan. Kokeen lopputulokset olivat ristiriitaiset: kun dataa tarkasteltiin yhtenä kokonaisuutena, mitään yhteisvaikutusta nähdyn ja kuullun ärsykkeen välillä ei havaittu. Kun taas nähdyn ärsykkeen vaikutusta aivovasteisiin tutkittiin eri tilanteissa, havaittavissa saattaa olla tietyissä yksittäistapauksissa esiintyvää modulaatiota vasteiden amplitudeissa, mutta tämä on epävarmaa. Mahdollisia visuaalisia efektejä testattiin useammalla tilastollisella testillä. Eroja aktivaatioista löytyi vasemmalta puolelta aivoja. Mahdollinen interaktioefekti visuaalisen ja auditorisen ärsykkeen välillä oli olemassa, mutta tämän efektin tarkka luonne on epäselvä. Koe kuitenkin paljasti muita ärsykkeisiin liittyviä efektejä. Kuultu ääni vaikutti sekä vasemmassa että oikeassa aivopuoliskossa sekä mitattaessa amplitudia että latenssia siihen, millainen aktivaatio syntyi. fi
dc.description.abstract Multimodality (combination of information coming from several senses as a unified perception) is a common property of central nervous system. One example of this is combination of auditory and visual information; that is, what is seen and what is heard. One of the better known and most impressive examples of this is the McGurk illusion, where a sound of a syllable and a video picture of a person pronouncing another syllable produce a completely new audio sensation, which is different from the audio and visual stimuli alone. This experiment examined the effect of visual speech on brain responses evoked by formant like sine wave sweeps using magnetoencephalography (MEG) as a research method. MEG measures the magnetic field outside the head, which is caused by electrical currents on our brains; from this magnetic field the electric current distribution inside the head is then deducted. Visual speech stimuli were either a video of a person pronouncing /ba/, pronouncing /ga/ or a still picture of the same person. Auditory stimuli were six different sine sweeps, with the following initial and final frequencies: 200-700 (F1), 400-1800 (F2a), 1000-1800 (F2b), 1600-1800 (F2c), 2200-1800 (F2d) and 2800-1800 Hz (F2e). The hypothesis was that when auditory and visual stimulus match each other, the activation in the brains would be stronger, than when they do not match each other. In the experiment, a series of /ba/-, /ga/- or still situation came from the video, during which the subject heard sound stimuli coming in a random order. The order of visual series was random. Whenever the visual series changed to another, the subject was supposed to answer by lifting a finger. The results of the experiment were contradictory: when the data was observed as a hole, no interaction effect between the visual and audio stimulus was observed. When the effect of visual stimuli in different situations was being observed, there might have been some kind of interaction effect present in isolated cases, but this is uncertain. Possible visual effects were tested with several statistical tests. Differences in activations were present in the left hemisphere. A potential interaction effect between auditory and visual stimuli was detected, but the exact nature of this effect remains unclear. The experiment did, however, reveal other effects. The heard sound affected both in the left and in the right hemisphere, with both amplitude and latency to that, which kind of activation occurred. en
dc.format.extent 73
dc.format.mimetype application/pdf
dc.language.iso en en
dc.publisher Helsinki University of Technology en
dc.publisher Teknillinen korkeakoulu fi
dc.subject.other Mathematics en
dc.subject.other Medical sciences en
dc.title Visuaalisen puheen vaikutus FM-pyyhkäisyiden aiheuttamiin MEG vasteisiin fi
dc.title The effect of visual speech on FM-sweep evoked MEG responses en
dc.type G2 Pro gradu, diplomityö fi
dc.contributor.department Department of Electrical and Communications Engineering en
dc.contributor.department Sähkö- ja tietoliikennetekniikan osasto fi
dc.subject.keyword magnetoencephalography en
dc.subject.keyword event-related potential en
dc.subject.keyword audiovisual integration en
dc.subject.keyword magnetoenkefalografia fi
dc.subject.keyword herätepotentetiaali fi
dc.subject.keyword audiovisuaalinen integraatio fi
dc.identifier.urn urn:nbn:fi:tkk-007609
dc.type.dcmitype text en
dc.programme.major Computational engineering en
dc.programme.major Laskennallinen tekniikka fi
dc.programme.mcode S-114
dc.type.ontasot Diplomityö fi
dc.type.ontasot Master's thesis en
dc.contributor.supervisor Jääskeläinen, Iiro; Prof.
dc.programme Elektroniikan ja sähkötekniikan koulutusohjelma fi
dc.contributor.lab Laboratory of Computational Engineering en
dc.contributor.lab Laskennallisen tekniikan laboratorio fi
dc.location P1 fi
local.aalto.openaccess yes
local.aalto.digifolder Aalto_38593
dc.rights.accesslevel openAccess
local.aalto.idinssi 33089
dc.type.publication masterThesis
dc.type.okm G2 Pro gradu, diplomityö


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse