Dynamics of cortical brain activity during movie viewing

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2018-01-19
Date
2018
Major/Subject
Mcode
Degree programme
Language
en
Pages
66 + app. 70
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 11/2018
Abstract
Movies can trigger perceptual, cognitive and emotional processes at multiple levels in the viewer's brain and thus provide useful tools to study human brain function. Furthermore, movies - as relatively natural stimuli - can help understand the brain activity supporting our everyday life. Earlier, brain activity during movie viewing has been studied mostly with functional magnetic resonance imaging (fMRI). Although fMRI provides a spatial resolution of millimeters, the temporal resolution of fMRI is limited, as fMRI measures the relatively slow changes of blood flow in the brain. Magnetoencephalography (MEG) measures the electromagnetic activity of synchronized neuronal populations with a temporal resolution of a millisecond. This Thesis focuses on finding consistent MEG signals across different movie viewers. In naturalistic experimental settings, it is challenging to uncover the signals of interest from the measured brain activity due to the com-plexity of both the brain function and the measured signals. Movies are also typically shown to the subjects only once, so that signal averaging cannot be used to enhance the signal-to-noise ratio. This Thesis aimed at developing MEG analysis tools that can capture complex brain responses to movies. Multiset canonical correlation analysis (MCCA) with spatial filtering, used to find consistent time-varying patterns of brain activity across viewers, played a major role in this Thesis. The first study addressed the similarity of MEG signals of eight movie viewers. Because the single-trial MEG signals are noisy, the previously used intersubject correlation methods did not uncover consistent brain activity across the viewers. However, MCCA-based spatial filtering allowed extract-ing signals that were significantly correlated across the subjects in several frequency bands. These signals originated from brain areas relevant for movie viewing, mostly visual cortices. The second study unraveled the dynamics of MEG signals originating in the somatosensory cortex during movie viewing. Tactile stimuli, presented once per second, probed the functional state of the somatosensory cortex during movie viewing. The evoked single-trial responses to these stimuli covaried with the appearance of haptic events in the movie. Thus, the movie contents continuously modulated the viewer's brain activity in a fine-grained manner. The third study compared MEG and fMRI signals of the same subjects during movie viewing. The correlations both across and within the subjects were stronger for fMRI than MEG signals. General linear modeling between the MEG and fMRI data demonstrated similarity between the electromagnetic and hemodynamic brain activity in occipital, temporal and frontal cortices. These studies demonstrate the feasibility of the developed and validated analysis approaches to uncover consistency in complex MEG signals measured during movie viewing. The results show that a part of the neuromagnetic brain activity is synchronized across viewers with high temporal accuracy in multiple brain regions.

Elokuvat synnyttävät katselijan aivoissa monitasoisia aistihavaintoihin, kognitioon ja tunteisiin liittyviä prosesseja ja tarjoavat siksi erinomaisen välineen aivotutkimukseen. Elokuvien avulla päästään myös kohti aiempaa luonnollisempia koeasetelmia, mikä auttaa ymmärtämään aivojen toimintaa jokapäiväisessä toimintaympäristössämme. Aiemmin elokuvan synnyttämää aivotoimintaa on tutkittu lähinnä toiminnallisella magneettikuvauksella (functional magnetic resonance imaging; fMRI). Vaikka fMRI:n paikkatarkkuus on millimetrien luokkaa, fMRI:n aikatarkkuutta rajoittaa se, että menetelmä mittaa verenkiertoon liittyviä suhteellisen hitaita muutoksia. Magnetoenkefalografialla (MEG) voidaan mitata hermosolupopulaatioiden magneettikenttiä jopa millisekunnin tarkkuudella. Väitöskirjan tavoitteena oli löytää MEG-mittauksista luotettavasti toistuvaa aivoaktivaatiota katsojien välillä. Kiinnostavien signaalien löytäminen muun aivotoiminnan joukosta on kuitenkin haastavaa luonnollisissa koeasetelmissa, joissa sekä aivotoiminta että mitattu signaali ovat monimutkaisia ja ärsyke esitetään vain kerran. Tässä väitöskirjassa tutkittiin uusia lähestymistapoja elokuvan katselun aikana mitattujen MEG-signaalien analyysiin. Keskeinen menetelmä oli kanonista korrelaatiota eri koehenkilöiden mittaus-aineiston välillä (MCCA; multi-set canonical correlation analysis) hyödyntävä spatiaalinen suodatusmalli, jonka avulla löydettiin luotettavasti toistuvaa aivoaktivaatiota koehenkilöiden välillä. Ensimmäisessä osatyössä tutkittiin MEG-signaalien samankaltaisuutta koehenkilöiden välillä elokuvan katselun aikana. MEG-signaalien kohinaisuuden vuoksi luotettavia signaaleja ei pystytty löytämään aiemmin käytetyillä menetelmillä. MCCA:n avulla löydettiin useilta eri taajuuskaistoilta katsojien välillä korreloivia signaaleja lähinnä visuaaliseen prosessointiin liitetyiltä aivoalueilta. Toisessa osatyössä tutkittiin tuntoaivokuoren toimintaa elokuvan katselun aikana. Erityisesti oltiin kiinnostuneita siitä, kuinka elokuvan sisältö moduloi vasteita tuntoärsykkeille, joita annettin koehenkilöille sekunnin välein elokuvan katselun aikana. Aivovasteiden muutosten havaittiin korreloivan elokuvan haptiikkaan liittyvän sisällön kanssa. Työ osoitti, että elokuvan sisältö moduloi jatkuvasti katsojan aivotoiminnan dynamiikkaa. Kolmannessa osatyössä vertailtiin elokuvan katselun aikana mitattuja MEG- ja fMRI-signaaleja. Sekä koehenkilöiden että katselukertojen väliset korrelaatiot olivat suurempia fMRI- kuin MEG-signaaleille. Yhdistämällä MEG- ja fMRI-signaalit yleisen lineaarisen mallin (general linear model; GLM) avulla havaitiin samankaltaisuutta sähkömagneettisen ja hemodynaamisen aivotoiminnan välillä aivojen takaosissa, ohimolohkolla sekä aivojen etuosissa. Tulokset osoittavat, että kehitettyjen menetelmien avulla voidaan löytää toistettavaa aivoaktivaatiota elokuvan katselun aikana mitatuista MEG-signaaleista ja että elokuva synnyttää katsojien kesken synkronoitunutta sähkömagneettista aivoaktivaatiota useilla eri aivoalueilla.
Description
Supervising professor
Parkkonen, Lauri, Asst. Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
Thesis advisor
Koskinen, Miika, Dr., University of Helsinki, Finland
Hari, Riitta, Prof. Emer., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
Keywords
brain, magnetoencephalography (MEG), functional magnetic resonance imaging (fMRI), brain imaging, canonical correlation analysis, naturalistic stimulation, movie, aivot, magnetoenkefalografia (MEG), toiminnallinen magneettikuvaus (fMRI), aivokuvantaminen, kanoninen korrelaatioanalyysi, luonnolliset ärsykkeet, elokuva
Other note
Parts
  • [Publication 1]: Lankinen, K., Saari, J., Hari, R., & Koskinen, M. (2014). Intersubject consistency of cortical MEG signals during movie viewing. Neuroimage, 92, 217– 224.
    DOI: 10.1016/j.neuroimage.2014.02.004 View at publisher
  • [Publication 2]: Lankinen, K., Smeds, E., Tikka, P., Pihko, E., Hari, R., & Koskinen, M. (2016). Haptic contents of a movie dynamically engage the spectator’s sensorimotor cortex. Human Brain Mapping, 37, 4061–4068.
    DOI: 10.1002/hbm.23295 View at publisher
  • [Publication 3]: Lankinen, K., Saari, J., Hlushchuk, Y., Tikka, P., Parkkonen, L., Hari, R., & Koskinen, M. (2017). Consistency and similarity of MEG- and fMRI-signal time courses during movie viewing. Submitted.
Citation