RSA-based fusion of ultrafast fMRI and M/EEG responses to an auditory narrative

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Authors

Date

2019-12-16

Department

Major/Subject

Human Neuroscience and Technology

Mcode

SCI3601

Degree programme

Master’s Programme in Life Science Technologies

Language

en

Pages

51 + 2

Series

Abstract

Today, the relationships between neural activity and cognitive processes are investigated using various neuroimaging techniques. However, each imaging modality provides limited information about brain activity due to, for example, compromises between the spatial and temporal resolution. Multimodal data fusion approaches have been able to combine the benefits of several modalities to achieve more accurate measures of brain activity. The aim of this study was to investigate in which brain regions neural representations recorded with ultrafast fMRI are similar to neural representations recorded with simultaneous M/EEG envelopes in seven frequency bands using a RSA-based fusion approach. Both inter-subject and within-subject analysis approaches were tested with a focus on the activity in the left-hemispheric cortical parcels during auditory narrative processing. This study also analysed the inter-subject correlations within each modality. SMS-InI data showed inter-subject correlations up to r = 0.054. The inter-subject correlations for the M/EEG envelopes in seven different frequency bands showed clearly weaker correlation values than for ultrafast fMRI (inter-subject correlation r < 0.003). The within-subject RSA-based fusion of SMS-InI and M/EEG envelopes showed statistically significant correlations in the frequency bands of 1-4 Hz, 8-11 Hz, and 13-23 Hz (r < 0.009) with the highest correlations in the superior parietal cortex, the precuneus, the inferior temporal cortex, the pericalcarine, and the caudal parts of the middle frontal gyrus. The inter-subject RSA approach did not yield statistically significant correlations between SMS-InI and M/EEG. This study suggests that RSA can be used for within-subject fusion of ultrafast fMRI and M/EEG data gathered during long, naturalistic experimental settings. The study further confirmed the use of inter-subject correlation as a valuable tool for investigating complex M/EEG data sets.

Sambandet mellan hjärnaktivitet och kognitiva processer undersöks idag med en mångfald av olika hjärnavbildningstekniker. Varje avbildningsteknik bidrar dock med en begränsad mängd information om den underliggande hjärnaktiviteten pågrund av en kompromiss mellan metodernas spatiala och temporala upplösning. Multimodala integrationsmetoder har gjort det möjligt att kombinera modalitietsspecifika fördelar för att uppnå ett mer exakt mått på den neurala aktiviteten i olika delar av hjärnan. Må let med den här studien var att undersöka likheterna mellan ultrasnabb fMRI (SMS-InI) och M/EEG data på olika frekvensband med hjälp av en RSA-baserad fusionsmetod. RSA tillämpades både enskilt för varje försöksperson och som en gruppanalys över alla försökspersoner med fokus på aktiviteten i kortikala områden i vänstra hjärnhalvan under bearbetning av en auditiv berättelse. Den här studien analyserade också den modalitetsspecifika korrelationen (ISC) mellan försökspersonerna. ISC-värden upp till r = 0.054 påvisades för SMS-InI datan. Korrelationen mellan försökspersonerna för M/EEG på sju olika frekvensband var klart lägre än för SMS-InI (r < 0.003). Den subjektsspecifika RSA-baserade fusionen mellan SMS-InI och M/EEG uppvisade statistiskt säkerställda korrelationsvärden på följande frekvensband: 1-4 Hz, 8-11 Hz och 13-23 Hz (r < 0.009). Den gruppbaserade RSA metoden bidrog dock inte med statistiskt säkerställda korrelationsvärden mellan SMS-InI och M/EEG. Denna studie föreslår RSA som en metod för subjektsspecifik fusion av ultrasnabb fMRI och M/EEG data som samlats under långa, naturalistiska experimentella uppsättningar. Studien bekräftar även användningen av ISC som en metod för att undersöka komplex M/EEG data.

Description

Supervisor

Jääskeläinen, Iiro

Thesis advisor

Hakonen, Maria

Keywords

fMRI, M/EEG, inverse imaging, representational similarity analysis, inter-subject correlation, multimodal integration

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-201912226599

Collections

[dipl] Perustieteiden korkeakoulu / SCI