Decoding emotions from brain activity and connectivity patterns

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2018-02-16
Date
2018
Major/Subject
Mcode
Degree programme
Language
en
Pages
76 + app. 108
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 17/2018
Abstract
Emotions guide both human and animal behavior providing the means for survival in a constantly changing environment. Different emotions seem to be distinct from each other in several aspects, including physiological changes, bodily sensations, facial expressions, and subjective experience. Whether and how such emotion categories exist at the neural level remains however under debate. The goal of this dissertation was to employ pattern classification methods to investigate the neural underpinnings of different emotion states. Specifically, it was hypothesized that if different emotions have distinct neural bases, we should be able to reliably classify them from brain activity and connectivity patterns. Further, it was hypothesized that the classifier confusions presumably reveal which emotions have similar neural substrates. Multiple emotional states were induced in four studies with altogether 109 participants using emotional movies, mental imagery, and narratives while participants' brain activity was measured with functional magnetic resonance imaging (fMRI). Several approaches to the fMRI data analyses were employed: multivariate pattern classification to distinguish voxel activity and functional connectivity patterns underlying different emotions, representational similarity analysis to compare experienced and neural similarity of different emotions, functional connectivity analysis to reveal emotional modulations in brain connectivity, univariate methods such as general linear model (GLM) to visualize the neural substrates of different emotions, and correlation analyses to compare the relationship of different emotions at different emotion-related components. Results from these studies show that specific emotions can be classified from both voxel activity and functional connectivity patterns. Successful pattern classification of voxel activity across the whole brain shows that different emotions have distinct brain activity patterns that generalize across participants and across emotion induction techniques. Further, emotions that subjectively feel more similar also have more similar neural underpinnings. Functional connectivity is modulated by emotional content and shows distinct patterns for different emotions especially within the default mode network (DMN). DMN regions especially in the cortical midline, together with somatomotor, sensory, and subcortical areas, support most emotions. Finally, distinctness of emotions is related at the level of different components, including facial expressions, bodily sensations, emotional evaluations, subjective experiences, and neural substrates. To conclude, emotions have distinct brain activity and connectivity patterns that encompass large extent of the brain. Emotions can thus be viewed as systemic states that, at a given moment, facilitate and constrain other mental functions.

Tunteet ohjaavat ihmisten ja eläinten käyttäytymistä tarjoamalla keinoja selviytyä jatkuvasti muuttuvassa ympäristössä. Eri tunteet eroavat toisistaan monin tavoin: eri tunnetiloihin liittyy erilaisia fysiologisia muutoksia, kehon tuntemuksia, kasvonilmeitä ja yksilöllisiä tunnekokemuksia. Tunnetutkimuksessa kuitenkin kiistellään siitä, miten eri tunnetilat eroavat toisistaan aivoissa. Tämän väitöskirjan tavoitteena oli hyödyntää koneoppimisen menetelmiä eri tunnetilojen hermostollisen perustan tutkimiseksi. Erityisesti oletettiin, että jos eri tunteilla on erillinen aivoperusta, ne pitäisi pystyä luokittelemaan aivojen aktiivisuuden ja yhteyksien muutosten perusteella. Lisäksi oletettiin, että käytetyn luokittelualgoritmin tekemät virheet paljastavat, millä tunteilla on keskenään samankaltaisempi hermostollinen perusta. Eri tunnetiloja tuotettiin neljässä tutkimuksessa (yhteensä 109 vapaaehtoista osallistujaa) tunnepitoisten elokuvien, eläytymistehtävän ja tarinoiden avulla samalla, kun osallistujien aivojen aktivaatiota mitattiin toiminnallisella magneettikuvantamisella (fMRI). Datan analyysissa käytettiin useita eri lähestymistapoja: eri tunteisiin liittyviä vokselikohtaisia aktivaatioita ja funktionaalista konnektiviteettia eriteltiin koneoppimisen luokittelualgoritmeja käyttäen, eri tunteiden koettua ja hermostollista samankaltaisuutta vertailtiin samankaltaisuusanalyysia hyödyntäen, tunteiden aikaansaamia muutoksia aivojen konnektiivisuudessa tutkittiin funktionaalista konnektiivisuusanalyysia käyttäen, yksimuuttujamenetelmiä kuten lineaarista regressiota käytettiin eri tunteiden aivoperustan visualisointeihin ja korrelaatioanalyyseilla verrattiin tunnetilojen eroja tunteiden eri komponenteissa. Tulokset osoittavat, että tunteita voidaan luokitella sekä vokseliaktivaatioiden että funktionaalisen konnektiviteetin muutosten perusteella. Onnistunut koko aivojen aktivaatioon perustuva luokittelu osoittaa, että eri tunteilla on erillinen aivoperusta, joka yleistyy henkilöstä ja tunteiden herättämistekniikasta toiseen. Lisäksi tunteilla, jotka koetaan samankaltaisempina, on myös samankaltaisempi aivoperusta. Tunne muokkaa funktionaalista konnektiviteettia, jonka tunnekohtaiset erot ovat selvimpiä aivojen lepotilaverkostoissa (default mode network, DMN). Aivojen keskilinjan rakenteiden lisäksi erityisesti somatomotoriset, sensoriset ja subkortikaaliset alueet aktivoituvat useimpien tunteiden aikana. Tunteiden erillisyys ilmenee eri komponteissa, kuten kasvonilmeissä, kehon tuntemuksissa, tunnesisällön arvioinnissa, yksilöllisessä tunnekokemuksessa sekä aivoperustassa. Yhteenvetona voidaan todeta, että eri tunteisiin liittyy kullekin tunteelle tyypillinen aivojen aktivaatio ja konnektiviteetti, jotka kattavat suuren osan aivoista. Tunteita voidaan siis pitää aivojen tilana, joka kullakin ajanhetkellä vaikuttaa muihin mielen toimintoihin.
Description
Supervising professor
Sams, Mikko, Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
Thesis advisor
Nummenmaa, Lauri, Prof., University of Turku, Finland
Jääskeläinen, Iiro P., Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
Keywords
emotion, brain, pattern classification, functional connectivity, fMRI, MVPA, RSA, tunteet, aivot, koneoppiminen, funktionaalinen konnektiviteetti
Other note
Parts
  • [Publication 1]: Saarimäki H, Gotsopoulos A, Jääskeläinen IP, Lampinen J, Vuilleumier P, Sams M, Hari R, Nummenmaa L (2016). Discrete neural signatures of basic emotions. Cerebral Cortex 26: 2563-2573.
    DOI: 10.1093/cercor/bhv086 View at publisher
  • [Publication 2]: Saarimäki H, Ejtehadian LF, Glerean E, Jääskeläinen IP, Vuilleumier P, Sams M, Nummenmaa L (under revision). Distributed affective space represents multiple emotion categories across the brain. Social cognitive and Affective Neuroscience.
  • [Publication 3]: Nummenmaa L, Saarimäki H, Jääskeläinen IP, Glerean E, Gotsopoulos A, Hari R, Sams M (2014). Emotional speech synchronizes brain across listeners and engages large-scale dynamic brain networks. NeuroImage 102:498-509.
    DOI: 10.1016/j.neuroimage.2014.07.063 View at publisher
  • [Publication 4]: Saarimäki H, Glerean E, Smirnov D, Mynttinen H, Jääskeläinen IP, Sams M, Nummenmaa L (under review). Classification of emotions from brain connectivity patterns. Journal of Neuroscience.
  • [Publication 5]: Nummenmaa L, Saarimäki H (in press). Emotions as discrete patterns of systemic activity, Neuroscience Letters.
    DOI: 10.1016/j.neulet.2017.07.012 View at publisher
Citation