Brain Mechanisms Underlying Perception of Naturalistic Social Events

Abstract

Understanding the brain basis of the wide variety of skills needed to seamlessly interact with other people in the social world is one of the most important goals of social cognitive neuroscience. However, it has remained unclear how the elementary processes of social interaction that have been studied so far generalize to complex naturalistic settings where multiple social cues have to be dynamically tracked at the same time. The studies presented here employ movies to depict real-life-like social interactions and map the brain systems that participate in the perception of different aspects of the stimuli, particularly focusing on their social signals. Brain activity during viewing of the movies was recorded with functional magnetic resonance imaging. Additionally, the eye gaze of the subjects was recorded and behavioral measures were acquired in a subset of the experiments. Subjects' viewing patterns and interpretation of the movie were manipulated in one of the studies by asking the subjects to adopt two different perspectives. The brain activity was analyzed by multiple methods: parametric models of stimulus contents, inter-subject correlations of brain activity, independent component analysis, and network analysis. First study compared methods for analyzing both stimulus-related activity and covariation of networks of brain regions during naturalistic conditions to find networks responding to speech, sound, motion categories and low-level visual information. Second study elucidated the organization of the brain regions participating in processing several types of social contents. The results highlight the role of the posterior superior temporal sulcus as a key structure potentially integrating multiple types of social information. Finally, the third study provides first direct experimental evidence for the hypothesis that shared brain activity across individuals reflects shared understanding of the external world. Consistency of the findings demonstrate the feasibility of studying brain responses to simple stimulus features, social movie content as well as high-level perspective taking tasks during very rich naturalistic audiovisual stimulus conditions.

Eräs sosiaalisen kognitiivisen neurotieteen tärkeimmistä tavoitteista on ymmärtää miten aivot mahdollistavat kaikki ne taidot, joita tarvitaan saumattomaan sosiaaliseen vuorovaikutukseen ihmisten kesken. On kuitenkin epäselvää, kuinka aiemmin yksinkertaistetuissa kokeissa havaitut koetulokset yleistyvät monimutkaisiin luonnollisenkaltaisiin tilanteisiin, joissa useita sosiaalisia vihjeitä pitää pystyä seuraamaan yhtä aikaa. Tässä väitöskirjassa koehenkilöille esitettiin luonnollisen kaltaisia sosiaalisia vuorovaikutustilanteita elokuvien avulla ja tutkitaan aivojärjestelmiä, jotka osallistuvat ärsykkeiden eri piirteiden havainnointiin keskittyen erityisesti elokuvien sosiaaliseen sisältöön. Aivojen toimintaa mitattiin toiminnallisen magneettikuvauksen avulla. Lisäksi osassa kokeista mitattiin silmänliikkeitä ja kerättiin koehenkilöiltä arvioita heidän toiminnastaan. Yhdessä kokeista koehenkilöiden katselutapaa ja elokuvan tulkintaa manipuloitiin ohjeistamalla heitä katsomaan elokuvaa eri näkökulmista. Aivotoiminnan analysointiin käytettiin useita lähestymistapoja: parametrisia malleja ärsykepiirteistä, koehenkilöiden aivoaktivaatioiden välistä korrelaatiota ja riippumattomien komponenttien analyysia sekä verkostoanalyysia. Ensimmäisessä osatyössä vertailtiin ärsykepiirteiden havaitsemiseen liittyvää aivoaktivaatiota ja aivojen toiminnallisia verkostoja luonnollisen kaltaisen ärsykkeen aikana ja löydettiin verkostoja, jotka osallistuvat puheen, äänen, liikekategorioiden ja alhaisen tason visuaalisten piirteiden analysointiin. Toinen osatyö valottaa useiden eri sosiaalisten piirteiden analysointiin osallistuvien aivoalueiden organisaatiota. Tulokset viittavat siihen, että ylemmän ohimouurteen takaosa on sosiaaliselle havainnoinnille tärkeä aivoalue, joka mahdollisesti yhdistää hyvin monipuolista sosiaalista informaatiota. Kolmannen osatyön tulokset puolestaan tukevat hypoteesia, että ihmisten tulkitessa ulkomaailmaa samalla tavoin heidän aivotoimintansakin muuttuu samankaltaisemmaksi. Yhtenevät tulokset osoittavat, että sekä yksinkertaisten ärsykepiirteiden ja sosiaalisen sisällön analysointiin, että korkean tason perspektiiviin ottamiseen liittyvää aivotoimintaa voidaan tutkia monimutkaisen audiovisuaalisen ärsykkeen aikana.