Item-level decodability of semantic representations in the brain between individuals
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2019-03-11
Department
Major/Subject
Complex Systems
Mcode
SCI3060
Degree programme
Master’s Programme in Life Science Technologies
Language
en
Pages
76 + 6
Series
Abstract
Meanings of nouns are widely thought to be grounded in experience. The experience of the world is unique for everyone, but many experiences are shared with other people. This study investigated whether human brain-level semantic representations of items are shared between individuals. Brain activity of 20 healthy volunteers was measured using magnetoencephalography (MEG), while they were shown black-and-white photographs of concrete nouns. MEG data was analysed on the sensor level. The aim was to predict, for each participant, the presented stimuli based on the participant’s brain activation, using a model which was trained on the data of the other participants. The semantic relationship among the stimuli was modelled using a semantic feature set collected through a web-based survey. The correspondence between the stimulus items and the MEG patterns was learned and, subsequently, predicted using machine learning methods, specifically with a zero-shot decoding algorithm. Cross-subject decoding was successful at the item-level with accuracy significantly above chance level. Most commonalities in semantic representations between subjects were found at 150–250 ms and 350–550 ms after the stimulus onset. Some subjects had more similar brain responses than others, however, similar internal structures of brain responses between individuals did not directly imply good cross-subject decoding performance. Cross-subject decoding did not reach the accuracy of within-subject decoding, suggesting that semantic representations of concrete items are partly individual and partly shared. More research is needed to uncover the factors that may cause individual differences in semantic representations and in decoding of such representations in the cortex using machine learning methods.Yleisen näkemyksen mukaan sanojen merkitykset muodostuvat kokemuksen kautta. Kokemus ympäröivästä maailmasta on yksilöllinen, mutta monet kokemukset ovat yhteisiä. Tässä diplomityössä tutkittiin merkitysedustumien samankaltaisuutta eri koehenkilöiden aivokuorella. Koeasetelmassa koehenkilöiden aivoaktivaatiota mitattiin MEG-laitteella henkilöiden katsellessa musta-valkoisia valokuvia, jotka esittivät konkreettisia substantiiveja. MEG-data analysoitiin kanavatasolla, ja aivovasteiden samankaltaisuutta tutkittiin zero-shot -dekoodausalgoritmin avulla. Tavoitteena oli määrittää näytetty ärsykevalokuva koehenkilön aivoaktivaation perusteella käyttäen koneoppimismenetelmää, jossa ennustusmalli opittiin toisen koehenkilön aivoaktivaatiosta. Sanojen merkityksiä mallinnettiin ominaisuusmatriisilla, joka perustui verkkokyselyn tuloksiin. Koehenkilöiden ajattelemat ärsykesanat pystyttiin tulkitsemaan aivodatasta toiselta koehenkilöltä opitun mallin avulla tilastollisesti merkitsevällä tarkkuudella. Eniten yhtäläisyyksiä aivoaktivaatioissa löydettiin 150-250 ms ja 350-550 ms ärsykkeen esittämisen jälkeen. Havaittiin myös, että joidenkin koehenkilöiden semanttiset merkitysedustumat olivat samankaltaisempia kuin toisten. Kuitenkaan aivokuoren merkitysedustumien etäisyyksien samankaltaisuus eri koehenkilöiden välillä ei suoraan korreloinut hyvän ennustustarkkuuden kanssa. Ennustustarkkuus oli myös huonompi dekoodauksessa koehenkilöiden yli, kuin jos koneoppimismalli opetettiin ja testattiin saman koehenkilön datalla. Tuloksista voidaan päätellä, että osa merkitysten käsittelystä aivokuorella on yksilöllistä ja osa samankaltaista eri ihmisillä. Näitä yksilöllisiä eroja synnyttävien tekijöiden tunnistaminen vaatii jatkotutkimuksia.Description
Supervisor
Salmelin, RiittaThesis advisor
Hultén, AnnikaKeywords
semantics, word meaning, brain, MEG, decoding