Processing of subword information in the human brain

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorHultén, Annika, Dr., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
dc.contributor.advisorLehtonen, Minna, Dr. University of Oslo, Norway
dc.contributor.authorHakala, Tero
dc.contributor.departmentNeurotieteen ja lääketieteellisen tekniikan laitosfi
dc.contributor.departmentDepartment of Neuroscience and Biomedical Engineeringen
dc.contributor.labImaging Languageen
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.schoolSchool of Scienceen
dc.contributor.supervisorSalmelin, Riitta, Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
dc.date.accessioned2020-01-10T10:01:14Z
dc.date.available2020-01-10T10:01:14Z
dc.date.defence2020-01-24
dc.date.issued2020
dc.description.abstractIn agglutinative languages, such as Finnish, a single word can have a large number of possible inflected and derived forms. It is necessary for the human brain to recognize regularities in the subword structures. In study IV it was observed that the brain responses to linguistic stimuli are related to fine-grained predictions of the language input at least at the syllable level. Studies I-III tested quantitative models for describing the relationship between subword structure and the responses related to human word processing. Statistical machine-learning models developed for automated applications in Natural Language Processing have proven useful for describing morphological regularities in languages. In this thesis, these models are applied to human word processing. Visual word recognition evokes a distinct pattern of neural responses that can be functionally, temporally and spatially separated using magnetoencephalography (MEG). In study I these responses were linked to language models describing different levels of linguistic abstraction. The early occipital and occipito-temporal responses could be modeled using visual and orthographic features, whereas the responses in the bilateral temporal areas were best described by models that represented words as compositions of morphemic units or as whole words. In the statistical model of morphology used in these studies, the subword structure emerges from optimization of information representation. The structure is determined by the cost of storing distinct morphemic units and the cost of combining them. Study III found that the best performing model for describing eye-movements used compositions of morphemic segments to represent many, but not all, complex words. Many words were also kept intact. The optimal morphemes were generally more coarse-grained than those implicated by linguistic analysis. In Study II, the morphemes from the optimal statistical model were compared to linguistic morphemes in a neural decoding task in which words were identified from the cortical responses. Both statistically and linguistically structured models were successful in the decoding task. The results of this thesis suggest that the neural responses to words are related to word representation by compositions of morphemic units. The units may not be strictly linguistically determined; instead, the word structures can reflect the statistical regularities of language environment. This thesis demonstrates that quantitative modeling of cortical responses is useful for describing even relatively abstract linguistic phenomena such as morphology.en
dc.description.abstractSuomen kielen kaltaisissa agglutinatiivisissa kielissä voi sanan kantaan liittää erilaisia päätteitä kuten taivutuksia ja johdoksia. Aivot hyödyntävät sanan rakenteen säännönmukaisuuksia. Esimerkiksi tämän väitöskirjan tutkimuksen IV tulokset viittaavat siihen, että aivot pyrkivät ennustamaan kielellistä ärsykettä hienojakoisesti ainakin tavujen tasolla. Tutkimuksissa I-III selvitettiin, miten yhteyttä sanan osien ja ihmisen sanankäsittelyä kuvaavien vasteiden välillä voidaan mallintaa kvantitatiivisesti. Luonnollisen kielen automaattiseen prosessointiin liittyviin teknisiin sovelluksiin on kehitetty tilastollisia koneoppimiseen pohjautuvia malleja, joissa sanojen rakenteen säännönmukaisuus eli morfologia opitaan ilman kieliopillista informaatiota. Tässä väitöskirjassa näitä malleja sovelletaan kuvaamaan ihmisen sanankäsittelyä. Kirjoitettujen sanojen tunnistukseen liittyy sarja aivotason vasteita, jotka voidaan erottaa toisistaan ajan, paikan ja toiminnallisuuden suhteen magnetoenkefalografialla. Tutkimuksessa I vertailimme näitä vasteita kuvauksiin, jotka heijastivat informaation eri abstraktiotasoja.Varhaiset takaraivolohkon vasteet pystyttiin ennustamaan ärsykkeen visuaalisten ja ortografisten piirteiden avulla, mutta myöhemmät ohimolohkoilla havaitut vasteet selittyivät malleilla, jotka esittivät sanat kokonaisina tai kokoelmana erillisiä osia eli morfeemeja. Tässä tutkimuksessa käytetyssä morfologian mallissa sanojen pilkkominen erillisiin morfeemeihin perustuu siihen, kuinka morfeemien muistamiseen ja toisaalta niiden yhdistämiseen liittyvät kustannukset optimoidaan ja kuinka niitä painotetaan. Tutkimuksessa III ihmisten silmänliikkeitä kuvasi parhaiten malli, joissa osa monimutkaisista sanoista jaettiin osiin mutta joissa monet esitettiin myös jakamattomina. Optimaalisessa mallissa morfeemien pituus oli keskimäärin suurempi kuin kieliopillisesti määriteltyjen morfeemien. Tutkimuksessa II vertailtiin tilastollisiin morfeemiyksiköihin ja toisaalta kieliopillisiin morfeemeihin pohjautuvia malleja tehtävässä, jossa aivovasteen perusteella pyrittiin ennustamaan niihin liittyvä sana. Sekä kieliopilliset että tilastolliset morfeemit mahdollistivat sanan määrittämisen aivovasteen perusteella. Tutkimusten tulokset viittaavat siihen, että aivot hyödyntävät sanojen käsittelyssä morfeemien kaltaisia yksiköitä, mutta nämä yksiköt eivät määräydy tai perustu yksinomaan kieliopillisiin sääntöihin, vaan ne opitaan tilastollisesti kieliympäristöstä. Aivojen toiminnan kartoittamisessa pyritään käyttämään jatkuvasti enemmän eksplisiittisiä, määrällisiä malleja. Tämä väitöskirja toimii esimerkkinä siitä, miten myös verrattain korkean abstraktiotason kielellinen ilmiö, morfologia, voidaan yhdistää matemaattisesti hermostollisiin vasteisiin.fi
dc.format.extent60 + app. 84
dc.format.mimetypeapplication/pdfen
dc.identifier.isbn978-952-60-8912-6 (electronic)
dc.identifier.isbn978-952-60-8911-9 (printed)
dc.identifier.issn1799-4942 (electronic)
dc.identifier.issn1799-4934 (printed)
dc.identifier.issn1799-4934 (ISSN-L)
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/42358
dc.identifier.urnURN:ISBN:978-952-60-8912-6
dc.language.isoenen
dc.opnMarantz, Alec, Prof., New York University, USA
dc.publisherAalto Universityen
dc.publisherAalto-yliopistofi
dc.relation.haspart[Publication 1]: Hakala, T., Hultén, A., Lehtonen, M., Lagus, K., Salmelin, R. Information properties of morphologically complex words modulate brain activity during word reading, Human Brain Mapping, 2018, 39, 2583-2595. Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201902252095. DOI: 10.1002/hbm.24025
dc.relation.haspart[Publication 2]: Hakala, T., Hulten, A., Lehtonen, M., Lindh-Knuutila, T., Salmelin, R. Learned morphemic representations successfully decode brain activity to written words. Under revision.
dc.relation.haspart[Publication 3]: Lehtonen, M., Varjokallio, M., Kivikari, H., Hultén, A., Virpioja, S., Hakala, T., Kurimo, M., Lagus, K., Salmelin, R. Statistical models of morphology predict eye-tracking measures during visual word recognition. Memory & Cognition, 2019, 1-25. Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201906033442. DOI: 10.3758/s13421-019-00931-7
dc.relation.haspart[Publication 4]: Ylinen, S., Nora, A., Leminen, A., Hakala, T., Huotilainen, M. Shtyrov, Y. Mäkelä, J.P., Service, E. Two distinct auditory-motor circuits for monitoring speech production as revealed by content-specific suppression of auditory cortex. Cerebral Cortex, 2014, 25, 1576-1586. DOI: 10.1093/cercor/bht351
dc.relation.ispartofseriesAalto University publication series DOCTORAL DISSERTATIONSen
dc.relation.ispartofseries7/2020
dc.revCornelissen, Piers, Prof., Northumbria University Newcastle, UK
dc.revKujala, Teija, Prof., University of Helsinki, Finland
dc.subject.keywordMEGen
dc.subject.keywordmorphologyen
dc.subject.keywordcomputational linguisticsen
dc.subject.keywordmorfessoren
dc.subject.keywordword recognitionen
dc.subject.keywordmorfologiafi
dc.subject.keywordlaskennallinen lingvistiikkafi
dc.subject.keywordsanantunnistusfi
dc.subject.otherMedical sciencesen
dc.subject.otherLinguisticsen
dc.subject.otherComputer scienceen
dc.titleProcessing of subword information in the human brainen
dc.titleSanan osien käsittely aivoissafi
dc.typeG5 Artikkeliväitöskirjafi
dc.type.dcmitypetexten
dc.type.ontasotDoctoral dissertation (article-based)en
dc.type.ontasotVäitöskirja (artikkeli)fi
local.aalto.acrisexportstatuschecked 2020-03-14_1355
local.aalto.archiveyes
local.aalto.formfolder2020_01_09_klo_13_09
local.aalto.infraAalto NeuroImaging
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
isbn9789526089126.pdf
Size:
1.69 MB
Format:
Adobe Portable Document Format