Processing of subword information in the human brain

Thumbnail Image

Files

isbn9789526089126.pdf (1.69 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Doctoral thesis (article-based) | Defence date: 2020-01-24
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2020

Department

Neurotieteen ja lääketieteellisen tekniikan laitos
Department of Neuroscience and Biomedical Engineering

Major/Subject

Mcode

Degree programme

Language

en

Pages

60 + app. 84

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 7/2020

Abstract

In agglutinative languages, such as Finnish, a single word can have a large number of possible inflected and derived forms. It is necessary for the human brain to recognize regularities in the subword structures. In study IV it was observed that the brain responses to linguistic stimuli are related to fine-grained predictions of the language input at least at the syllable level. Studies I-III tested quantitative models for describing the relationship between subword structure and the responses related to human word processing. Statistical machine-learning models developed for automated applications in Natural Language Processing have proven useful for describing morphological regularities in languages. In this thesis, these models are applied to human word processing. Visual word recognition evokes a distinct pattern of neural responses that can be functionally, temporally and spatially separated using magnetoencephalography (MEG). In study I these responses were linked to language models describing different levels of linguistic abstraction. The early occipital and occipito-temporal responses could be modeled using visual and orthographic features, whereas the responses in the bilateral temporal areas were best described by models that represented words as compositions of morphemic units or as whole words. In the statistical model of morphology used in these studies, the subword structure emerges from optimization of information representation. The structure is determined by the cost of storing distinct morphemic units and the cost of combining them. Study III found that the best performing model for describing eye-movements used compositions of morphemic segments to represent many, but not all, complex words. Many words were also kept intact. The optimal morphemes were generally more coarse-grained than those implicated by linguistic analysis. In Study II, the morphemes from the optimal statistical model were compared to linguistic morphemes in a neural decoding task in which words were identified from the cortical responses. Both statistically and linguistically structured models were successful in the decoding task. The results of this thesis suggest that the neural responses to words are related to word representation by compositions of morphemic units. The units may not be strictly linguistically determined; instead, the word structures can reflect the statistical regularities of language environment. This thesis demonstrates that quantitative modeling of cortical responses is useful for describing even relatively abstract linguistic phenomena such as morphology.

Suomen kielen kaltaisissa agglutinatiivisissa kielissä voi sanan kantaan liittää erilaisia päätteitä kuten taivutuksia ja johdoksia. Aivot hyödyntävät sanan rakenteen säännönmukaisuuksia. Esimerkiksi tämän väitöskirjan tutkimuksen IV tulokset viittaavat siihen, että aivot pyrkivät ennustamaan kielellistä ärsykettä hienojakoisesti ainakin tavujen tasolla. Tutkimuksissa I-III selvitettiin, miten yhteyttä sanan osien ja ihmisen sanankäsittelyä kuvaavien vasteiden välillä voidaan mallintaa kvantitatiivisesti. Luonnollisen kielen automaattiseen prosessointiin liittyviin teknisiin sovelluksiin on kehitetty tilastollisia koneoppimiseen pohjautuvia malleja, joissa sanojen rakenteen säännönmukaisuus eli morfologia opitaan ilman kieliopillista informaatiota. Tässä väitöskirjassa näitä malleja sovelletaan kuvaamaan ihmisen sanankäsittelyä. Kirjoitettujen sanojen tunnistukseen liittyy sarja aivotason vasteita, jotka voidaan erottaa toisistaan ajan, paikan ja toiminnallisuuden suhteen magnetoenkefalografialla. Tutkimuksessa I vertailimme näitä vasteita kuvauksiin, jotka heijastivat informaation eri abstraktiotasoja.Varhaiset takaraivolohkon vasteet pystyttiin ennustamaan ärsykkeen visuaalisten ja ortografisten piirteiden avulla, mutta myöhemmät ohimolohkoilla havaitut vasteet selittyivät malleilla, jotka esittivät sanat kokonaisina tai kokoelmana erillisiä osia eli morfeemeja. Tässä tutkimuksessa käytetyssä morfologian mallissa sanojen pilkkominen erillisiin morfeemeihin perustuu siihen, kuinka morfeemien muistamiseen ja toisaalta niiden yhdistämiseen liittyvät kustannukset optimoidaan ja kuinka niitä painotetaan. Tutkimuksessa III ihmisten silmänliikkeitä kuvasi parhaiten malli, joissa osa monimutkaisista sanoista jaettiin osiin mutta joissa monet esitettiin myös jakamattomina. Optimaalisessa mallissa morfeemien pituus oli keskimäärin suurempi kuin kieliopillisesti määriteltyjen morfeemien. Tutkimuksessa II vertailtiin tilastollisiin morfeemiyksiköihin ja toisaalta kieliopillisiin morfeemeihin pohjautuvia malleja tehtävässä, jossa aivovasteen perusteella pyrittiin ennustamaan niihin liittyvä sana. Sekä kieliopilliset että tilastolliset morfeemit mahdollistivat sanan määrittämisen aivovasteen perusteella. Tutkimusten tulokset viittaavat siihen, että aivot hyödyntävät sanojen käsittelyssä morfeemien kaltaisia yksiköitä, mutta nämä yksiköt eivät määräydy tai perustu yksinomaan kieliopillisiin sääntöihin, vaan ne opitaan tilastollisesti kieliympäristöstä. Aivojen toiminnan kartoittamisessa pyritään käyttämään jatkuvasti enemmän eksplisiittisiä, määrällisiä malleja. Tämä väitöskirja toimii esimerkkinä siitä, miten myös verrattain korkean abstraktiotason kielellinen ilmiö, morfologia, voidaan yhdistää matemaattisesti hermostollisiin vasteisiin.

Description

Supervising professor

Salmelin, Riitta, Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland

Thesis advisor

Hultén, Annika, Dr., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
Lehtonen, Minna, Dr. University of Oslo, Norway

Keywords

MEG, morphology, computational linguistics, morfessor, word recognition, morfologia, laskennallinen lingvistiikka, sanantunnistus

Other note

Parts

  • [Publication 1]: Hakala, T., Hultén, A., Lehtonen, M., Lagus, K., Salmelin, R. Information properties of morphologically complex words modulate brain activity during word reading, Human Brain Mapping, 2018, 39, 2583-2595.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201902252095
    DOI: 10.1002/hbm.24025 View at publisher
  • [Publication 2]: Hakala, T., Hulten, A., Lehtonen, M., Lindh-Knuutila, T., Salmelin, R. Learned morphemic representations successfully decode brain activity to written words. Under revision.
  • [Publication 3]: Lehtonen, M., Varjokallio, M., Kivikari, H., Hultén, A., Virpioja, S., Hakala, T., Kurimo, M., Lagus, K., Salmelin, R. Statistical models of morphology predict eye-tracking measures during visual word recognition. Memory & Cognition, 2019, 1-25.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201906033442
    DOI: 10.3758/s13421-019-00931-7 View at publisher
  • [Publication 4]: Ylinen, S., Nora, A., Leminen, A., Hakala, T., Huotilainen, M. Shtyrov, Y. Mäkelä, J.P., Service, E. Two distinct auditory-motor circuits for monitoring speech production as revealed by content-specific suppression of auditory cortex. Cerebral Cortex, 2014, 25, 1576-1586.
    DOI: 10.1093/cercor/bht351 View at publisher

Citation

Permanent link to this item

https://urn.fi/URN:ISBN:978-952-60-8912-6

Collections

[diss] Perustieteiden korkeakoulu / SCI