Cortical sequence for processing and learning spoken word forms

Abstract

Spoken words have a special status in human auditory processing. Spoken language is special also in that new words and a foreign language sound system can be acquired quickly and effortlessly, especially during childhood. This thesis focuses on the cortical substrates of processing and learning spoken words. Cortical activation is measured with magnetoencephalography (MEG), which enables tracking the sequence of activation with high temporal precision and separating different processing stages reflected in this activation.

Study I investigated how spoken word processing is different from other everyday sounds with corresponding meanings. We used machine learning methods to examine how different features of speech sounds (acoustic, phonemic, semantic) are encoded in cortical activation. Decoding of spoken words based on their cortical evoked responses improved markedly when the MEG signals were modeled as time-locked to the spectrogram, compared to non-time-sensitive models; this was not true for environmental sounds. The results indicate that the spectrotemporal content of speech is processed in the auditory cortex in a special time-locked manner. Successful prediction of the phoneme sequences of the words at the same time delay as the acoustic content indicated that the function of this time-locking could be the transformation of the continuous acoustic signal to discrete linguistic representations.

Studies II-IV examined how incidental learning of new native and foreign word forms in an overt repetition task is reflected in cortical activation. The results indicate that in adults learning is confined to individual word forms, reflected in left-lateralized areas that are related to phonological input and output processing (superior temporal and premotor cortex, respectively). Manipulations of noise level and task after learning highlighted the role of the superior temporal responses in memory retrieval and the premotor responses in articulatory planning. Comparison of school-aged children and adults revealed that children show a functionally similar cortical effect of word form learning in superior temporal cortex as adults, but this effect is located to the right hemisphere, outside of the traditionally left-lateralized core of the language network. Additionally, children showed generalized changes in the processing of new phonological input overnight. The results point to developmental differences in the degree to which processing of new phonological input is confined by native-language phoneme segmentation in left-hemispheric regions.

The results of this thesis show that features of speech are more accurately tracked in time in auditory cortical activation than other sounds, and that phonological processing and learning is different in school-aged children than adults. These findings highlight the special nature of speech and the abilities of the human brain to specialize and adapt to the linguistic environment.

Puhutuilla sanoilla on erityisasema ihmisen kuulojärjestelmässä verrattuna muihin ääniin. Puhe on erityislaatuista myös sikäli, että uusien sanamuotojen ja täysin vieraan äännejärjestelmän oppiminen tapahtuu nopeasti ja vaivattomasti, erityisesti lapsuudessa. Tässä väitöskirjassa tutkitaan, miten puhuttujen sanojen käsittely ja oppiminen tapahtuu aivokuorella. Aivokuoren toimintaa mitataan magnetoenkefalografialla (MEG), joka mahdollistaa kuuloärsykkeiden synnyttämän aivotoiminnan tarkan seuraamisen ja eri käsittelyvaiheiden erottelun, akustisista piirteistä foneemeihin, tavuihin, kokonaisiin sanamuotoihin ja merkityssisältöihin asti.

Kokeessa I tutkittiin, miten puhuttujen sanojen käsittely aivokuorella eroaa merkitykseltään vastaavien ympäristöäänien käsittelystä. Käytimme koneoppimismenetelmiä kuuloärsykkeiden akustisten, foneemisten ja merkityspiirteiden käsittelyyn liittyvän aivotoiminnan tunnistamiseksi. Puhuttujen sanojen ennustaminen aivovasteiden perusteella onnistui erityisen hyvin silloin, kun aivokuoren toimintaa mallinnettiin aikalukittuna ärsykkeen spektrogrammiin eli aika-taajuusesitykseen. Tämä malli ei parantanut ympäristöäänten ennustettavuutta. Myös sanojen foneemisisältöä pystyttiin ennustamaan aivokuoren aktiivisuuden aikasarjasta, samalla aikaviiveellä kuin spektrogrammia. Tulokset osoittavat, että sanoja käsitellään kuuloaivokuorella erityisellä aikalukitulla tavalla, joka reaaliajassa muuntaa puheäänten akustisia piirteitä kielellisiksi edustuksiksi.

Kokeissa II-IV tutkittiin miten uusien äidinkielen ja vieraan kielen sanamuotojen oppiminen toistotehtävässä näkyy aivokuoren toiminnassa. Aikuisilla oppiminen rajoittui yksittäisten sanamuotojen oppimiseen, johon liittyi aktivaatiomuutoksia vasemmalla fonologian käsittelyyn ja tuottoon liittyvillä alueilla, eli ohimolohkon yläosissa ja otsalohkon esimotorisilla alueilla. Eri tehtävien ja kohinatasojen vertailu osoitti, että ohimolohkon toiminta heijastaa sanamuotojen hakua muistista, kun taas esimotorisen alueen toiminta liittyy artikulaation suunnitteluun. Kouluikäisten lasten ja aikuisten vertailu paljasti, että lapsilla toiminnallisesti samankaltainen sanamuotojen oppimiseen liittyvä efekti näkyy oikean ohimolohkon yläosissa, vasemman aivopuoliskon perinteisen kielenkäsittelyn ydinverkoston ulkopuolella. Lisäksi lapsilla havaittiin yleisiä muutoksia uuden fonologisen tiedon käsittelyssä kahden päivän aikana. Tulokset saattavat heijastaa sitä, että lapsilla fonologisen tiedon käsittely ei vielä ole rajoittunut vasemman aivopuoliskon kuuloalueilla tapahtuvaan äidinkielen foneemeiksi pilkkomiseen.

Väitöskirjan tulokset osoittavat, että kuuloaivokuoren toiminta seuraa puhuttujen sanojen piirteitä ajassa tarkemmin kuin muiden äänien, ja että fonologisen tiedon käsittely ja oppiminen on hyvin erilaista kouluikäisillä lapsilla ja aikuisilla. Tulokset korostavat puheen erityislaatua ja ihmisaivojen luontaisia taipumuksia sopeutua ja erikoistua kielelliseen ympäristöönsä.