Speech Motor System Mediates Phonetic Categorization

Thumbnail Image

Files

isbn9789526068374.pdf (1.65 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Doctoral thesis (article-based) | Defence date: 2016-06-17
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2016

Department

Neurotieteen ja lääketieteellisen tekniikan laitos
Department of Neuroscience and Biomedical Engineering

Major/Subject

Mcode

Degree programme

Language

en

Pages

75 + app. 39

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 104/2016

Abstract

Phonemes, the elementary units of speech, greatly vary in their acoustic structure when produced by different speakers in different contexts. The listener's brain therefore faces a fundamental challenge of mapping highly variable acoustic signals to discrete phonetic categories. Whether the speech motor system, primarily engaged in speech production, is involved in solving this perceptual categorization challenge is still under debate. This thesis investigated the influence that the speech motor system exerts on the processing of speech sounds by recording brain activity with magnetoencephalography (MEG). Considering that the perceptual processes leading to the categorization of speech sounds unfold within 200 ms after the sound onset, MEG, as a direct measure of neuronal activity with millisecond temporal accuracy, provides an ideal non-invasive brain imaging method for the purpose of this thesis. Several methodological approaches were used, including equivalent current dipoles and minimum-norm estimates for modeling the cortical activity, stimulus-specific adaptation of evoked responses for inferring neuronal stimulus selectivity, and phase synchrony of neural oscillations for examining connectivity between brain areas. The results show that 1) the auditory information of a speech sound is integrated with the listener's motor information of how the speech sound is articulated within 200 ms after the sound onset, 2) this sensorimotor integration facilitates the categorization of speech sounds, 3) the speech motor system contains categorical representations of speech sounds, and 4) these categorical representations depend on attentive listening to the sounds. Together, these results demonstrate that when humans attend to speech, the speech motor system constrains the acoustic-phonetic interpretation of speech sounds into discrete categories through the integration of auditory and motor information. This thesis therefore expands the knowledge on the role of the speech motor system in phonetic processing and adds evidence to the view that, rather than being a purely sensory process, speech perception is sensorimotor in nature.

Sama foneemi eli puhutun kielen pienin merkityksiä erottava äänneyksikkö on akustisesti hyvinkin erilainen eri puhujilla ja eri konteksteissa. Kuulijan aivot joutuvat täten ratkaisemaan perustavaa laatua olevan ongelman yhdistäessään akustisesti vaihtelevat ilmentymät samaan foneettiseen kategoriaan. On epäselvää osallistuuko puheen motorinen järjestelmä, jonka pääasiallinen tehtävä on puheen tuottaminen, tämän havaitsemiseen liittyvän ongelman ratkaisuun. Tässä väitöskirjassa tutkittiin puheen motorisen järjestelmän osallistumista puheäänten prosessointiin mittaamalla aivotoimintaa magnetoenkefalografian (MEG) avulla. Koska puheäänten kategorisaatioon johtavat havaintoprosessit tapahtuvat 200 millisekunnin aikana ääniärsykkeen alkamisesta, on MEG suoraan aivojen hermosolujen sähköistä toimintaa millisekunnin tarkkuudella mittaavana menetelmänä ideaalinen tämän väitöskirjan tutkimuksiin. Aivotoiminnan analysointiin käytettiin useita lähestymistapoja: virtadipoleja ja miniminormiestimaatteja lähdemallinnukseen, ärsykekohtaista adaptaatiota puheäänteen kategoristen edustusten kartoittamiseen, sekä aivojen oskillatoorisen eli värähtelevän toiminnan vaihesynkronisaatiota aivoalueiden välisen konnektiivisuuden tutkimiseen. Tulokset osoittavat, että 1) puheäänen auditiivinen informaatio yhdistyy 200 millisekunnin kuluessa äänen alkamisesta kuulijan motoriseen informaatioon siitä, miten kyseinen ääni tuotetaan, 2) tämä sensorimotorinen integraatio edesauttaa puheäänten kategorisointia, 3) puheen motorinen järjestelmä sisältää kategorisia puheäänten edustuksia, ja 4) nämä kategoriset edustukset ovat riippuvaisia tarkkaavaisuuden kohdistamisesta ääniin. Näiden tulosten perusteella voidaan sanoa, että kun ihmiset suuntaavat tarkkaavaisuuden puheeseen, puheen motorinen järjestelmä rajoittaa puheäänten akustis-foneettista tulkintaa diskreetteihin kategorioihin yhdistämällä kuuloinformaatiota puheäänen tuottoon liittyvään motoriseen informaatiota. Tämä väitöskirja laajentaa ymmärrystä liittyen puheen motorisen järjestelmän rooliin foneettisessa prosessoinnissa ja tukee näkemystä, jonka mukaan puheen havaitseminen ei perustu ainoastaan aisti-informaatioon vaan sitä tulisi tarkastella sensorimotorisena prosessina.

Description

Supervising professor

Sams, Mikko, Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland

Thesis advisor

Jääskeläinen, Iiro, Senior Scientist, Aalto University, Department of Neuroscience and Biomedical Engineering, Finland

Keywords

speech perception, categorical perception, speech motor system, brain, MEG, Puheen havaitseminen, kategorinen havaitseminen, puheen motorinen järjestelmä, aivot

Other note

Parts

  • [Publication 1]: Alho J, Sato M, Sams M, Schwartz JL, Tiitinen H, Jääskeläinen IP. (2012). Enhanced early-latency electromagnetic activity in the left premotor cortex is associated with successful phonetic categorization. NeuroImage 60(4):1937–46.
    DOI: 10.1016/j.neuroimage.2012.02.011. View at publisher
  • [Publication 2]: Alho J, Lin FH, Sato M, Tiitinen H, Sams M, Jääskeläinen IP. (2014). Enhanced neural synchrony between left auditory and premotor cortex is associated with successful phonetic categorization. Front Psychol 5:394.
    DOI: 10.3389/fpsyg.2014.00394. View at publisher
  • [Publication 3]: Alho J, Green BM, May PJC, Sams M, Tiitinen H, Rauschecker JP, Jääskeläinen IP. (2016). Early-latency categorical speech representations in the left inferior frontal gyrus. NeuroImage 129:214–223.
    DOI: 10.1016/j.neuroimage.2016.01.016 View at publisher

Citation

Permanent link to this item

https://urn.fi/URN:ISBN:978-952-60-6837-4

Collections

[diss] Perustieteiden korkeakoulu / SCI