Prior experience shapes speech perception: a behavioural and neuroimaging perspective

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorTiitinen, Hannu, Dr., Aalto University, Finland
dc.contributor.advisorMay, Patrick, Dr., Lancaster University, UK
dc.contributor.advisorJääskeläinen, Iiro, Prof., Aalto University, Finland
dc.contributor.advisorKoskinen, Miika, Dr., University of Helsinki and Aalto University, Finland
dc.contributor.authorHakonen, Maria
dc.contributor.departmentNeurotieteen ja lääketieteellisen tekniikan laitosfi
dc.contributor.departmentDepartment of Neuroscience and Biomedical Engineeringen
dc.contributor.labBrain and Mind Laboratoryen
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.schoolSchool of Scienceen
dc.contributor.supervisorJääskeläinen, Iiro, Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
dc.contributor.supervisorSams, Mikko, Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
dc.date.accessioned2020-01-22T10:01:13Z
dc.date.available2020-01-22T10:01:13Z
dc.date.defence2020-02-02
dc.date.issued2020
dc.description.abstractRecent developments in neuroimaging and computational methods have allowed us to measure brain responses to naturalistic stimuli such as words, sentences, and narratives. This has increased our understanding of how the human brain process connected speech. However, it is still unclear how the brain grasps the meaning of acoustically distorted speech. Further, the question of why an interpretation of the same narrative can vary between individuals has remained unknown. This thesis illuminated these issues by studying how prior experience affects speech perception. The first studies of the thesis demonstrated that initially unintelligible, acoustically distorted speech stimuli can be rendered intelligible by presenting them after only a single exposure to their respective intact counterparts. The intelligibility of sentences increased more than that of words, and vowels remained unintelligible. The contrast between the magnetoencephalography response to the distorted vowels presented before versus after the intact vowels revealed enhanced source current density in the auditory cortex and surrounding areas at the latencies of 130–160 ms from stimulus onset. The corresponding contrast between the first and second presentations of distorted sentences in functional magnetic imaging (fMRI) revealed modulations in responses generated in the primary auditory cortex and surrounding areas as well as in several extralinguistic brain areas that have been associated with memory and executive functions in previous studies. The final study showed that when subjects share a cultural family background, and therefore presumably have also accumulated more similar experience throughout their lifetime, this is reflected in the interpretation and neural processing of spoken narratives. In sum, the results of this thesis show that prior experience can dramatically increase speech intelligibility in acoustically adverse conditions, and lexico-semantic information in long-term memory seems to be important in this process. The results provide further evidence that the activity in the auditory areas is not only modulated by auditory information but also by prior experience. Moreover, it seems that experience accumulated throughout the lifetime is reflected in speech processing. The results of this thesis increase knowledge of speech processing in acoustically suboptimal conditions. The results may also help to overcome potential challenges in mutual understanding between individuals from different cultural backgrounds.en
dc.description.abstractViimeaikainen kehitys laskennallisissa- ja neurokuvantamismenetelmissä on mahdollistanut aivovasteiden keräämisen aiempaa luonnonmukaisemmille ärsykkeille, kuten sanoille, lauseille ja tarinoille. Tämä on lisännyt ymmärrystämme siitä, miten ihmisaivot prosessoivat puhetta. On kuitenkin epäselvää, kuinka pystymme ymmärtämään äänenlaadultaan heikennettyä puhetta. Epäselvää on myös se, miksi eri henkilöt usein tulkitsevat saman tarinan hyvin eri tavoin. Tämän väitöskirjan tavoitteena on valottaa näitä kysymyksiä tutkimalla aiemman kokemuksen vaikutusta puheen havaitsemiseen. Käyttäytymistä mittaavat kokeet osoittivat, että äänenlaadultaan heikennetyt ääninäytteet ymmärretään paremmin, kun ne esitetään samojen, mutta äänenlaadultaan normaalien ääninäytteiden jälkeen. Ymmärrettävyys kasvoi enemmän lauseille kuin sanoille, kun taas vokaalien tunnistettavuus ei parantunut lainkaan. Kun äänenlaadultaan heikennetyt vokaalit esitettiin äänenlaadultaan normaalien vokaaleiden jälkeen, ne herättivät voimakkaammat magnetoenkefalografia-vasteet kuuloaivokuorella ja sen ympäristössä 130–160 ms:n latensseilla vokaalin alkamisesta. Toiminnallisessa magneettikuvauksessa aiemmin esitetyt äänenlaadultaan normaalit lauseet heijastuivat äänenlaadultaan heikennettyjen lauseiden herättämiin aivovasteisiin useilla aivoalueilla, jotka on liitetty aiemmissa tutkimuksissa muistiin ja toimeenpaneviin prosesseihin. Viimeinen tutkimus osoitti, että koehenkilön perheen kulttuuritausta heijastuu sekä siihen, kuinka henkilö tulkitsee puhuttua tarinaa, että tarinan synnyttämiin aivovasteisiin. Väitöskirjatutkimuksen tulokset osoittavat, että aiempi kokemus voi lisätä puheen ymmärrettävyyttä huomattavasti silloin, kun puhe on äänenlaadultaan heikkoa, ja pitkäkestoiseen muistiin tallennettu sana- ja lausetason informaatio näyttäisi olevan tärkeää tässä prosessissa. Tulokset myös tukevat näkemystä, jonka mukaan primäärikuuloaivokuori ei reagoi ainoastaan akustiseen informaatioon, vaan sen tuottamat vasteet heijastavat myös aiempaa kokemusta. Lisäksi koko elämän aikana koetut kokemukset näyttäisivät vaikuttavan puhutun tarinan tulkintaan ja prosessointiin. Tutkimuksen tulokset lisäävät ymmärrystämme siitä, miten ihmisaivot prosessoivat puhetta akustisesti epäsuotuisissa olosuhteissa. Ymmärrys kulttuuritaustan vaikutuksesta puheen tulkintaan voi myös auttaa ratkaisemaan mahdollisia haasteita eri kulttuuritaustoista tulevien ihmisten välisessä kommunikaatiossa.fi
dc.format.extent76 +app. 80
dc.format.mimetypeapplication/pdfen
dc.identifier.isbn978-952-60-8934-8 (electronic)
dc.identifier.isbn978-952-60-8933-1 (printed)
dc.identifier.issn1799-4942 (electronic)
dc.identifier.issn1799-4934 (printed)
dc.identifier.issn1799-4934 (ISSN-L)
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/42639
dc.identifier.urnURN:ISBN:978-952-60-8934-8
dc.language.isoenen
dc.opnSalmela, Viljami, University of Helsinki, Finland
dc.publisherAalto Universityen
dc.publisherAalto-yliopistofi
dc.relation.haspart[Publication 1]: Hakonen, M., May, P.J., Alho, J., Alku, P., Jokinen, E., Jääskeläinen, I.P., Tiitinen, H. Previous exposure to intact speech increases intelligibility of its digitally degraded counterpart as a function of stimulus complexity. NeuroImage, 2016, 125, 131-143. Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201510274786. DOI: 10.1016/j.neuroimage.2015.10.029
dc.relation.haspart[Publication 2]: Hakonen, M., May, P.J., Jääskeläinen, I.P., Jokinen, E., Sams, M., Tiitinen, H. Predictive processing increases intelligibility of acoustically distorted speech: Behavioral and neural correlates. Brainand behavior, 2017, 7(9). Full Text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201710157054. DOI: 10.1002/brb3.789
dc.relation.haspart[Publication 3]: Hakonen, M., Ikäheimonen, A., Hultén, A., Kauttonen, J., Koskinen, M., Lin, F-H., Lowe, A., Sams, M., Jääskeläinen, I.P. Processing of a spoken narrative in the human brain is shaped by family culturalbackground. Submitted.
dc.relation.ispartofseriesAalto University publication series DOCTORAL DISSERTATIONSen
dc.relation.ispartofseries18/2020
dc.revKotz, Sonja, Prof., Maastricht University, Germany
dc.revRämä, Pia, Dr., Paris Descartes University, France
dc.subject.keywordspeech comprehensionen
dc.subject.keywordsemanticsen
dc.subject.keywordnaturalistic stimulien
dc.subject.keywordacoustic distortionen
dc.subject.keywordfMRIen
dc.subject.keywordMEGen
dc.subject.keywordpuheen ymmärtäminenfi
dc.subject.keywordsemantiikkafi
dc.subject.keywordluonnollinen ärsykefi
dc.subject.keywordheikko äänenlaatufi
dc.subject.otherMedical sciencesen
dc.titlePrior experience shapes speech perception: a behavioural and neuroimaging perspectiveen
dc.titleAiempi kokemus muokkaa puheen havaitsemista: tarkasteluja behavioraalisten mittausten ja aivokuvantamisen näkökulmastafi
dc.typeG5 Artikkeliväitöskirjafi
dc.type.dcmitypetexten
dc.type.ontasotDoctoral dissertation (article-based)en
dc.type.ontasotVäitöskirja (artikkeli)fi
local.aalto.acrisexportstatuschecked 2020-03-20_1930
local.aalto.archiveyes
local.aalto.formfolder2020_01_22_klo_10_20
local.aalto.infraScience-IT
local.aalto.infraAalto NeuroImaging
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
isbn9789526089348.pdf
Size:
5.81 MB
Format:
Adobe Portable Document Format