Improving very large vocabulary language modeling and decoding for speech recognition in morphologically rich languages

Abstract

In the automatic speech recognition of agglutinative and morphologically rich languages, the recognition vocabulary may, in many tasks, need to cover several millions of word forms. This poses challenges for the search component of the speech recognizer, as in many cases, real-time recognition speed would be preferred, and the number of possible recognition hypotheses is large. A typical modern large vocabulary speech recognizer utilizes a probabilistic language model to assign prior probabilities for the word sequences. Estimating accurate language models from a text corpus also becomes harder due to increased data sparsity. So far, the most successful approach for the speech recognition of morphologically rich languages has been to segment the words to shorter, more frequently occurring units, thus alleviating the estimability problems. Also, if all concatenations of subwords are allowed, the recognition vocabulary is unlimited. This thesis concentrates on different approaches where a limited but very large recognition vocabulary is used. This type of recognizer can, in addition to the subword-based language models, also use language models trained over words and word classes to reach improved modeling accuracy. For the case where only a subword language model is used, the thesis shows a novel way of constructing the recognition graph. In this case, the recognition vocabulary is easy to augment with new word forms by utilizing resources like dictionaries and morphological analyzers. The constrained recognition vocabulary approaches are shown to be viable choices in many speech recognition use cases. Additionally, in this case, it is shown that the search may also operate in real time and even faster than the case where the recognition vocabulary was unlimited. Also, the recognition of non-words is avoided, and the recognition accuracy may exceed the unlimited vocabulary approach if a low enough out-of-vocabulary rate is reached. In one part of the thesis, human word recognition performance is analyzed using statistical morphological models in a visual lexical decision task where the participants' eye movements were also recorded using eye tracking. Morfessor Baseline -method, which segments only the infrequent words, predicted the observations well in most of the experiments. This finding supports the corresponding model of word recognition in humans.

Morfologisesti rikkaiden ja agglutinatiivisten kielten laajan sanaston puheentunnistuksen yksi haasteista on sanaston suuri koko. Tunnistussanaston täytyy monissa tunnistustehtävissä sisältää miljoonia sanamuotoja. Tämä on ongelmallista puheentunnistimelle, koska useissa käyttötapauksissa tavoitteena olisi reaaliaikainen tunnistus ja eri hypoteesien määrä on suuri. Tyypillinen moderni puheentunnistin käyttää todennäköisyyksiin perustuvaa kielimallia eri tunnistushypoteesien pisteytykseen. Tarkkojen kielimallien estimointi tekstikorpuksesta on myös haastavaa datan harvuuden vuoksi. Tähän asti yleisimmin käytetty lähestymistapa agglutinatiivisten kielten puheentunnistukseen on ollut segmentoida sanat lyhyemmiksi ja useammin esiintyviksi sanapaloiksi. Tällä tavalla vältetään datan harvuudesta aiheutuvat ongelmat kielimallin estimoinnissa. Mikäli kaikki sanapalojen väliset ketjut sallitaan, tunnistimen sanasto on rajoittamaton. Tämä väitöskirja keskittyy menetelmiin, joissa käytetään rajattua, mutta erittäin isoa tunnistussanastoa. Tällainen tunnistin pystyy sanapaloihin perustuvan kielimallin lisäksi hyödyntämään myös kielimalleja, joissa yksiköinä ovat kokonaiset sanat tai erilaiset sanojen luokittelut. Tapauksessa, jossa käytetään pelkästään sanapaloihin perustuvaa kielimallia, tutkitaan myös uutta tapaa konstruoida tunnistin käyttäen rajattua sanastoa. Tässä tapauksessa tunnistussanastoa on helppo laajentaa erilaisten muiden kieliresurssien kuten sanastojen tai morfologisten analysaattorien avulla. Väitöskirjassa osoitetaan, että rajatun sanaston tunnistus on varteenotettava vaihtoehto monissa tunnistustehtävissä myös morfologisesti rikkaille kielille. Tunnistin voi myös tässä tapauksessa toimia reaaliaikaisesti tai jopa nopeammin kuin rajaamattoman sanaston tunnistus. Rajatun sanaston tunnistuksessa hyvänä puolena on, että vältetään kieliopillisesti väärien sanamuotojen tunnistus. Tunnistustarkkuus voi myöskin olla parempi kuin rajoittamattoman sanaston tunnistuksessa, jos tunnistussanaston kattavuus on tarpeeksi suuri. Väitöskirjan yhdessä osassa ihmisten sanatunnistuksen tarkkuutta tutkitaan hyödyntäen tilastollisia morfologisia malleja visuaalisessa leksikaalisessa päätöstehtävässä. Tässä kokeessa myös koehenkilöiden silmänliikkeitä mitattiin silmänliikeseurannalla. Morfessor Baseline -menetelmä, joka pilkkoo vain harvinaiset sanat, ennusti mittaustuloksia hyvin eri koeasetelmissa. Tulos tukee vastaavaa mallia ihmisten sanantunnistuksessa.