Combination Methods for Language Models in Speech Recognition

Abstract

Tilastollinen kielimalli on oleellinen osa nykyaikaista puheentunnistusjärjestelmää, jossa sen tehtävä on pisteyttää sanahypoteesit kielellisen informaation perusteella. Lukuisia kielimalleja on esitetty kirjallisuudessa. Parhaat tulokset on saavutettu käyttämällä eri kielimalleja yhdessä. Useita menetelmiä kielimallien yhdistelyyn on esitetty, mutta kattavaa tutkimusta eri menetelmistä ei ole esitetty.

Tässä työssä tutkitaan kirjallisuudessa esitettyjä yhdistämismenetelmiä. Lisäksi työssä esitetään uusi menetelmä, joka perustuu uskottavuustiheysfunktion estimointiin histogrammien avulla. Teoreettisen tarkastelun lisäksi neljää yhdistämismenetelmää arvioidaan puheentunnistuskokeilla sekä kielimallin hyvyyttä kuvaavilla perplexity-kokeilla. Aineistona käytetään suomenkielisiä uutisartikkeleita. Yhdisteltävinä kielimalleina toimii neljä kielimallia, jotka esitellään työssä.

Perplexity-kokeissa kaikilla yhdistämismenetelmillä saavutettiin kielimalleista riippuen tilastollisesti merkittävää parannusta vertailukohtana toimineeseen 4-grammi-malliin. Paras tulos, 46 % parannus 4-grammimalliin verrattuna, saatiin yhdistämällä useita malleja uudella bin-estimointi-menetelmällä. Puheentunnistuskokeissa saavutettiin parhaimmillaan 4 % parannus sanavirheessä ja 7 % parannus äännevirheessä.