Learning Centre

Approaching human performance in noise robust automatic speech recognition

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Palomäki, Kalle
dc.contributor.author Keronen, Sami
dc.date.accessioned 2014-02-12T10:00:05Z
dc.date.available 2014-02-12T10:00:05Z
dc.date.issued 2014
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/12446
dc.description.abstract Modern automatic speech recognition systems are able to achieve human-like performance on read speech in relatively noise-free environments. However, in the presence of heavily deteriorating noise, the gap between human and machine recognition remains large. The work presented in the thesis is aimed to enhance the speech recognition performance in varying noise and low signal-to-noise ratio conditions by improving the short-time spectral analysis of the speech signal and the spectrographic mask estimation in the missing data framework. In the thesis, the fast Fourier transformation based spectrum estimation of Mel-frequency cepstral coefficients is substituted with extended weighted linear prediction. Temporal weighting in linear predictive analysis emphasizes the high amplitude samples that are assumed less corrupted by noise and attenuates the others. Extending the weighting to separately apply to each lag in the prediction of each sample arguably offers more modeling power for deteriorated speech. The extended weighted linear prediction is shown to exceed the recognition performance of conventional linear prediction, weighted linear prediction and fast Fourier transformation based feature extraction. Missing data methods assume that only part of the spectro-temporal components of the deteriorated signal are corrupted by noise while the speech-dominant components hold the reliable information that can be used in recognition. Two spectrographic mask estimation techniques based on binary classification of features are proposed in the thesis. The first method is founded on a comprehensive set of design features and the second on the Gaussian-Bernoulli restricted Boltzmann machine that learns the feature set automatically. Both mask estimation methods are shown to outperform their respective reference mask estimation methods in recognition accuracy. All the proposed noise robust techniques are immediately applicable to automatic speech recognition. With further refinement, the mask estimation methods could also be applied to hearing aids since they are able to attenuate the background noise thus increasing the speech intelligibility.  en
dc.description.abstract Nykyaikaiset automaattiset puheentunnistusjärjestelmät pystyvät tunnistamaan luettua puhetta vähämeluisissa käyttöympäristöissä lähes yhtä tarkasti kuin ihmiset, mutta kovassa taustamelussa ihmisen tunnistuskyky on huomattavasti konetta tehokkaampi. Tutkimuksessa esitetään menetelmiä puhesignaalin melusietoiseen spektrianalyysiin ja puuttuvan datan maskiestimointiin automaattisen puheentunnistuksen parantamiseksi melutyypiltään vaihtelevissa ja alhaisen signaalikohinasuhteen käyttöympäristöissä. Tutkimuksessa parannetaan spektrianalyysin melusietoisuutta korvaamalla Mel-kepstrikerrointen laskennassa perinteisesti käytetty nopea Fourier-muunnos laajennetulla ja painotetulla lineaariprediktiolla. Aikatason painotuksella korostetaan suuriamplitudisten näytteiden tärkeyttä lineaariprediktio-analyysissä, sillä niiden oletetaan olevan suhteellisesti vähemmän korruptoituneita kuin pieniamplitudisten näytteiden. Laajentamalla painotusta kaikkiin viiveisiin näytteiden prediktiossa, voidaan meluisaa puhetta mallintaa joustavammin. Laajennetun ja painotetun lineaariprediktion näytetään parantavan Mel-kepstrikertoimiin pohjautuvan piirreirrotuksen melusietoisuutta nopeaan Fourier-muunnokseen, lineaariprediktioon ja painotettuun lineaariprediktioon verrattuna. Puuttuvan datan menetelmät perustuvat oletukseen, että melu vääristää ainoastaan osan puhesignaalin aikataajuustason komponenteista, loppujen komponenttien säilyttäessä luotettavan puheinformaation, jota voidaan käyttää tunnistuksessa. Tutkimuksessa esitetään kaksi binääriluokittelupohjaista menetelmää maskien melusietoiseen estimointiin. Ensimmäinen estimointimenetelmä perustuu kattavaan käsintehtyjen piirteiden yhdistelmään ja toinen piirteiden automaattiseen oppimiseen Gaussian-Bernoulli rajoitetun Boltzmann koneen avulla. Tutkimuksessa osoitetaan molempien menetelmien parantavan puheentunnistustarkkuutta vastaaviin referenssimenetelmiin verrattuna. Kaikki tutkimuksessa esitetyt menetelmät ovat välittömästi hyödynnettävissä automaattisissa puheentunnistusjärjestelmissä. Kiinnittämällä huomiota maskiestimointimenetelmien laskennallisiin vaatimuksiin, pystyttäisiin niitä soveltamaan myös kuulokojeissa, sillä menetelmillä voidaan vaimentaa taustamelua, mikä lisää puheen ymmärrettävyyttä. fi
dc.format.extent 65 + app. 59
dc.format.mimetype application/pdf
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.haspart [Publication 1]: Sami Keronen, Ulpu Remes, Kalle J. Palomäki, Tuomas Virtanen and Mikko Kurimo. Comparison of Noise Robust Methods in Large Vocabulary Speech Recognition. In EUSIPCO 2010 – The 18th European Signal Processing Conference, Aalborg, Denmark, pp. 1973–1977, August 2010. (Full text not included in the electronic version of the thesis).
dc.relation.haspart [Publication 2]: Sami Keronen, Jouni Pohjalainen, Paavo Alku and Mikko Kurimo. Noise Robust Feature Extraction Based on Extended Weighted Linear Prediction in LVCSR. In INTERSPEECH 2011 – Proceedings of the 12th Annual Conference of the International Speech Communication Association, Florence, Italy, pp. 1265–1268, August 2011. (Full text not included in the electronic version of the thesis).
dc.relation.haspart [Publication 3]: Heikki Kallasjoki, Sami Keronen, Guy J. Brown, Jort F. Gemmeke, Ulpu Remes and Kalle J. Palomäki. Mask Estimation and Sparse Imputation for Missing Data Speech Recognition in Multisource Reverberant Environments. In CHiME – International Workshop on Machine Listening in Multisource Environments, Florence, Italy, pp. 58–63, September 2011. (Full text not included in the electronic version of the thesis).
dc.relation.haspart [Publication 4]: Sami Keronen, Heikki Kallasjoki, Ulpu Remes, Guy J. Brown, Jort F. Gemmeke and Kalle J. Palomäki. Mask Estimation and Imputation Methods for Missing Data Speech Recognition in a Multisource Reverberant Environment. Computer Speech and Language, vol. 27 no. 3, pp. 798–819, February 2013. (Full text not included in the electronic version of the thesis).
dc.relation.haspart [Publication 5]: Sami Keronen, KyungHyun Cho, Tapani Raiko, Alexander Ilin and Kalle J. Palomäki. Gaussian-Bernoulli Restricted Boltzmann Machines and Automatic Feature Extraction for Noise Robust Missing Data Mask Estimation. In ICASSP 2013 – The 38th International Conference on Acoustics, Speech, and Signal Processing, Vancouver, Canada, pp. 6729-6733, May 2013. (Full text not included in the electronic version of the thesis).
dc.relation.haspart [Publication 6]: Sami Keronen, Ulpu Remes, Heikki Kallasjoki and Kalle J. Palomäki. Noise Robust Missing Data Mask Estimation Based on Automatically Learned Features. In CHiME 2013 – The 2nd International Workshop on Machine Listening in Multisource Environments, Vancouver, Canada, pp. 77–78, June 2013. (Full text not included in the electronic version of the thesis).
dc.subject.other Acoustics en
dc.subject.other Electrical engineering en
dc.title Approaching human performance in noise robust automatic speech recognition en
dc.title Kohti ihmiskykyjä melusietoisessa automaattisessa puheentunnistuksessa fi
dc.type G3 Lisensiaatintutkimus fi
dc.contributor.school Sähkötekniikan korkeakoulu fi
dc.contributor.school School of Electrical Engineering en
dc.contributor.department Signaalinkäsittelyn ja akustiikan laitos fi
dc.contributor.department Department of Signal Processing and Acoustics en
dc.subject.keyword noise robust en
dc.subject.keyword speech recognition en
dc.subject.keyword mask estimation en
dc.subject.keyword linear prediction en
dc.subject.keyword melusietoinen fi
dc.subject.keyword puheentunnistus fi
dc.subject.keyword maskiestimointi fi
dc.subject.keyword lineaariprediktio fi
dc.subject.keyword GRBM fi
dc.identifier.urn URN:NBN:fi:aalto-201402121373
dc.type.dcmitype text en
dc.programme.mcode ELECSCI005Z
dc.type.ontasot Licentiate thesis en
dc.type.ontasot Lisensiaatintyö fi
dc.contributor.supervisor Kurimo, Mikko
dc.date.dateaccepted 2014-02-12
local.aalto.openaccess yes
local.aalto.digifolder Aalto_05166
dc.rights.accesslevel openAccess
local.aalto.idinssi 48657


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse