Approaching human performance in noise robust automatic speech recognition
Loading...
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering |
Licentiate thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2014
Major/Subject
Mcode
ELECSCI005Z
Degree programme
Language
en
Pages
65 + app. 59
Series
Abstract
Modern automatic speech recognition systems are able to achieve human-like performance on read speech in relatively noise-free environments. However, in the presence of heavily deteriorating noise, the gap between human and machine recognition remains large. The work presented in the thesis is aimed to enhance the speech recognition performance in varying noise and low signal-to-noise ratio conditions by improving the short-time spectral analysis of the speech signal and the spectrographic mask estimation in the missing data framework. In the thesis, the fast Fourier transformation based spectrum estimation of Mel-frequency cepstral coefficients is substituted with extended weighted linear prediction. Temporal weighting in linear predictive analysis emphasizes the high amplitude samples that are assumed less corrupted by noise and attenuates the others. Extending the weighting to separately apply to each lag in the prediction of each sample arguably offers more modeling power for deteriorated speech. The extended weighted linear prediction is shown to exceed the recognition performance of conventional linear prediction, weighted linear prediction and fast Fourier transformation based feature extraction. Missing data methods assume that only part of the spectro-temporal components of the deteriorated signal are corrupted by noise while the speech-dominant components hold the reliable information that can be used in recognition. Two spectrographic mask estimation techniques based on binary classification of features are proposed in the thesis. The first method is founded on a comprehensive set of design features and the second on the Gaussian-Bernoulli restricted Boltzmann machine that learns the feature set automatically. Both mask estimation methods are shown to outperform their respective reference mask estimation methods in recognition accuracy. All the proposed noise robust techniques are immediately applicable to automatic speech recognition. With further refinement, the mask estimation methods could also be applied to hearing aids since they are able to attenuate the background noise thus increasing the speech intelligibility. Nykyaikaiset automaattiset puheentunnistusjärjestelmät pystyvät tunnistamaan luettua puhetta vähämeluisissa käyttöympäristöissä lähes yhtä tarkasti kuin ihmiset, mutta kovassa taustamelussa ihmisen tunnistuskyky on huomattavasti konetta tehokkaampi. Tutkimuksessa esitetään menetelmiä puhesignaalin melusietoiseen spektrianalyysiin ja puuttuvan datan maskiestimointiin automaattisen puheentunnistuksen parantamiseksi melutyypiltään vaihtelevissa ja alhaisen signaalikohinasuhteen käyttöympäristöissä. Tutkimuksessa parannetaan spektrianalyysin melusietoisuutta korvaamalla Mel-kepstrikerrointen laskennassa perinteisesti käytetty nopea Fourier-muunnos laajennetulla ja painotetulla lineaariprediktiolla. Aikatason painotuksella korostetaan suuriamplitudisten näytteiden tärkeyttä lineaariprediktio-analyysissä, sillä niiden oletetaan olevan suhteellisesti vähemmän korruptoituneita kuin pieniamplitudisten näytteiden. Laajentamalla painotusta kaikkiin viiveisiin näytteiden prediktiossa, voidaan meluisaa puhetta mallintaa joustavammin. Laajennetun ja painotetun lineaariprediktion näytetään parantavan Mel-kepstrikertoimiin pohjautuvan piirreirrotuksen melusietoisuutta nopeaan Fourier-muunnokseen, lineaariprediktioon ja painotettuun lineaariprediktioon verrattuna. Puuttuvan datan menetelmät perustuvat oletukseen, että melu vääristää ainoastaan osan puhesignaalin aikataajuustason komponenteista, loppujen komponenttien säilyttäessä luotettavan puheinformaation, jota voidaan käyttää tunnistuksessa. Tutkimuksessa esitetään kaksi binääriluokittelupohjaista menetelmää maskien melusietoiseen estimointiin. Ensimmäinen estimointimenetelmä perustuu kattavaan käsintehtyjen piirteiden yhdistelmään ja toinen piirteiden automaattiseen oppimiseen Gaussian-Bernoulli rajoitetun Boltzmann koneen avulla. Tutkimuksessa osoitetaan molempien menetelmien parantavan puheentunnistustarkkuutta vastaaviin referenssimenetelmiin verrattuna. Kaikki tutkimuksessa esitetyt menetelmät ovat välittömästi hyödynnettävissä automaattisissa puheentunnistusjärjestelmissä. Kiinnittämällä huomiota maskiestimointimenetelmien laskennallisiin vaatimuksiin, pystyttäisiin niitä soveltamaan myös kuulokojeissa, sillä menetelmillä voidaan vaimentaa taustamelua, mikä lisää puheen ymmärrettävyyttä.Description
Supervisor
Kurimo, MikkoThesis advisor
Palomäki, KalleKeywords
noise robust, speech recognition, mask estimation, linear prediction, melusietoinen, puheentunnistus, maskiestimointi, lineaariprediktio, GRBM
Other note
Parts
- [Publication 1]: Sami Keronen, Ulpu Remes, Kalle J. Palomäki, Tuomas Virtanen and Mikko Kurimo. Comparison of Noise Robust Methods in Large Vocabulary Speech Recognition. In EUSIPCO 2010 – The 18th European Signal Processing Conference, Aalborg, Denmark, pp. 1973–1977, August 2010. (Full text not included in the electronic version of the thesis).
- [Publication 2]: Sami Keronen, Jouni Pohjalainen, Paavo Alku and Mikko Kurimo. Noise Robust Feature Extraction Based on Extended Weighted Linear Prediction in LVCSR. In INTERSPEECH 2011 – Proceedings of the 12th Annual Conference of the International Speech Communication Association, Florence, Italy, pp. 1265–1268, August 2011. (Full text not included in the electronic version of the thesis).
- [Publication 3]: Heikki Kallasjoki, Sami Keronen, Guy J. Brown, Jort F. Gemmeke, Ulpu Remes and Kalle J. Palomäki. Mask Estimation and Sparse Imputation for Missing Data Speech Recognition in Multisource Reverberant Environments. In CHiME – International Workshop on Machine Listening in Multisource Environments, Florence, Italy, pp. 58–63, September 2011. (Full text not included in the electronic version of the thesis).
- [Publication 4]: Sami Keronen, Heikki Kallasjoki, Ulpu Remes, Guy J. Brown, Jort F. Gemmeke and Kalle J. Palomäki. Mask Estimation and Imputation Methods for Missing Data Speech Recognition in a Multisource Reverberant Environment. Computer Speech and Language, vol. 27 no. 3, pp. 798–819, February 2013. (Full text not included in the electronic version of the thesis).
- [Publication 5]: Sami Keronen, KyungHyun Cho, Tapani Raiko, Alexander Ilin and Kalle J. Palomäki. Gaussian-Bernoulli Restricted Boltzmann Machines and Automatic Feature Extraction for Noise Robust Missing Data Mask Estimation. In ICASSP 2013 – The 38th International Conference on Acoustics, Speech, and Signal Processing, Vancouver, Canada, pp. 6729-6733, May 2013. (Full text not included in the electronic version of the thesis).
- [Publication 6]: Sami Keronen, Ulpu Remes, Heikki Kallasjoki and Kalle J. Palomäki. Noise Robust Missing Data Mask Estimation Based on Automatically Learned Features. In CHiME 2013 – The 2nd International Workshop on Machine Listening in Multisource Environments, Vancouver, Canada, pp. 77–78, June 2013. (Full text not included in the electronic version of the thesis).
