Robust Methods for Speech Feature Extraction

Thumbnail Image

Files

isbn9789526060064.pdf (1.14 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Electrical Engineering | Doctoral thesis (article-based) | Defence date: 2014-12-15
Checking the digitized thesis and permission for publishing
Instructions for the author
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2014

Department

Signaalinkäsittelyn ja akustiikan laitos
Department of Signal Processing and Acoustics

Major/Subject

Mcode

Degree programme

Language

en

Pages

96 + app. 109

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 203/2014

Abstract

Speech carries information related to, e.g., the linguistic message, speaker identity, speaking situation, speaking style and speaker-related characteristics. Feature extraction refers to the process of converting the digital speech signal into acoustic parameters that can be used to automatically uncover such information, especially using machine learning systems that have been trained on speech data labeled with target information. Such analyses are central in automatic speech recognition, speaker recognition, speech event detection and computational paralinguistic analysis. Each of these application categories is covered in this thesis. With increasing computational and storage capacity of communication technology, speech applications become more widespread and are used in more challenging environments. Ambient noise, varying communication and recording channels and large speaker-related variability tend to cause variation in the acoustic feature statistics and thus mislead speech analysis systems. This study aims to improve the robustness of these systems through feature extraction, so that they better maintain their performance level with increased signal variability. In short-time feature extraction, the focus is on robust spectrum analysis using especially time-weighted linear predictive methods, in which temporal locations of the signal are differently emphasized. These methods are found to improve additive-noise robustness in automatic speech, speaker and emotion recognition and to improve fundamental-frequency or vocal-effort robustness in formant analysis and speaker recognition. In addition, emphasis of the spectral fine structure is found to improve the robust detection of shouted speech in ambient-noise conditions. In long-term feature processing, modulation filtering of short-time features using multiple time scales is used to emphasize the typical long-term modulation dynamics of a given speech signal class in detecting emotions over a telephone channel in the presence of noise. Feature selection methods capable of tackling data sets with high dimensionality are developed and applied to find relevant utterance-level features to parametrize speech in different paralinguistic tasks with considerable speaker-related variability. The studies presented have developed speech feature extraction methods that succeed in improving the robustness of various speech analysis systems by focusing on relevant information and de-emphasizing or ignoring irrelevant information. These general-purpose modeling methods are not constrained to any particular application or system structure and thus have many potential uses.

Puhe sisältää informaatiota puhutusta tekstistä, puhujan henkilöllisyydestä, puhetilanteesta, puhetyylistä sekä puhujakohtaisista ominaisuuksista. Piirrelaskennassa digitaalinen puhesignaali muunnetaan akustisiksi parametreiksi, joiden avulla voidaan automaattisesti päätellä mainitun kaltaista informaatiota, erityisesti hyödyntäen koneoppimisjärjestelmiä jotka on opetettu puhemateriaalilla jossa kyseinen informaatio on merkitty. Nämä analyysit ovat keskeisiä automaattisessa puheen- ja puhujantunnistuksessa, puhetapahtumien havainnoinnissa sekä automaattisessa paralingvistisessa analyysissä. Kutakin näistä sovellustyypeistä käsitellään tämän väitöskirjan julkaisuissa. Kommunikaatioteknologian laskenta- ja tallennuskapasiteetin lisääntyessä puheteknologiasovellukset yleistyvät ja niitä käytetään yhä haastavammissa ympäristöissä. Taustamelu, vaihtelevat äänitys- ja siirtokanavat sekä puhujakohtainen vaihtelu aiheuttavat akustisten piirteiden tilastollisten ominaisuuksien vaihtelua ja siten johtavat puheanalyysijärjestelmiä harhaan. Tämän tutkimuksen tavoite on parantaa näiden järjestelmien ns. robustisuutta piirrelaskennan avulla siten, että ne säilyttävät suorituskykynsä paremmin signaaliin liittyvän vaihtelun lisääntyessä. Lyhyen aikavälin piirrelaskennassa keskitytään robusteihin spektrianalyysimenetelmiin käyttäen erityisesti aikapainotettua lineaarista ennustamista, jossa signaalin ajanhetkiä painotetaan eri tavoin. Nämä menetelmät parantavat taustamelurobustisuutta automaattisessa puheen-, puhujan- ja tunnetilojen tunnistuksessa ja perustaajuus- tai puhevoimakkuusrobustisuutta formanttianalyysissa ja puhujantunnistuksessa. Lisäksi spektrin hienorakenteen korostaminen parantaa huudetun puheen havainnointia meluisissa olosuhteissa. Piirteiden modulaatiosuodatus useilla pitkän aikavälin aikaskaaloilla korostaa puhesignaalin luokkien tyypillisiä modulaatiotaajuuksia tunnetilojen havainnoinnissa puhelinpuheessa taustamelun läsnäollessa. Lisäksi tutkitaan piirrevalintamenetelmiä jotka soveltuvat moniulotteisten piirre-esitysmuotojen käsittelyyn. Niitä käytetään etsimään tärkeimmät pitkän aikavälin piirteet paralingvistisissä ongelmissa joissa puhujasta riippuvainen vaihtelu on suurta. Tässä esitetyissä tutkimuksissa on kehitetty puheen piirrelaskentamenetelmiä, jotka onnistuvat parantamaan erilaisten puheanalyysijärjestelmien robustisuutta keskittymällä oleelliseen informaatioon ja vähentämällä epäolennaisen informaation painoarvoa. Nämä yleisluontoiset mallinnusmenetelmät eivät ole sidottuja mihinkään tiettyyn sovellukseen ja niillä on siten monia mahdollisia käyttökohteita.

Description

Supervising professor

Alku, Paavo, Prof., Aalto University, Department of Signal Processing and Acoustics, Finland

Thesis advisor

Alku, Paavo, Prof., Aalto University, Department of Signal Processing and Acoustics, Finland

Keywords

speech processing, machine learning, robust features, linear prediction, puheenkäsittely, koneoppiminen, robustit piirteet, lineaarinen ennustaminen

Other note

Parts

  • [Publication 1]: Carlo Magi, Jouni Pohjalainen, Tom Bäckström and Paavo Alku. Stabilised weighted linear prediction. Speech Communication, vol. 51, no. 5, pp. 401–411, April 2009.
  • [Publication 2]: Rahim Saeidi, Jouni Pohjalainen, Tomi Kinnunen and Paavo Alku. Temporally weighted linear prediction features for tackling additive noise in speaker verification. IEEE Signal Processing Letters, vol. 17, no. 6, pp. 599–602, June 2010.
    DOI: 10.1109/LSP.2010.2048649 View at publisher
  • [Publication 3]: Jouni Pohjalainen, Tuomo Raitio, Santeri Yrttiaho and Paavo Alku. Detection of shouted speech in noise: human and machine. Journal of the Acoustical Society of America, vol. 133, no. 4, pp. 2377–2389, April 2013.
    DOI: 10.1121/1.4794394 View at publisher
  • [Publication 4]: Jouni Pohjalainen and Paavo Alku. Extended weighted linear prediction using the autocorrelation snapshot – a robust speech analysis method and its application to recognition of vocal emotions. In Proceedings of the 14th Annual Conference of the International Speech Communication Association (Interspeech 2013), pp. 1931–1935, Lyon, France, August 25–29, 2013
  • [Publication 5]: Paavo Alku, Jouni Pohjalainen, Martti Vainio, Anne-Maria Laukkanen and Brad Story. Formant frequency estimation of high-pitched vowels using weighted linear prediction. Journal of the Acoustical Society of America, vol. 134, no. 2, pp. 1295–1313, August 2013.
    DOI: 10.1121/1.4812756 View at publisher
  • [Publication 6]: Jouni Pohjalainen, Cemal Hanilçi, Tomi Kinnunen and Paavo Alku. Mixture linear prediction in speaker verification under vocal effort mismatch. IEEE Signal Processing Letters, vol. 21, no. 12, pp. 1516–1520, December 2014.
    DOI: 10.1109/LSP.2014.2339632 View at publisher
  • [Publication 7]: Jouni Pohjalainen and Paavo Alku. Multi-scale modulation filtering in automatic detection of emotions in telephone speech. In Proceedings of the 2014 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2014), pp. 980–984, Florence, Italy, May 4–9, 2014.
    DOI: 10.1109/ICASSP.2014.6853743 View at publisher
  • [Publication 8]: Jouni Pohjalainen, Okko Räsänen and Serdar Kadioglu. Feature selection methods and their combinations in high-dimensional classification ofspeaker likability, intelligibility and personality traits. Computer Speech and Language, vol. 29, no. 1, pp. 145–171, January 2015.
    DOI: 10.1016/j.csl.2013.11.004 View at publisher

Citation

Permanent link to this item

https://urn.fi/URN:ISBN:978-952-60-6006-4

Collections

[diss] Sähkötekniikan korkeakoulu / ELEC