Learning linguistic features from natural text data by independent component analysis

Thumbnail Image

Files

master_Väyrynen_Jaakko_2005.pdf (21.6 MB)

URL

Journal Title

Journal ISSN

Volume Title

Helsinki University of Technology | Diplomityö
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2005

Department

Tietotekniikan osasto

Major/Subject

Informaatiotekniikka

Mcode

T-61

Degree programme

Language

en

Pages

63

Series

Abstract

The analysis of natural language is an important field for language technology. The symbolic nature of written language can be encoded in numeric form and analyzed using statistical signal processing methods. In this thesis, it is assumed that word usage statistics, namely word frequencies in different contexts, contain linguistic information that can be extracted using statistical feature extraction methods. Independent component analysis, an unsupervised statistical method for blind source separation, is applied to extracting features for words using a text corpus. A study between the closeness of match between the emergent features and traditional syntactic word categories for words shows that independent component analysis extracts features that resemble more linguistic categories than features extracted with principal component analysis.

Luonnollisen kielen analysointi on tärkeä tutkimusaihe kieliteknologian kannalta. Symbolinen kirjoitettu kieli voidaan koodata numeerisessa muodossa ja analysoida käyttäen tilastollisia signaalinkäsittelymenetelmiä. Tässä diplomityössä oletetaan sanojen käytön, erityisesti sanojen esiintymistaajuuksien konteksteissa, sisaltavan tilastollisilla menetelmillä irrotettavaa kielellistä informaatiota. Riippumattomien komponenttien analyysia, erästä ohjaamattoman oppimisen menetelmää sokeaan lähde-erotteluun, sovelletaan piirreirrotukseen tekstikorpuksesta. Vertailu löydettyjen piirteiden ja perinteisten syntaktisten sanakategorioiden samankaltaisuuden välillä osoitti, että riippumattomien komponenttien analyysi irrotti piirteitä jotka muistuttavat enemmän kielellisiä kategorioita kuin pääkomponenttianalyysilla irrotetut piirteet.

Description

Supervisor

Honkela, Timo

Thesis advisor

Hyvärinen, Aapo

Keywords

independent component analysis, riippumattomien komponenttien analyysi, statistical natural language processing, luonnollisen kielen tilastollinen käsittely

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-2020120451178

Collections

[dipl] Teknillinen korkeakoulu / TKK