Funktionalinen dimensionalisuuden pienentäminen koneoppimista varten

Abstract

Monimuuttuja-analyysissä korkeadimensioinen informaatio yleistyy jatkuvasti. Korkean dimension seurauksena laskenta-ajat kasvavat ja ongelmia aiheutuu myös nk. dimensionalisuuden kirouksen (curse of dimensionality) seurauksena.

Tämä diplomityö koskee funktionaliseen data analyysiin perustuvaa dimensionalisuuden pienetämismenetelmää. Tässä menetelmässä korkeadimensioinen informaatio projisoidaan funktioavaruuteen jossa se voidaan kuvata yksinkertasemmassa muodossa. Funktioavaruus määritellään Gaussisten kantafunktioiden avulla, jotka on sovitetty kyseessä olevaan ongelmaan mahdollisimman hyvin.

Esitetyttyä menetelmää sovelletaan kemometriaan ja aikasarjaennustukseen. Regressioon käytetään molemmissa tapauksissa pienimmän neliösumman tukivektorikonetta (Least-Squares Support Vector Machine). Koetulokset osoittavat, että dimensionalisuutta voidaan pienentää merkittävästi. Lisäksi saavutettu ennustustarkkuus on parempi tai vähintään samantasoinen verrattuna muihin yleisesti käytössä oleviin menetelmiin.

High dimensional data are becoming more and more common in the field of multivariate data analysis. However, the high dimensionality is problematic due to increasing computational costs and to the curse of dimensionality.

This thesis concerns dimensionality reduction method that is based on Functional Data Analysis. High dimensional data are projected on a function space where it can be expressed in more compact form. The functions space is defined by a set of Gaussian basis functions that are specially adjusted to suit the problem at hand.

The methodology is tested in two applications, chemometrics and time series prediction, using Least-Squares Support Vector Machines for regression. The experiential results indicate that data dimension can be dramatically reduced. And what is more, the prediction accuracy is clearly better or at least equivalent compared to other commonly used methods.