Least Squares Support Vector Machines For Time Series Prediction

Abstract

Tässä työssä aikasarjaennustusta tarkastellaan mallinnusongelmana. Sitä varten aikasarjan arvot muutetaan syötematriisiksi eli regressiomatriisiksi ja syötetään pienimmän neliösumman tukivektorikoneelle (LS-SVM), joka pyrkii ratkaisemaan mallinnusongelman.

Kuten perinteiset tukivektorikoneet (SVM), myös LS-SVM on kerneleihin perustuva oppiva järjestelmä, mutta se ei tarvitse konveksia optimointia kuten SVM. Sen sijaan LS-SVM pärjää lineaarisen yhtälöryhmän ratkaisemisella ja on siten huomattavasti nopeampi ja yksinkertaisempi.

Regressiomatriisin käyttö vaatii kuitenkin sen leveyden määrittämisen etukäteen, kuten käytettäessä miltei mitä tahansa neuroverkkoa. Kun matriisin leveyttä kasvatetaan, kasvaa samalla syötevektoreiden dimensio, joka heikentää neuroverkon suorituskykyä (curse of dimensionality). Tässä työssä tarkastellaan matriisin leveyden vaikutusta LS-SVM mallin toimintaan.

Kaikille kerneleihin perustuville malleille yhteinen ongelma on kernelin valinta. Jos käytetään tavallista Gaussin kerneliä, täytyy etukäteen valita kaksi hyperparametria, kernelin leveys sekä sakkotermi. Näiden valitsemiseen esitellään useita eri menetelmiä, kuten uusi, nopea hyperparametrien valintamenetelmä. Tässä työssä esitettyjen kokeiden tulosten perusteella uusi menetelmä antaa nopeita, mutta myös tarkkoja valintoja hyperparametrien arvoiksi.