Predicting time series with Transformer
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021-05-17
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence (Macadamia) 2018-2020
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
44
Series
Abstract
In this thesis, I investigated the problem of forecasting the non-stationary and high-frequency Bitcoin market price data with current state-of-the-art DeepLearning models. The study’s objective was to apply the transformer model and compare its applicability to a popular LSTM approach on a high-frequency time series data. Upon identifying the difficulty of making a regressive predicitons, I’ve modified the predictive model to output binned targets which are particularly beneficial for time series problems exhibiting non-stationarity. The major contribution through the thesis is showing the possibility to predict highly non-observable dynamics for Bitcoin market data. In summary, the results are promising and further directions include the usage of a much larger lookup history window and external data resources such as news corpora.Tässä opinnäytetyössä tutkin Bitcoin kryptovaluuttan ennustavuutta ultranopean kaupankäynnin käyttötarkoituksessa käyttäen viimeistä koneoppimistekniikkaa edustavia Deep Learning malleja. Tutkimuksen tarkoituksena oli soveltaa muuntajamallia (Transformer) ja arvioida sitä vertaamalla Takaisinkytkettyyn neuroverkkoon. Muuntaja on näyttänyt lupaavia tuloksia Kielen mallintamisessa, mutta aikasarjaongelmissa mallin arviointi on jäännyt todella vähäiseksi. Aluksi olen huomannut, että regressiivisten ennusteiden tekeminen on erittäin vaikeaa, tämän havainnon perusteella olen muokannut ennustemallia tuottamaan diskreettejä ennustuksia, mikä tarjoaa suuria etuja erityisesti aikasarjaongelmille, joilla on korkea volatiliteetti. Opinnäytetyön tärkein havainto on, että on todellakin mahdollista ennustaa Bitcoinin dynamiikkaa koerkean volatiliteetin riippumatta ultranopean kaupankäynnin asetuksessa. Yhteenvetona voidaan todeta, että tulokset ovat lupaavia, tulevissa tutkimuksissa voidaan tutkia paljon suurempaa ikkunaa ja ulkoisten tietoresurssien sisältämistä.Description
Supervisor
Jung, AlexanderThesis advisor
Kaushik, AdityaKeywords
deep, learning, machine, learning, transformer, forecasting