Determining dependencies in multivariate time series data: Using machine learning methods

Abstract

Methods to understand and predict times series data are needed to solve many problems with the increasing availability of data. In particular, when many time series interact together. This study investigates if machine learning methods can be utilized to find a dependency structure, that explains these interactions. The structure could later be utilized by sophisticated machine learning methods such as graph neural networks. This study uses two machine learning methods: linear regression and gradient boosting on windowed time series data. Compared to linear regression, gradient boosting is found to produce better information about dependencies in the data. The results show that the simple machine learning methods find dependencies in the data used. However some problems may arise when utilizing the extracted dependency graph. These problems are discussed, and proposed to be mitigated, if the end application utilizes similar methodology to the dependency extraction.

Metoder för att förstå och förutspå tidsserier är avgörande i en värld av ökande mängder data. Det gäller särskilt metoder för att förutspå system av växelverkande tidsserier. Ett förslag på en modell för dessa multivariata tidsserier är grafneuronnätverk. Dessa modeller använder en grafstruktur som beskriver tidsberoenden mellan de olika tidseri- erna. Denna studie undersöker möjligheten att utnyttja enkla maskininlärningsmetoder för att konstruera sådana grafstrukturer. I denna studie utforskas två olika maskinin- lärningsmetoder: linjär regression och gradientbaserad förstärkning med beslutsträd. Metoderna undersöks på data som är samlat från en värmare i ett luftkonditione- ringssystem. Denna studie föreslår ett förfaringssätt för att konstruera beroendegrafer ur data. Maskininlärningsmetoderna övas på tidsfönster från olika tidsserier i den samlade datan. Beroendemönstren extraheras genom att jämföra prestanda mellan en modell som övat endast på data från den egna tidsserien och en modell som övat på data från den egna samt en annan tidsserie.

Resultaten visar att båda metoderna hittar beroendemönster i datan. Jämförelsen mellan metoderna indikerar att gradientbaserade förstärkningen identifierar fler och starkare beroenden mellan tidsserierna än linjära regressionen. Resultaten tyder på att den gradientbaserade förstärkningen lyckas identifiera icke-linjära samband som den linjära regressionen inte tagit i hänsyn. Det leder till förkastandet av en del beroenden som den linjära regressionen identifierar. Resultaten visade även att metoderna hittar tidsberoenden inom den egna tidsserien.

Även om resultaten visar att dessa maskininlärningsmetoder hittar beroendemönster i datan, identifieras problem som kan uppstå vid vidare utnyttjande av grafstrukturerna. Exempelvis utgör den fysiska tolkningen av beroenden en utmaning, då metoderna inte nödvändigtvis entydigt formulerar dessa. För att kringgå utmaningarna föreslår studien anpassningar till appliceringen av beroendestrukturen. Studien föreslår att en liknande metodik, med tidsfönster av samma storleksklass som i studien, bör användas då modeller för vidare användning av beroendestrukturen konstrueras. Studien föreslår även användning av en mera komplicerad maskininlärningsmetod, exempelvis neuronnätverk för att skapa beroendegraferna. Dessa kunde medföra noggrannare resultat på beroenden.