Parallel parameter estimation in Bayesian regression models for demand forecasting

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Authors

Date

2020-08-18

Department

Major/Subject

Computer Science

Mcode

SCI3042

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

88+10

Series

Abstract

Demand forecasting is an important part of today’s retail industry. Accurate forecasts help to save costs in transport and manpower and result in less spoilage. Different statistical models are used to create predictions of the demand and models that use machine learning have been found good in forecasting. Largest retailers have hundreds of millions of product locations to predict the sales for. Forecasting models are trained by using previous sales records with some optimization routine. In retail, the model optimization must be done on a regular basis, and it should not take too long even for a large number of product-locations. To achieve this we need to utilize as much of the available computation power as possible, and parallel computing is needed to achieve acceptable run time. In our work we are using a Bayesian linear regression model for demand forecasting. Bayesian approach to modelling allows setting priors for the model parameters, which leads to a better forecasting performance in uncertain situations. The model is optimized using an algorithm called L-BFGS. The goal of the thesis is to optimize the regression models as efficiently as possible for a group of product locations, using parallel computation methods, and study if the estimation procedure benefits from using the GPU (graphics processing unit) compared to the CPU (central processing unit). Efficient model estimation was achieved by defining a single large model, called MultiPL, that optimizes a group of product locations simultaneously. Instead of executing a large amount of small optimizations, the procedure performs a smaller number of large computations like matrix multiplications. The estimation was 1.89–5.00 times faster when executed on GPU rather than on CPU. With an optimal set up the fastest run time was 47.5 microseconds per product location. Compared to the initial naive algorithm, the run time was about 467 000 times faster.

Kysynnän ennustaminen on tärkeä osa nykypäivän päivittäistavarakauppojen toimintaa. Tarkat ennusteet tuottavat säästöjä kuljetuskustannuksissa ja työvoimassa sekä vähentävät hävikkiä. Erilaisia tilastollisia malleja käytetään ennusteiden laskemiseen ja koneoppimismallit on havaittu hyväksi tähän tehtävään. Suurimmilla kauppaketjuilla on satoja miljoonia tuotelokaatioita, joiden kysyntää ennustetaan. Ennustemallit luodaan käyttämällä optimointimenetelmiä ja tuotteiden myyntihistoriaa. Mallien optimointi tulee tehdä säännöllisesti, eikä optimointi saisi kestää liian kauaa edes suurimmilla tuotelokaatiomäärillä. Päästäkseen hyväksyttäviin ajoaikoihin, tulee käytettävissä olevaa laskentatehoa käyttää hyödyksi niin paljon kuin mahdollista. Tämän tavoitteen saavuttamiseen tarvitaan rinnakkaislaskennan menetelmiä. Työssä käytetään kysynnän ennustukseen bayesiläistä lineaarista regressiomallia. Bayesiläinen lähestymistapa mahdollistaa priorien eli ennakkotietojen asettamisen mallin parametreille, mikä johtaa parempiin ennusteisiin epävarmoissa tilanteissa. Malli optimoidaan käyttämällä L-BFGS-algoritmia. Työn tavoitteena on optimoida regressiomalli joukolle tuotelokaatioita niin nopeasti kuin mahdollista käyttäen rinnakkaislaskennan menetelmiä sekä tutkia, hyötyykö optimointiprosessi GPU:n (grafiikkasuoritin) käytöstä CPU:n (keskussuoritin) sijaan. Tehokas mallien optimointi saavutettiin määrittelemällä yksi laaja malli, niin kutsuttu MultiPL, joka optimoi mallin parametrit joukolle tuotelokaatioita samanaikaisesti. Useiden pienten mallien optimointien sijaan yksi suuri optimointi suorittaa pienemmän määrän suurempia laskentaoperaatioita, kuten matriisituloja, joiden laskenta on rinnakkaistettu tehokkaasti. Optimoinnin ajoaika oli 1.895.00 nopeampi käytettäessä GPU:ta CPU:n sijaan. Nopeimmillaan optimoinnin ajoaika oli 47.5 mikrosekuntia per tuotelokaatio. Ensimmäiseen naiiviin algoritmiin verrattuna ajoaika oli noin 467 000 kertaa nopeampi.

Description

Supervisor

Suomela, Jukka

Thesis advisor

Moskalev, Artem

Keywords

Bayesian linear regression, demand forecasting, L-BFGS, parallel computing, GPU, quasi-Newton

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202008235004

Collections

[dipl] Perustieteiden korkeakoulu / SCI