On Hierarchical Campaign Forecasting

Abstract

As retail world is growing more and more competitive, retailers are forced to optimize their operations as well as possible. Accurate demand forecasting is pivotal in optimizing and automizing the replenishment of a retail chain. However, many different factors, such as promotional activities, induce drastic variation in the demand, making forecasting difficult if no appropriate methods or sufficient amount of data is available for the retailer.

This thesis specifies different designs of hierarchical, multilevel regression models for demand and campaign effect forecasting utilizing a natural product hierarchy within a retail chain. The performance of the models is evaluated with a dataset obtained from a large European retailer. The model evaluation is three-fold, consisting of assessing the model estimation times, forecast accuracy, and the number of excess errors produced by each model. A particular focus is on cases where there is little data of promotional activities on the lowest hierarchy level, which is a case where conventional models struggle the most. Both frequentist and Bayesian approach is experimented. For the models specified in Bayesian fashion, both Maximum a Posteriori estimation of the parameters and full posterior distribution estimation with Variational Inference methods are implemented, and the results are compared.

The thesis aims to find out whether the specified hierarchical models outperform regular, single level Generalized Linear Models specified similarly and to understand the advantages and disadvantages of the differently specified hierarchical models. Also, differences in the results of different estimation algorithms and regression types applicable to the problem are of interest.

It is concluded that the parameter estimation of most of the hierarchical models evaluated here is computationally too heavy to be used in operational demand forecasting of large retail chains, while producing little advantages compared to the single-level models. However, Empirical Bayes models seem very promising, as they outperform both the benchmark and the other hierarchical models in almost every evaluated attribute. In addition, a significant finding is that no clear advantages are obtained by using non-normal regression models, in comparison to linear regression where the objective variable is assumed to be normally distributed.

Jatkuvasti kasvava kilpailu vähittäiskaupan alalla pakottaa kauppiaat optimoimaan toimintaansa niin hyvin kuin mahdollista. Tarkka kysyntäennuste on eräs tärkeimmistä tekijöistä toimitusketjun optimoinnissa ja täydennystilaamisen automatisoinnissa. Erilaiset kampanjat, sekä muut tekijät, jotka aiheuttavat suurta vaihtelua kysyntään vaikeuttavat kuitenkin kysynnän ennustamista merkittävästi. Erityisiä haasteita luovat tilanteet, joissa näistä kampanjoista ei ole riittävästi historiallista tietoa, tai mikäli vähittäiskauppiaan käytössä ei ole sopivia työkaluja ennusteen muodostamiseksi.

Tässä diplomityössä selvitetään erilaisten hierarkkisten mallien kykyä hyödyntää vähittäiskauppaketjujen tuotehierarkiaa kysynnän ennustamisessa, erityisesti keskittyen kampanjoiden vaikutuksen ennustamiseen tilanteissa, joissa dataa historiallisista kampanjoista on matalimmalla hierarkiatasolla vain vähän. Mallien suorituskykyä mitataan niiden estimointiin kuluvan ajan, ennustetarkkuuden, sekä poikkeuksellisen suurten ennustevirheiden lukumäärän suhteen eurooppalaiselta vähittäiskauppaketjulta saadun aineiston avulla. Arvioitujen mallien joukkoon kuuluu niin Bayesläisen, kuin myös tilastollisen todennäköisyystulkinnan näkökulmasta määriteltyjä malleja. Bayesläisittäin määriteltyjen mallien parametriestimointi suoritetaan mahdollisuuksien mukaan kahdella eri tavalla, MAP-estimoinnilla sekä Variaatiopäättely-menetelmällä, ja näiden menetelmien tuloksia vertaillaan.

Työn tavoitteena on selvittää, että soveltuvatko hierarkkiset mallit perinteisiä yleistettyjä lineaarisia malleja paremmin kampanjaefektien ennustamiseen. Myös eri regressiotyyppien välisiä eroja tutkitaan ja niiden soveltuvuudesta tämänkaltaiseen tilanteeseen käydään keskustelua.

Tutkimuksen tuloksena huomataan, että lähes kaikkien kokeiltujen hierarkkisten mallien parametriestimointi on liian hidasta, jotta niitä voitaisiin hyödyntää suurten vähittäiskauppaketjujen päivittäisessä kysyntäennustamisessa. Empiirinen Bayes -menetelmällä määritellyt ja sovitetut mallit nousevat kuitenkin esiin erittäin lupaavana vaihtoehtona hierarkisten mallien joukosta, suoriutuen muita malleja paremmin lähes kaikilla mittareilla mitattuna. Mielenkiintoisena voidaan myös pitää havaintoa, että normaalijakauma osoittautui kilpailukykyiseksi vaihtoehdoksi yleistettyjen lineaaristen mallien kohdemuuttujan jakaumalle, muiden ongelman luonteeseen sopivien eksponenttiperheen jakaumien rinnalla.