Feasibility of using choice models with loyalty card data in quantifying product substitution

Abstract

In today's competitive retail market, retailers constantly thrive for more and more optimised operations to maximise their profits. Substitute products play an important role in many retail optimisation problems, such as sales forecasting, campaign planning and assortment optimisation. The accurate detection of substitute product pairs and measuring the magnitude of the substitution effect is therefore crucial for retailers.

This thesis evaluates the feasibility of using choice modelling in measuring the magnitude of product substitution, when there is customer-specific choice data available through loyalty card data. Three choice models based on multinomial logit and probit models are developed to model product choice probability within three product categories of different sizes. The performance of the models is evaluated by comparing their accuracy in forecasting sales decreases of products, which are induced by price discounts of their substitute products. The forecasting accuracy of the models is compared to a benchmark sales correlation method which only utilises daily aggregate sales data in forecasting the sales. For data privacy reasons, the research was conducted on data sets that were generated using simulation.

The results of the thesis indicate that it is possible to gain improvements in quantifying substitution when choice models are used together with customer-specific choice data in comparison to only using daily aggregate sales. However, the models did not perform well in the larger product categories, so further research is needed on the possibility of reducing the number of product alternatives using, for instance, product attribute data. The models also need to be validated with real retail data in order to account for the phenomena in customer behaviour that could not be simulated.

Nykypäivän vähittäistavarakaupassa vallitsee ankara kilpailu, mikä saa vähittäistavarakauppiaat pyrkimään kohti yhä optimoidumpia operaatioita voittojen maksimoimiseksi. Substituuttituotteilla on tärkeä rooli monissa vähittäistavarakaupan optimointiongelmissa, kuten kysynnän ennustamisessa, kampanjoiden suunnittelussa ja valikoiman optimoimisessa. Substituuttituoteparien tunnistaminen sekä tuotteiden välisen substituution voimakkuuden mittaaminen on siis äärimmäisen tärkeää vähittäistavarakauppiaille.

Tässä diplomityössä arvioidaan diskreettien valinnan mallien soveltuvuutta tuotteiden välisen substituution voimakkuuden mittaamiseen, kun käytössä on kanta-asiakaskorttiohjelman avulla kerättyä asiakaskohtaista valintadataa. Kolme valinnan mallia kehitetään mallintamaan tuotteiden valinnan todennäköisyyttä kolmessa eri kokoisessa tuoteryhmässä. Mallien suorituskykyä arvioidaan vertailemalla niiden tarkkuutta ennustaa myyntiä tilanteissa, joissa tuotteen myynti laskee substituuttituotteen hinnanalennuksen takia. Mallien ennustustarkkuuden vertailukohtana pidetään yksinkertaisen, ainoastaan päiväkohtaisia myyntejä hyödyntävän myyntikorrelaatiomallin ennustustarkkuutta. Tietosuojasyistä tutkimuksen data generoitiin simuloimalla.

Tutkimuksen tulokset osoittavat, että valinnan malleilla on mahdollista parantaa substituution voimakkuuden arvioita, kun käytössä on päivittäisten myyntien lisäksi asiakaskohtaista valintadataa. Valinnan mallit eivät kuitenkaan suoriutuneet hyvin suurissa tuotekategorioissa, joten mahdollisuuksia vähentää tuotevaihtoehtojen lukumäärää esimerkiksi tuoteattribuuttien avulla tulisi tutkia lisää. Mallit tulisi myös validoida todellisella kanta-asiakaskorttidatalla, jotta voitaisiin ottaa huomioon asiakkaiden käyttäytymisen ilmiöt, joita ei ollut mahdollista simuloida.