Time Series Forecasting for Conversion Prediction in Social Advertising

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Date

2023-03-20

Department

Major/Subject

Machine Learning, Data Science, and Artificial Intelligence

Mcode

SCI3044

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

53+3

Series

Abstract

Social advertising is the use of social media services to deliver advertisements to the users of those services. These advertisements are organized into a hierarchy of campaigns, ad sets, and ads. One of the most important uses of campaigns and ad sets is to decide the budget of the items beneath them in the hierarchy. This budget is used to determine bids in ad auctions held by the respective social media service, where bids are made for the chance to show an ad to a user of the service. The goal of advertisers is to convert users who see their ads into paying customers. A campaign or ad set is said to perform well if the ratio of money spent to the number of conversions achieved ("cost per conversion") is low. Advertisers try to spend their advertising budgets optimally by increasing the budgets of campaigns or ad sets which they expect to perform well and decreasing them for those which they do not expect to perform as well. However, assessing which campaigns or ad sets will have good performance in the future is difficult to do with human intuition, and adjusting budgets of large numbers of campaigns and ad sets on a regular basis is impractical. Ahonen (2017) proposes a system called predictive budget allocation (PBA), which uses Bayesian bandits to optimize these budgets automatically, given predicted future performance. In this thesis, we investigate ways to predict the number of conversions for campaigns or ad sets for the purpose of PBA, given a time series consisting of at least money spent and conversions achieved in the past. We examine four different models: A classical statistical model (ARIMAX), two Bayesian models, and one tree-based model (XGBoost), and compare them to a baseline naïve model. We use each model to make predictions on time series of spend and conversions from real ad sets. Among the nontrivial models, we find that ARIMAX performs best in terms of point predictions, but our proposed probabilistic predictive method for it fails. The Bayesian models show mixed results and require further refinement. XGBoost lacks the probabilistic predictions we regard as essential, but its point predictions are generally good and its ability to use categorical features opens new possibilities for analyzing conversion time series. We note the difficulty of quantifying time series forecast performance given true data that vary greatly in scale.

Social annonsering är användande av sociala nätverkstjänster för att leverera reklam till användare av dessa tjänster. Dessa reklamer organiseras som en hierarki av kampanjer, "reklamset", och reklamer. En av de viktigaste uppgifterna för kampanjer och reklamset är att bestämma budgetarna för det som finns under dem i hierarkin. Dessa budgetar används för att bestämma bud i reklamauktioner som hålls av den sociala nätverkstjänsten i fråga. Annonsörernas mål är att konvertera användare som ser deras reklam till betalande kunder. En kampanj eller reklamset betraktas som effektiv då mängden spenderade pengar i förhållande till antalet konverteringar eller "kostnaden per konvertering" är låg. Annonsörer försöker spendera reklammedel på ett optimalt sätt genom att öka budgetarna för kampanjer eller reklamset som är effektiva, och minska dem för kampanjer eller reklamset som inte är lika effektiva. Men att bedöma vilka kampanjer eller reklamset som kommer att vara effektiva i framtiden är svårt att göra med mänsklig intuition, och det är opraktiskt att regelbundet justera budgetarna för stora mängder kampanjer och reklamset. Ahonen (2017) föreslår ett system som kallas för prediktiv budgettilldelning som använder bayesianska banditer för att optimera dessa budgetar automatiskt, utgående från förutsägelser om effektiviteten. I denna avhandling undersöker vi olika sätt att förutsäga antalet konverteringar en reklamkampanj eller -set kommer att uppnå, med hänsyn till en tidsserie som åtminstone består av spenderade pengar och observerade konverteringar. Vi granskar fyra olika modeller: en klassisk statistisk modell (ARIMAX), två bayesianska modeller, och en beslutsträdmodell (XGBoost), och jämför dem med en naiv modell som referens. Vi utför tidsserieprediktioner med varje modell på data från verkliga reklamset. Bland de icke-triviala modellerna, visar ARIMAX bäst värdeprediktioner, men vår föreslagna metod för probabilistiska prediktioner misslyckas. De bayesianska modellerna medför blandade resultat, och kräver ytterligare förfining. XGBoost saknar den probabilistiska prediktionsförmågan som vi betraktar som nödvändig, men värdeprediktionerna är i allmänhet goda, och modellens förmåga att använda kategoriska data öppnar nya möjligheter för analys av konverteringstidsserier. Vi noterar att det är svårt att kvantifiera effektiviteten av tidsseriemodeller då testdata varierar mycket i skala.

Description

Supervisor

Vehtari, Aki

Thesis advisor

Laine, Hannu

Keywords

time series forecasting, social advertising, predictive budget allocation, Bayesian inference, model comparison

Other note

Citation