Time Series Forecasting for Conversion Prediction in Social Advertising
Loading...
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2023-03-20
Department
Major/Subject
Machine Learning, Data Science, and Artificial Intelligence
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
53+3
Series
Abstract
Social advertising is the use of social media services to deliver advertisements to the users of those services. These advertisements are organized into a hierarchy of campaigns, ad sets, and ads. One of the most important uses of campaigns and ad sets is to decide the budget of the items beneath them in the hierarchy. This budget is used to determine bids in ad auctions held by the respective social media service, where bids are made for the chance to show an ad to a user of the service. The goal of advertisers is to convert users who see their ads into paying customers. A campaign or ad set is said to perform well if the ratio of money spent to the number of conversions achieved ("cost per conversion") is low. Advertisers try to spend their advertising budgets optimally by increasing the budgets of campaigns or ad sets which they expect to perform well and decreasing them for those which they do not expect to perform as well. However, assessing which campaigns or ad sets will have good performance in the future is difficult to do with human intuition, and adjusting budgets of large numbers of campaigns and ad sets on a regular basis is impractical. Ahonen (2017) proposes a system called predictive budget allocation (PBA), which uses Bayesian bandits to optimize these budgets automatically, given predicted future performance. In this thesis, we investigate ways to predict the number of conversions for campaigns or ad sets for the purpose of PBA, given a time series consisting of at least money spent and conversions achieved in the past. We examine four different models: A classical statistical model (ARIMAX), two Bayesian models, and one tree-based model (XGBoost), and compare them to a baseline naïve model. We use each model to make predictions on time series of spend and conversions from real ad sets. Among the nontrivial models, we find that ARIMAX performs best in terms of point predictions, but our proposed probabilistic predictive method for it fails. The Bayesian models show mixed results and require further refinement. XGBoost lacks the probabilistic predictions we regard as essential, but its point predictions are generally good and its ability to use categorical features opens new possibilities for analyzing conversion time series. We note the difficulty of quantifying time series forecast performance given true data that vary greatly in scale.Social annonsering är användande av sociala nätverkstjänster för att leverera reklam till användare av dessa tjänster. Dessa reklamer organiseras som en hierarki av kampanjer, "reklamset", och reklamer. En av de viktigaste uppgifterna för kampanjer och reklamset är att bestämma budgetarna för det som finns under dem i hierarkin. Dessa budgetar används för att bestämma bud i reklamauktioner som hålls av den sociala nätverkstjänsten i fråga. Annonsörernas mål är att konvertera användare som ser deras reklam till betalande kunder. En kampanj eller reklamset betraktas som effektiv då mängden spenderade pengar i förhållande till antalet konverteringar eller "kostnaden per konvertering" är låg. Annonsörer försöker spendera reklammedel på ett optimalt sätt genom att öka budgetarna för kampanjer eller reklamset som är effektiva, och minska dem för kampanjer eller reklamset som inte är lika effektiva. Men att bedöma vilka kampanjer eller reklamset som kommer att vara effektiva i framtiden är svårt att göra med mänsklig intuition, och det är opraktiskt att regelbundet justera budgetarna för stora mängder kampanjer och reklamset. Ahonen (2017) föreslår ett system som kallas för prediktiv budgettilldelning som använder bayesianska banditer för att optimera dessa budgetar automatiskt, utgående från förutsägelser om effektiviteten. I denna avhandling undersöker vi olika sätt att förutsäga antalet konverteringar en reklamkampanj eller -set kommer att uppnå, med hänsyn till en tidsserie som åtminstone består av spenderade pengar och observerade konverteringar. Vi granskar fyra olika modeller: en klassisk statistisk modell (ARIMAX), två bayesianska modeller, och en beslutsträdmodell (XGBoost), och jämför dem med en naiv modell som referens. Vi utför tidsserieprediktioner med varje modell på data från verkliga reklamset. Bland de icke-triviala modellerna, visar ARIMAX bäst värdeprediktioner, men vår föreslagna metod för probabilistiska prediktioner misslyckas. De bayesianska modellerna medför blandade resultat, och kräver ytterligare förfining. XGBoost saknar den probabilistiska prediktionsförmågan som vi betraktar som nödvändig, men värdeprediktionerna är i allmänhet goda, och modellens förmåga att använda kategoriska data öppnar nya möjligheter för analys av konverteringstidsserier. Vi noterar att det är svårt att kvantifiera effektiviteten av tidsseriemodeller då testdata varierar mycket i skala.Description
Supervisor
Vehtari, AkiThesis advisor
Laine, HannuKeywords
time series forecasting, social advertising, predictive budget allocation, Bayesian inference, model comparison
