Optimization of Web Page Advertisements using Contextual Bandits

Abstract

Digital media is one of the cornerstones of modern product marketing. Online display campaigns are one example of such media. With accurate machine learning models, we can leverage user contextual information and online activity to further target these display campaigns at a user level, making them more compelling. This will further improve the main business KPIs, such as click-through rate and customer conversion, thereby driving revenue growth.

This master's thesis investigates the application of reinforcement learning, more specifically a contextual bandit algorithm, for optimizing online advertisement placement on the web pages of Sanoma Media Finland. In this project, we create a minimum viable solution to explore the feasibility and accuracy of this approach in practice. We implement this using the efficient open-source library \textit{Vowpal Wabbit} and create a supporting architecture for it in AWS, allowing the solution to be further scaled up if taken into production.

Due to practical constraints, the model's performance was assessed using historical data rather than live online data. The results showed a significant potential of the model to improve key metrics like click-through rate for various products, with notable improvements in certain cases. However, the study acknowledges the limitations of using historical data and suggests the need for further testing in a real-time environment to validate these findings and to assess the model's impact on subscription rates.

Digitaalinen media on yksi nykyaikaisen tuotemarkkinoinnin kulmakivistä. Verkkonäyttökampanjat ovat yksi esimerkki tällaisesta mediasta. Tarkkojen koneoppimismallien avulla voimme hyödyntää käyttäjän kontekstuaalista tietoa ja online-toimintaa kohdistaaksemme nämä näyttökampanjat käyttäjätasolla, tehden niistä vakuuttavampia. Tämä parantaa puolestaan tärkeitä liiketoiminnan avainmittareita, kuten klikkausprosenttia ja asiakkaan konversiota, mikä taas ajaa liikevaihdon kasvua.

Tämä maisterin tutkielma tutkii vahvistusoppimisen, erityisesti kontekstuaalisen bandiittialgoritmin, soveltamista verkkomainonnan sijoittelun optimointiin Sanoma Media Finlandin verkkosivuilla. Tässä työssä luomme minimaalisen toimivan ratkaisun tutkiaksemme tämän lähestymistavan toteutettavuutta ja tarkkuutta käytännössä. Toteutamme tämän tehokkaan avoimen lähdekoodin kirjaston \textit{Vowpal Wabbit} avulla ja luomme sille tukevan arkkitehtuurin AWS:ssä, mikä mahdollistaa ratkaisun skaalaamista, jos se otettaisiin tuotantokäyttöön.

Käytännön rajoitusten vuoksi mallin suorituskykyä arvioitiin käyttäen historiallista dataa sen sijaan, että olisi käytetty reaaliaikaista verkkodataa. Tulokset osoittivat mallin merkittävän potentiaalin parantaa avainmittareita, kuten klikkausprosenttia eri tuotteille, ja tietyissä tapauksissa havaittiin huomattavia parannuksia. Tutkimuksemme kuitenkin tunnistaa historiallisen datan käytön rajoitukset ja toteaa tarpeen testata reaaliaikaisessa ympäristössä näiden löydösten vahvistamiseksi ja arvioidakseen mallin vaikutusta asiakkaiden muuntamisessa tilaajiksi.