Deep reinforcement learning as a tool for search engine campaign budget optimization
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021-08-24
Department
Major/Subject
Systems and Operations Research
Mcode
SCI3055
Degree programme
Master’s Programme in Mathematics and Operations Research
Language
en
Pages
84
Series
Abstract
Search engine advertising, which is alternatively called sponsored search, is a significant part of internet advertising and advertising in general. An advertiser manages their search engine advertisements through campaigns, between which they allocate their search engine advertising budget. The campaigns’ performance and spending depend on multiple variables, such that an advertiser should update their budget allocation frequently to spend it efficiently. Making justified allocation decisions requires studying multiple metrics and takes time from other tasks. In this thesis, the learning paradigm of machine learning called reinforcement learning is identified as a potential solution to automating and optimizing the budget allocation decisions between search engine advertising campaigns. Reinforcement learning methods and neural networks used in deep reinforcement learning are explored and characterized to design a suitable solution. The task of budget allocation optimization is defined as a reinforcement learning problem and a deep reinforcement learning solution performing daily allocation decisions is designed to solve it. An experiment with live search engine advertising campaigns divided into an optimization and control group is designed and executed. The designed solution is found to perform reasonable allocation decisions, such that a human could have made similar allocation decisions. However, the optimization group performed worse than the control group. It is not clear how much of this was due to uncontrolled external factors, and thus more controllable experiments are suggested for the future. Additionally, suggestions are made on modifications to the designed solution.Hakukonemainonta on merkittävä osa internet-mainontaa sekä mainontaa kokonaisuudessaan. Hakukonemainonnan hallinta perustuu kampanjoihin, joiden välillä mainostaja jakaa hakukonemainonnan budjettiaan. Monet muuttujat vaikuttavat kampanjoiden tehokkuuteen ja budjetin kuluttamiseen, minkä takia mainostajan tulisi päivittää budjetin jakoa säännöllisesti taatakseen sen tehokkaan käytön. Perusteltujen allokaatiopäätösten tekeminen vaatii useiden tunnuslukujen tarkastelua, mikä vie aikaa muilta työtehtäviltä. Tässä työssä potentiaalisena ratkaisuna allokaatiopäätösten automatisointiin ja optimointiin pidetään vahvistusoppimista, joka on yksi koneoppimisen oppimisparadigmoista. Työssä tarkastellaan ja luonnehditaan sekä vahvistusoppimisen metodeja että syvään vahvistusoppimiseen käytettäviä neuroverkkoja. Tarkastelun pohjalta budjettiallokaation optimointi määritellään vahvistusoppimisongelmana, johon suunnitellaan syvään vahvistusoppimiseen perustuva ratkaisu. Ratkaisu tekee päivittäisiä allokaatiopäätöksiä hakukonemainonnan kampanjoiden välillä. Työssä toteutetaan koeasetelma oikeilla hakukonemainonnan kampanjoilla, jossa kampanjat on jaettu optimointiryhmään ja kontrolliryhmään. Koeasetelman tavoitteena on testata ratkaisun toimivuutta. Kokeessa ratkaisun havaittiin tekevän samankaltaisia allokaatiopäätöksiä kuin ihminenkin olisi voinut tehdä. Koeasetelmassa kontrolliryhmä kuitenkin suoriutui optimointiryhmää paremmin. Ulkoisten tekijöiden vaikutusta kokeen tuloksiin ei pystytty määrittelemään tarkasti, joten tulevaisuuteen ehdotetaan kontrolloitavampien testien tekemistä. Lisäksi suunniteltuun ratkaisuun ehdotetaan muutamia muutoksia tulevaisuudessa testattavaksi.Description
Supervisor
Hannukainen, AnttiThesis advisor
Vähä-Pietilä, IlariKeywords
reinforcement learning, search engine advertising, budget allocation, machine learning