Fractional Factorial Experiments in Screening of Digital Video Advertisement Designs
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Authors
Date
2020-01-20
Department
Major/Subject
Control, Robotics and Autonomous Systems
Mcode
ELEC3025
Degree programme
AEE - Master’s Programme in Automation and Electrical Engineering (TS2013)
Language
en
Pages
69 + 4
Series
Abstract
We studied the use of fractional factorial designs for decreasing the scale and cost of creative experiments. Data driven advertisement design allows advertisers to produce pleasing and effective digital ads. By studying multiple binary factors, such as whether to include price details in the ad, advertisers can improve future performance. Traditional full factorial experiments test all factor combinations, which renders them impractical due to their scale. Fractional factorial designs present a possible optimal way of reducing experiments to a manageable form. We tackled fractional factorial experiments in screening of digital video ads in three areas. Firstly, we showed both using a large scale experiment and simulation that fractional factorial designs do not reduce experimental cost. The required total sample size remains constant. They can, however, still solve audience size limitations. Secondly, fractional experiments pose assumptions on the measured process. We performed a full factorial experiment on Facebook and Instagram, and the results revealed that significant first-order interactions are present. This indicates that the most drastic reductions in experiments can probably not be achieved. Further experiments are however required to conclude the source of the interactions. Despite this, some fractional designs withstand first-order interactions. These require a minimum of 8 runs, rendering them useful only for large budgets. Finally, we analyzed two large scale experiments using Bayesian generalized linear models. We found that using a Poisson distribution for modeling conversions performs moderately. The model had relative error below 10\%, which provides optimism in using fractional factorials in creative testing. We also showed in a simple simulated study, that sparsity assumptions allow recovering the most influential factors when the sample size is sufficiently large. The experiments, in conjunction with the Bayesian approaches, present appealing steps toward modeling and screening the performance effect of changes in video ads.Tutkimme osafaktorikokeiden käyttöä koeasetelmien, sekä -kustannusten pienentämiseksi mainostuotannossa. Tietopohjainen mainossuunnitelu mahdollistaa miellyttävien ja tehokkaiden mainosten tuotannon. Tutkimalla useita kasitasoisia faktoreita, kuten hinnan sisällyttämistä tai pois jättämistä, mainostaja voi tuottaa parempia mainoksia tulevaisuudessa. Perinteiset faktorikokeet keskittyvät kaikkien faktoriyhdistelmien mittaamiseen. Tämä tekee kokeista usein epäkäytännöllisiä kokonsa tähden. Osafaktorikokeet mahdollistavat havaintomäärän laskemisen mielekkäämmälle tasolle. Tämä diplomityö käsittelee osafaktorikokeiden- ja koeasetelmien käyttöä digitaalisten videomainosten seulonnassa. Työ käsitteli kolmea osa-aluetta: Ensinnäkin, näytimme mittavalla kokeella, sekä simuloimalla, että osafaktorikokeet eivät laske koekustannuksia. Vaadittava kokonaishavaintomäärä ei muutu. Ne auttavat kuitenkin yleisömäärästä johtuvien rajoitteiden selättämisessä. Toiseksi, osfaktorikokeiden käyttö edellyttää tiettyjä oletuksia. Korkeamman asteen yhdysvaikutusten puuttuessa voidaan osafaktorikokeilla saavuttaa suuri vähennys tarvittavassa havaintomäärässä. Suoritimme yhdysvaikutusten mittaamiseksi faktorikokeen Facebook ja Instagram palveluissa. Kokeen tulokset osoittavat, että jotkin ensimmäisen asteen yhdysvaikutukset ovat merkittäviä. Tämän myötä kaikkein suurimpien vähennysten saavuttaminen havaintomäärässä ei ole luultavasti mahdollista. Lopullinen yhdysvaikutusten alkuperän ymmärtäminen vaatii vielä lisäkokeita. Jotkin osafaktorikoesuunnitelmat ovat kuitenkin käytettävissä, ensimmäisen asteen yhteisvaikutuksista huolimatta. Nämä vaativat vähintään kahdeksan havaintoa, ja soveltuvat siten vain suurille koebudjeteille. Lopulta, analysoimme kahta mittavaa koetta käyttämällä Bayesilaista analyysia ja yleistettyä lineaarista mallia. Analyysin pohjalta totesimme, että Poisson-jakauma soveltuu konversioiden ennustamiseen kohtalaisesti. Mallin ennusteen suhteellinen virhe oli alle 10\%, mikä puoltaa mallien käyttöä mainosten luovan sisällön testauksessa. Osoitimme myös simuloidulla kokeella että suurella otoksella faktorit, joiden vaikutus vasteeseen on suuri, voidaan tunnistaa, mikäli harvojen vaikutusten oletus pätee. Tällöin oletetaan että joidenkin faktorien vaikutus on mitätön. Suorittamamme kokeet, sekä Bayesilainen lähestymistapa ovat lupaavia askeleita videomainoksissa esiintyvien faktorien vaikutusten mallinnuksessa ja seulonnassa.Description
Supervisor
Vehtari, AkiThesis advisor
Kovanen, LauriKeywords
fractional factorial, digital advertising, bayesian, video ads