Development of A/B testing capability for digital service operations using a third-party tool
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-08-19
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
70+8
Series
Abstract
High competition exists between digital services and in agile development new features and versions of the services are constantly released. The services must stand out in terms of offered functionalities and user experience. However, as much as 90% of the time the intuition of development organisations on user preferences is incorrect. To combat this, the industry giants run online controlled experiments, including A/B testing, with real users. In A/B testing the users of the service are divided into two groups, where one group is shown the original version of the service, and the other a modified one. Statistical methods are used to study whether there exists any user behaviour difference between the two groups. Running these experiments requires a specific setup which development in-house can demand a large amount of resources. In recent years, the number of available A/B testing tools offered by third-party companies has increased. These tools decrease the experimentation costs and make the testing easier which expands the experimentation possibility to smaller organisations. In this thesis A/B testing capability is developed for a development process using a third-party tool. The development process is used to develop a digital service for the customers of a Finnish energy company. The capability is developed for the web front-end of the service. However, possible desire to expand the capability to back-end and mobile is considered throughout the thesis. The A/B testing tool is selected using a systematic comparison derived from literature. The initial comparison includes six tools from which AB Tasty, Optimizely and Split support the required technologies, and features. More in-depth comparison is done between them. Split is chosen as the most suitable tool for the development process as it offers the most extensive features and is already partly used in the project. The tool is validated using A/A tests and an A/B testing experiment is run to develop and test the A/B testing capability. In the experiment the position of an element in the landing page is moved. The experiment runs for seven days in production. Thus, the results are based on real user behaviour. The experiment is successful, and it confirms that A/B testing capability is developed for the development process.Kilpailu digitaalisten palveluiden välillä on kovaa ja ketterän kehittämisen myötä uusia ominaisuuksia ja versioita palveluista julkaistaan jatkuvasti. Palveluiden tulee erottua edukseen sekä tarjottujen toiminnallisuuksien että käyttäjäkokemuksen perusteella. Kuitenkin jopa 90% ajasta ohjelmointikehitysorganisaatioiden intuitio käyttäjien mieltymyksistä on väärä. Alan jättiläiset ovat ratkaisseet tämän ajamalla verkossa ohjattuja kokeiluja, joihin myös A/B-testaus kuuluu. A/B-testauksessa palvelun käyttäjät jaetaan kahteen osaan, joista toiselle esitetään alkuperäinen versio palvelusta ja toiselle uusi versio. Testissä tarkastellaan statistisilla menetelmillä vaikuttaako muutos käyttäjien käyttäytymiseen. Näiden kokeilujen ajaminen vaatii tarkasti kehitetyn ratkaisun, jonka kehittäminen itse vaatii valtavia resursseja. Viime vuosina kolmansien osapuolten tarjoamien A/B-testaustyökalujen määrä on kasvanut merkittävästi. Nämä työkalut tarjoavat halvemman ja helpomman tavan testata, mikä mahdollistaa A/B-testauksen myös pienemmissä yrityksissä. Tässä työssä kehitetään A/B-testauskyvykkyys käytössä olevalle kehitysprosessille kolmannen osapuolen työkalun avulla. Tällä kehitysprosessilla kehitetään digitaalista palvelua energiayhtiön asiakkaille. Työ on rajattu kehittämään A/B-testauskyvykkyys palvelun verkkosivun front-endille. Työssä otetaan kuitenkin huomioon mahdollinen tarve laajentaa testaus myös back-endin ja mobiilin puolelle. A/B-testaustyökalu valitaan systemaattisen vertailun avulla. Alustavassa vertailussa on mukana kuusi työkalua. Näistä AB Tasty, Optimizely ja Split tukevat tarvittavia teknologioita ja ominaisuuksia, joten ne valitaan tarkempaan vertailuun. Työkaluista Split on sopivin työkalu kehitysprosessille, sillä se tarjoaa laajimmat ominaisuudet ja on jo osittain käytössä kehitysprosessissa. Splitin toimivuus varmistetaan A/A-testin avulla. Työkalulla toteutetaan A/B-testauskokeilu, jossa etusivun elementtejä siirretään. Kokeilua ajetaan seitsemän päivän ajan tuotannossa, jolloin kokeilun data perustuu oikeisiin käyttäjiin. Kokeilu on onnistunut ja sillä voidaan todentaa että A/B-testauskyvykkyys on kehitetty kehitysprosessille.Description
Supervisor
Nieminen, MarkoThesis advisor
Villikka, JanneKeywords
A/B testing, split testing, online controlled experiments, A/A testing