A/B testing and usability assessment methods in small companies

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Authors

Date

2014

Department

Tietotekniikan laitos

Major/Subject

Ohjelmistoliiketoiminta

Mcode

T-128

Degree programme

Language

en

Pages

vii + 50 s.

Series

Abstract

Usability assessment methods have been considered for long as useful tools to improve usability of the product or service. Many small companies are still reluctant to practice usability assessment methods due to many reasons including limited resources and management bias. A/B testing is a new movement in a corporate world. Multiple companies are considering to begin practicing the method or are practicing it already. Moreover, some people assume that A/B testing can actually cover all the usability assessment methods. This work provides answers to what A/B testing and usability assessment methods are and how they can be practiced in a small company (10-100 employees). Additionally the strengths and weaknesses of both methods are presented and compared. Finally suitability of the methods will be discussed. The target of optimization in this paper is an application of A/B test into a complex enterprise system. Only common usability assessment methods will be evaluated that are used today. These include standard usability testing, heuristic evaluation and cognitive walkthrough. No other usability assessment methods are included in tnis paper. Both practices: usability assessment methods and A/B testing have a place in a project. Despite their different approach they often complement each other and give answers to different questions. Usability assessment methods tend to answer to question why while A/B test usually answers to question which or how many. Usability assessment methods work well as an initial evaluation while A/B test can be used as a follow up method to fine-tune product or service even further.

Käytettävyyden arviointimenetelmät ovat olleet pitkään hyödyllisiä työkaluja yritysten tuotteiden jalostuksessa. Vaikka osa yrityksistä käyttääkin käytettävyyden arviointimenetelmiä omassa liiketoiminnassaan, monet pienet yritykset ovat edelleen haluttomia harjoittamaan menetelmiä eri syistä. A/B-testaus on uusi villitys yritysmaailmassa. Monet yritykset harkitsevat A/B testin käyttöönottoa tai ovat jo siirtyneet käyttämään sitä. Jotkut jopa olettavat, että A/B testi korvaa perinteiset käytettävyyden arviointimenetelmät. Tämä työ käsittelee yleisesti A/B-testausta ja käytettävyyden arviointimenetelmiä sekä sitä, miten ne eroavat toisistaan. Työssä sivutaan myös menetelmien käytännön toteutusta pienissä yrityksissä (10-100 työntekijää). Lisäksi A/B-testauksen ja käytettävyyden arviointimenetelmien vahvuudet ja heikkoudet tuodaan esille. Lopuksi arvioidaan käytettävyyden arviointimenetelmien ja A/B-testauksen käyttötilannetta. Tämä työ keskittyy A/B-testauksen soveltamiseen yrityksen monimutkaiseen järjestelmään. Vain yleiset käytettävyyden arviointimenetelmät, joita ovat käytettävyystesti, heuristinen arviointi ja kognitiivinen läpikäynti, käydään läpi tässä julkaisussa. Mitään muita käytettävyyden arviointimenetelmiä ei käsitellä tässä työssä. Molemmat menettelyt, käytettävyyden arviointimenetelmät ja A/B-testaus, ovat arvokkaita työkaluja projekteissa. Huolimatta siitä, että menetelmien lähestymistavat eroavat toisistaan, ne usein täydentävät toisiaan ja antavat vastaukset eri kysymyksiin. Käytettävyyden arviointimenetelmät yleensä antavat vastauksen kysymykseen miksi, kun puolestaan A/B-testaus pyrkii vastaamaan kysymykseen kumpi tai kuinka monta. Käytettävyyden arviointimenetelmät toimivat hyvin ensimmäisenä arviointivaiheena, kun taas A/B-testaus sopii hyvin tuotteen tai palvelun hienosäätöön.

Description

Supervisor

Kauppinen, Marjo

Thesis advisor

Turku, Charlotta

Keywords

A/B-testi, käytettävyystesti, heuristinen arviointi, kognitiivinen läpikäynti, konversio, konversioasteen optimointi, Kiosked, A/B test, usability inspection, usability testing, heuristic evaluation, cognitive walkthrough, conversion rate optimization

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-201507013725

Collections

[dipl] Perustieteiden korkeakoulu / SCI