Adapting usability evaluation methods for the evaluation of developer experience

Abstract

Evaluating the experience of using software development products calls upon the research of Developer Experience (DX). DX is a relatively new topic in academia, and as such, is not yet widely researched. Being closely linked to its sibling discipline User Experience (UX), researchers of DX often build on theories and findings of the Human-Computer Interaction (HCI) academic community. Usability and user experience can be evaluated using usability evaluation methods (UEMs). In certain cases, existing UEMs can be used to evaluate DX as well. However, these evaluation methods often make assumptions that do not hold when evaluating the DX of creating new software instead of simply using software. This thesis investigates various existing UEMs in an exploratory study and uses the findings to develop a framework for examining and adapting UEMs for DX evaluation. The result of this study is a multi-stage framework for UEM analysis and adaptation, consisting of diagrams, tables, and textual descriptions. The framework development draws from design science principles. Future empirical studies could verify the framework's applicability.

Ohjelmistokehitystuotteiden käyttäjäkokemuksen evaluoinnissa sovelletaan kehittäjäkokemustutkimusta (Developer Experience, DX). DX on akateemisesti verrattain uusi käsite, eikä siihen perehtyvää tutkimusta ole vielä merkittävästi saatavilla. Käyttäjäkokemuksen (User Experience, UX) tieteenhaaran sukulaisena DX-tutkimus perustuu usein ihmisen ja tietokoneen välisen vuorovaikutuksen (Human-Computer Interaction, HCI) tutkijayhteisön esittämiin havaintoihin ja malleihin. Käytettävyyttä ja käyttäjäkokemusta voidaan evaluoida käytettävyyden arviointimenetelmien (usability evaluation method, UEM) avulla. UEM:iä voi tietyissä tilanteissa käyttää suoraan kehittäjäkokemuksen arviointiin. Arviointimenetelmät tekevät kuitenkin usein perustavanlaatuisia oletuksia, jotka eivät enää pidä paikkaansa, kun ohjelmiston käyttämisen sijaan evaluoidaankin uuden ohjelmiston kehittämisen kokemusta. Diplomityö tutkii olemassa olevia arviointimenetelmiä, tavoitteena konstruoida johdonmukainen viitekehys, jolla yksittäisen UEM:n voisi adaptoida ohjelmistokehitysyhteensopivaksi. Työn tuloksena esitetään monivaiheinen viitekehys, jota soveltamalla arviointimenetelmiä voidaan analysoida ja adaptoida kehittäjäkontekstiin. Viitekehyksen kehitystyö perustuu suunnittelutieteen periaatteisiin. Kuvista, taulukoista, sekä tekstimuotoisista kuvauksista koostuvan viitekehyksen soveltuvuus voidaan todentaa empiirisillä jatkotutkimuksilla.