Methods for evaluating user experience in small agile teams: a case study
Loading...
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2022-07-29
Department
Major/Subject
Software and Service Engineering
Mcode
SCI3043
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
83 + 18
Series
Abstract
For over a decade user experience (UX) has been one of the key considerations of software companies designing and developing digital services. At the same time, agile methods have become the mainstream in the industry to develop digital products and services. However, the previous studies have identified that agile methods don’t incorporate and ensure good user experience by default. Moreover, the studies have found that there is limited amount of research done investigating the UX practices from the perspective of small agile teams. The goal of this thesis was to investigate which evaluation methods are useful for small agile teams to improve the user experience of digital services. The empirical study was conducted as insider action research within a case company. The data was collected as research diary entries that were analyzed each time after new entries. Based on the literature review, 13 user experience evaluation methods were found to be used by agile teams. Among those, three methods were applied to the empirical case study: a qualitative online survey, semi-structured interviews and observation with thinking aloud. Based on the empirical study, the survey enabled relatively easily gathering concrete examples of issues, confusing areas, and suggestions as well as prioritizing the feedback. This data could be directly used for improving the UX of the service. This most useful information was gained mainly by analyzing the responses to the open-ended questions. The interviews worked well in situations where an accurate description of an issue or additional contextual information was needed to gain deep understanding of the events that influence the UX. The observation with thinking aloud provided the most varying data in understanding the different aspects of the UX. The rich visual and verbal data provided also multiple actionable improvement ideas that could be used for improving the UX of the service. The findings show that all the three UX evaluation methods, the survey, the interviews and the observation with thinking aloud, are useful for small agile teams to improve the UX of digital services. The observation with thinking aloud can help gathering the most useful and actionable data to be directly used for improving the UX of digital services, followed by the survey and last the interview. To evaluate the UX holistically to improve the UX of digital services, it’s good to combine multiple different UX evaluation methods.Yli vuosikymmenen ajan käyttäjäkokemus on ollut yksi digitaalisia palveluita suunnittelevien ja kehittävien ohjelmistoyritysten keskeisistä kiinnostuksenkohteista. Samaan aikaan ketterät menetelmät ovat vakiintuneet alan käytäntönä digitaalisten tuotteiden ja palveluiden kehittämisessä. Aiemmissa tutkimuksissa on kuitenkin osoitettu, että ketterät menetelmät eivät sisällytä ja takaa hyvää käyttäjäkokemusta oletusarvoisesti. Lisäksi niissä on havaittu, että tutkimusta käyttäjäkokemuksen käytännöistä pienten ketterien tiimien näkökulmasta on tehty rajallisesti. Tämän opinnäytetyön tavoitteena oli selvittää, mitkä arviointimenetelmät ovat hyödyllisiä pienille ketterille tiimeille digitaalisten palveluiden käyttäjäkokemuksen parantamiseksi. Empiirinen tutkimus toteutettiin toimintatutkimuksena tapausyrityksessä. Aineisto ke-rättiin tutkimuspäiväkirjaan, jota analysoitiin aina uusien merkintöjen jälkeen. Kirjallisuuskatsauksen perusteella löydettiin 13 käyttäjäkokemuksen arviointimenetelmää, joita ketterät ohjelmistokehitystiimit käyttävät. Näiden joukosta kolmea menetelmää sovellettiin empiiriseen tapaustutkimukseen: kvalitatiivista verkkokyselyä, puolistrukturoituja haastatteluja ja havainnointia yhdistettynä ääneenajatteluun. Empiirisen tutkimuksen perusteella kyselyn avulla saatiin kerättyä suhteellisen helposti konkreettisia esimerkkejä ongelmista, hämmentävistä osa-alueista ja parannusehdotuksista sekä priorisoimaan saatu palaute. Tätä dataa voitiin käyttää suoraan palvelun käyttäjäkokemuksen parantamiseen. Tämä hyödyllisin tieto saatiin pääasiassa analysoimalla vastauksia kyselyn avoimiin kysymyksiin. Haastattelut toimivat hyvin tilanteissa, joissa tarvittiin tarkkaa kuvausta ongelmasta tai kontekstuaalista lisätietoa, jotta voidaan ymmärtää syvällisesti käyttäjäkokemukseen vaikuttavia tapahtumia. Havainnointi yhdistettynä ääneenajatteluun tarjosi monipuolisinta dataa käyttäjäkokemuksen arviointimenetelmien eri näkökulmien ymmärtämiseen. Rikas sanallinen ja verbaalinen data tarjosi myös useita toteuttamiskelpoisia parannusideoita, joita voitiin käyttää palvelun käyttäjäkokemuksen parantamiseen. Tulokset osoittavat, että kaikki kolme käyttäjäkokemuksen arviointimenetelmää, kysely, haastattelut ja havainnointi yhdistettynä ääneenajatteluun, ovat hyödyllisiä pienille ketterille tiimeille digitaalisten palveluiden käyttäjäkokemuksen parantamiseksi. Havainnointi yhdistettynä ääneenajatteluun voi auttaa keräämään hyödyllisintä ja käyttökelpoisinta da-taa, jota voidaan käyttää suoraan digitaalisten palveluiden käyttäjäkokemuksen parantamiseen. Tätä seuraa kysely ja viimeisenä haastattelu. Jotta käyttäjäkokemusta voidaan arvioida kokonaisvaltaisesti digitaalisten palveluiden käyttäjäkokemuksen parantamiseksi, on hyvä yhdistää useita erilaisia käyttäjäkokemuksen arviointimenetelmiä.Description
Supervisor
Kauppinen, MarjoThesis advisor
Kauppinen, MarjoKeywords
user experience, user experience evaluation methods, agile, survey, interviews, observation with thinking aloud
