Improving user experience through consistency

Abstract

This thesis studies how the concept of consistency applies to user experience, how consistency of user experience could be measured, and whether a consistent user experience is measurably better than an inconsistent one. Consistent interfaces offer many potential benefits, such as being faster to learn, more efficient to use, and knowledge of consistent interfaces being transferable to other similarly consistent interfaces.

Consistency of user experience is defined in this thesis by abstracting it into dimensions of internal and external consistency over conceptual, communicational and physical components. Pragmatic and hedonic aspects of user experience are used in measuring the effect of consistency on user experience.

An empirical study was performed on a web frontend that was being refactored to a new platform with the plan to concurrently add improvements. The focus was to fix inconsistencies in the frontend and gauge whether that improves user experience and usability.

Two usability evaluations (both N=13) were conducted: one for the original version of the frontend, and one for a frontend where some of the consistency-related findings of the first evaluation had been addressed. Talk-aloud process and observation were used to collect qualitative findings during the task-driven evaluation sessions, while quantitative user experience and usability data was measured with post-evaluation AttrakDiff and SUS questionnaires.

The results, however, did not show any clear change. Qualitative findings from the second evaluation showed positive development, but they conflicted with negative but statistically insignificant quantitative findings from the same evaluation. Possible explanations for this turn of events are presented, including the possibility that the evaluation participants graded the frontend as relatively "too good" on the first evaluation.

Tämä diplomityö tutkii konsistenssin - eli johdonmukaisuuden tai yhdenmukaisuuden - käyttöä käyttäjäkokemuksen yhteydessä, kuinka tätä konsistenssia voidaan mitata, ja onko konsistentti käyttöliittymä epäkonsistenttia parempi. Konsistentit käyttöliittymät tarjoavat monia potentiaalisia etuja: niitä on muun muassa tehokkaampi käyttää, niitä on nopeampi oppia, ja tämä opittu tietämys on siirrettävissä muihin vastaavasti konsistentteihin käyttöliittymiin.

Käyttäjäkokemuksen konsistenssi määritellään tässä työssä sisäisen ja ulkoisen konsistenssin dimensioiden sekä käsitteellisen, viestinnällisen sekä fyysisen osamäärittelyn avulla. Käyttäjäkokemuksen käytännöllisiä ja hedonisia aspekteja käytetään mitattaessa konsistenssin vaikutusta käyttäjäkokemukseen.

Tutkimuksen empiirinen osa suoritettiin web-käyttöliittymälle, jota oltiin uudistamassa. Tavoitteena oli korjata epäjohdonmukaisuuksia ja mitata paransivatko nämä toimet käyttäjäkokemusta ja käytettävyyttä.

Käyttöliittymälle suoritettiin kaksi käytettävyysarviota (molemmissa N=13): alkuperäiselle versiolle, sekä versiolle, jossa ensimmäisen arviokierroksen konsistenssiin liittyviä löydöksiä oli paranneltu. Laadullista dataa kerättiin tehtäväpohjaisissa arvioissa äänenajattelu-metodilla ja havainnoimalla. Määrällistä dataa käyttäjäkokemuksesta ja käytettävyydestä kerättiin AttrakDiff- ja SUS-menetelmillä.

Lopputuloksena ei kuitenkaan saatu selkeää eroa. Toisen arviokierroksen laadullinen data osoitti positiivista kehitystä järjestelmän parannuksissa, mutta tämä data oli ristiriidassa negatiivisten, mutta tilastollisesti ei-merkitsevien määrällisten löydösten kanssa. Mahdollisia selityksiä tälle annetaan työssä, päällimmäisenä mahdollisuus, että osallistujat arvioivat käyttöliittymän suhteellisesti "liian hyväksi" ensimmäisessä arviokierroksessa.