The effect of prototype fidelity on usability evaluation in product development

Abstract

Building prototypes is an important part of any product development process and either does not really have a purpose without the other. Prototypes are often used to find out user needs, test concepts and verify design. In industry, prototyping is used in rather late stages of the product development process, not always after concepts have been developed and user needs have been gathered. In this thesis, prototypes are used to aid in finding user needs and verifying made assumptions regarding product needs.

The objective of this thesis is to find out how prototype fidelity level effects on the usability evaluation of a product in development. To meet this objective, a novel metric was developed for defining prototype fidelity in relation to the time it takes to design and build. The research was done in the form of a case study of the design of a foot controller for a dental care unit.

Parametric prototypes of a proposed design for a foot controller were made at two fidelity levels, very low and medium and prototypes were tested evaluated by dentists who are the main target user of the final product. To keep the number of required tests to minimum, three parameters were selected for the prototypes to be varied at two levels. A L3 orthogonal array was used to minimize the number of combinations to be tested and Taguchi method was used in analysis to determine the optimal parameter combination based on evaluation.

The results suggest that very low fidelity prototypes can help in identifying usability issues and user needs as effectively as higher fidelity prototypes when developing a product. The evaluated low and high-fidelity prototypes received similar grades from evaluation, often averages were within 0,5 on a five-point scale. The use of very low fidelity prototypes during user interviews could help set the mood and bring up more thoughts in the customer testing the prototype. More thoughts about the product in turn would help in identifying user needs or usability issues which would otherwise stay latent.

Prototyyppien rakentaminen on merkittävä osa mitä tahansa tuotekehitysprojektia, eikä kummallakaan varsinaisesti ole merkitystä ilman toista. Prototyyppejä käytetään usein käyttäjätarpeiden kartoittamiseen, konseptien testaamiseen sekä tehdyn suunnittelun validointiin. Teollisuudessa prototyyppejä käytetään melko myöhäisessä vaiheessa tuotekehitysprosessia, eikä useinkaan heti, kun konseptit on luotu ja käyttäjätarpeet kerätty. Tässä diplomityössä prototyyppejä käytetään käyttäjätarpeiden selvittämisessä apuna sekä tuotteeseen liittyvien tarpeiden varmentamisessa.

Diplomityön tavoitteena on selvittää, miten prototyypin fideliteetti eri tasoilla vaikuttaa tuotteen käytettävyyden arviointiin tuotekehityksen aikana. Jotta tämä tavoite saavutettaisiin, kehitettiin uudenlainen mittari prototyypin fideliteetin arvioimiseksi. Mittari suhteuttaa fideliteetin prototyypin rakentamiseen käytettyyn aikaan.

Ehdotetusta jalkapolkimen mallista tehtiin kahdella eri fideliteetin tasolla parametriset prototyypit, tasojen ollessa erittäin matala sekä keskitasoa. Prototyyppejä näytettiin lopputuotteen ensisijaisille käyttäjille, hammaslääkäreille, jotka testasivat ja arvioivat prototyyppien käytettävyyttä. Jotta rakennettavien mallien lukumäärä saatiin pysymään mahdollisimman pienenä, valittiin kolme haastattelujen ja kyselyn perusteella tärkeimmäksi koettua ominaisuutta, joita muutettiin kahdella tasolla. L3 ortogonaalimatriisin avulla minimoitiin testattavien yhdistelmien lukumäärä ja ihanteellinen parametrien yhdistelmä valittiin Taguchi-menetelmään perustuvan analyysin pohjalta.

Tulokset viittaavat siihen, että tuotekehityksessä erittäin alhaisen fideliteetin prototyypillä voidaan havaita käytettävyyteen liittyviä seikkoja yhtä tehokkaasti, kuin korkean fideliteetin prototyypeillä. Arvioidut alhaisen ja korkeamman fideliteetin prototyypit saivat samankaltaisia arvioita testauksessa, monesti erot arvosanojen keskiarvojen välillä olivat alle 0,5 viisiportaisella asteikolla. Alhaisen fideliteetin prototyyppejä voidaan hyödyntää asiakashaastatteluissa ja niiden avulla voidaan saada apua sopivan tunnelman luomiseksi haastattelutilanteeseen sekä tuomaan asiakkaan mieleen enemmän asioita. Useampi ajatus tuotteesta voi auttaa käytettävyyteen liittyvien seikkojen ja käyttäjätarpeiden sekä piilevien tarpeiden tunnistamisessa.