Visual Testing and Peer Review

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2017-08-28
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
52 + 5
Series
Abstract
Testing is an important part of software development process, as it ensures quality of software products and services. In order to make testing less costly and time consuming, test automation with continuous integration tools is used. Another way to ensure the quality of software is peer review process, which gained its popularity from agile development practices. Regarding unit tests, their integration with test automation and peer review processes is not rare. But, for visual testing tools, which confirm quality of graphical user interface, such integration is not so commonplace. The goal of this thesis is to investigate, if visual testing tools can be used together with continuous integration and peer review. We have investigated the subject in the context of a small software development company. In order to choose the most suitable tool for further analysis, we have compared 18 testing tools and their features. For visual testing, such important features are, among other things, support for different screen sizes, wide array of supported browsers and ability to emulate user interactions. This is because modern Web applications are usually responsive, dynamic and expected to function in multiple browsers and devices. After comparison, we have chosen Percy as the best suited tool for the company’s context. We have validated our choice with three products currently developed in the company. During the research we have successfully executed automated visual testing with continuous integration tool. Additionally, the visual testing tool produced summary of visual differences, which can be used as a part of peer review process. However, the tool is not perfect, as it supports only Firefox. The findings show that only few mature visual testing tools exist. Each tool has its drawbacks and cannot be used generally. However, the field is developing rabidly and new tools emerge. With the growing importance of user experience, tackling visual defects is getting more focus. Thus, the field seems promising and more research is needed in order to develop universal solutions.

Testaus on tärkeä osa ohjelmistokehitysprosessia, koska se varmistaa ohjelmistotuotteiden ja -palvelujen laadun. Jotta testauksesta saadaan edullisempaa ja nopeampaa, käytetään testausautomaation ja jatkuvan integraation työkaluja. Toinen tapa varmistaa ohjelmiston laatu on vertaisarviointi, joka on tullut suosituksi ketteristä kehitysmenetelmistä. Yksikkötestit usein integroidaan testausautomaatioon ja vertaisarviointiin. Mutta vastaavia integraatioita ei usein ole visuaalisille testeille, jotka varmistavat graafisen käyttöliittymän laadun. Tämän työn tavoite on tutkia, voiko visuaalisen testauksen työkaluja käyttää yhdessä jatkuvan integraation ja vertaisarvioinnin kanssa. Me olemme tutkineet aihetta pienen start-up yrityksen näkökulmasta. Vertailimme 18 visuaalisen testauksen työkalua ja niiden ominaisuuksia. Tärkeitä ominaisuuksia valitsemassamme kontekstissa ovat mm. tuki usealle näytön koolle, kattava tuki eri selaimille ja mahdollisuus jäljitellä käyttäjän syötteitä. Ne ovat tärkeitä, koska nykyiset web-sovellukset ovat yleensä responsiivisia, dynaamisia ja niiden oletetaan toimivan useissa selaimissa ja laitteissa. Valitsimme vertailluista visuaalisen testauksen työkaluista Percy:n jatkotutkimuksiin, koska se vaikutti sopivimmalta työkalulta yrityksemme näkökulmasta. Arvioimme Percy:n sopivuutta kehittämällä visuaalisia testejä kolmelle yrityksen tuotteelle. jatkotutkimuksissa onnistuimme suorittamaan automaattisia visuaalisia testejä, jotka toimivat yhdessä jatkuvan integraation kanssa. Lisäksi visuaalinen testaus tuotti yhteenvedon visuaalisista eroavaisuuksista, jota voidaan käyttää osana vertaisarviointi prosessia. Työkalu ei kuitenkaan ole täydellinen, koska se tukee vain Firefox-selainta. Tulokset osoittavat, että on olemassa vain harvoja kehittyneitä visuaalisen testauksen työkaluja. Jokaisessa työkalussa on haittapuolensa ja ne eivät kelpaa yleiseksi ratkaisuksi ongelmaan. Ala on kuitenkin kehittymässä nopeasti ja uusi työkaluja syntyy jatkuvasti. Käyttäjäkokemuksen tärkeyden kasvaessa, visuaalisten virheiden havaitsemiseen kiinnitetään enemmän huomiota. Siksi ala vaikuttaa lupaavalta ja lisää tutkimusta tarvitaan, jotta voidaan kehittää yleiskäyttöisiä ratkaisuja.
Description
Supervisor
Malmi, Lauri
Thesis advisor
Vesterinen, Arttu
Keywords
visual testing, testing, peer review, continuous integration, case study, comparison
Other note
Citation