Visual Testing and Peer Review

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorVesterinen, Arttu
dc.contributor.authorVuotila, Tero
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.supervisorMalmi, Lauri
dc.date.accessioned2017-09-04T10:36:18Z
dc.date.available2017-09-04T10:36:18Z
dc.date.issued2017-08-28
dc.description.abstractTesting is an important part of software development process, as it ensures quality of software products and services. In order to make testing less costly and time consuming, test automation with continuous integration tools is used. Another way to ensure the quality of software is peer review process, which gained its popularity from agile development practices. Regarding unit tests, their integration with test automation and peer review processes is not rare. But, for visual testing tools, which confirm quality of graphical user interface, such integration is not so commonplace. The goal of this thesis is to investigate, if visual testing tools can be used together with continuous integration and peer review. We have investigated the subject in the context of a small software development company. In order to choose the most suitable tool for further analysis, we have compared 18 testing tools and their features. For visual testing, such important features are, among other things, support for different screen sizes, wide array of supported browsers and ability to emulate user interactions. This is because modern Web applications are usually responsive, dynamic and expected to function in multiple browsers and devices. After comparison, we have chosen Percy as the best suited tool for the company’s context. We have validated our choice with three products currently developed in the company. During the research we have successfully executed automated visual testing with continuous integration tool. Additionally, the visual testing tool produced summary of visual differences, which can be used as a part of peer review process. However, the tool is not perfect, as it supports only Firefox. The findings show that only few mature visual testing tools exist. Each tool has its drawbacks and cannot be used generally. However, the field is developing rabidly and new tools emerge. With the growing importance of user experience, tackling visual defects is getting more focus. Thus, the field seems promising and more research is needed in order to develop universal solutions.en
dc.description.abstractTestaus on tärkeä osa ohjelmistokehitysprosessia, koska se varmistaa ohjelmistotuotteiden ja -palvelujen laadun. Jotta testauksesta saadaan edullisempaa ja nopeampaa, käytetään testausautomaation ja jatkuvan integraation työkaluja. Toinen tapa varmistaa ohjelmiston laatu on vertaisarviointi, joka on tullut suosituksi ketteristä kehitysmenetelmistä. Yksikkötestit usein integroidaan testausautomaatioon ja vertaisarviointiin. Mutta vastaavia integraatioita ei usein ole visuaalisille testeille, jotka varmistavat graafisen käyttöliittymän laadun. Tämän työn tavoite on tutkia, voiko visuaalisen testauksen työkaluja käyttää yhdessä jatkuvan integraation ja vertaisarvioinnin kanssa. Me olemme tutkineet aihetta pienen start-up yrityksen näkökulmasta. Vertailimme 18 visuaalisen testauksen työkalua ja niiden ominaisuuksia. Tärkeitä ominaisuuksia valitsemassamme kontekstissa ovat mm. tuki usealle näytön koolle, kattava tuki eri selaimille ja mahdollisuus jäljitellä käyttäjän syötteitä. Ne ovat tärkeitä, koska nykyiset web-sovellukset ovat yleensä responsiivisia, dynaamisia ja niiden oletetaan toimivan useissa selaimissa ja laitteissa. Valitsimme vertailluista visuaalisen testauksen työkaluista Percy:n jatkotutkimuksiin, koska se vaikutti sopivimmalta työkalulta yrityksemme näkökulmasta. Arvioimme Percy:n sopivuutta kehittämällä visuaalisia testejä kolmelle yrityksen tuotteelle. jatkotutkimuksissa onnistuimme suorittamaan automaattisia visuaalisia testejä, jotka toimivat yhdessä jatkuvan integraation kanssa. Lisäksi visuaalinen testaus tuotti yhteenvedon visuaalisista eroavaisuuksista, jota voidaan käyttää osana vertaisarviointi prosessia. Työkalu ei kuitenkaan ole täydellinen, koska se tukee vain Firefox-selainta. Tulokset osoittavat, että on olemassa vain harvoja kehittyneitä visuaalisen testauksen työkaluja. Jokaisessa työkalussa on haittapuolensa ja ne eivät kelpaa yleiseksi ratkaisuksi ongelmaan. Ala on kuitenkin kehittymässä nopeasti ja uusi työkaluja syntyy jatkuvasti. Käyttäjäkokemuksen tärkeyden kasvaessa, visuaalisten virheiden havaitsemiseen kiinnitetään enemmän huomiota. Siksi ala vaikuttaa lupaavalta ja lisää tutkimusta tarvitaan, jotta voidaan kehittää yleiskäyttöisiä ratkaisuja.fi
dc.ethesisidAalto 9532
dc.format.extent52 + 5
dc.format.mimetypeapplication/pdfen
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/27947
dc.identifier.urnURN:NBN:fi:aalto-201709046846
dc.language.isoenen
dc.locationP1
dc.programmeMaster’s Programme in Computer, Communication and Information Sciencesfi
dc.programme.majorComputer Sciencefi
dc.programme.mcodeSCI3042fi
dc.subject.keywordvisual testingen
dc.subject.keywordtestingen
dc.subject.keywordpeer reviewen
dc.subject.keywordcontinuous integrationen
dc.subject.keywordcase studyen
dc.subject.keywordcomparisonen
dc.titleVisual Testing and Peer Reviewen
dc.titleVisuaalinen testaus ja vertaisarviointifi
dc.typeG2 Pro gradu, diplomityöfi
dc.type.ontasotMaster's thesisen
dc.type.ontasotDiplomityöfi
local.aalto.electroniconlyyes
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
master_Vuotila_Tero_2017.pdf
Size:
7.77 MB
Format:
Adobe Portable Document Format