Analysis of implemented automated regression testing system
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Author
Date
2011
Department
Major/Subject
Tietojenkäsittelyoppi
Mcode
T-76
Degree programme
Language
en
Pages
83 s. + liitt. 5
Series
Abstract
In software development regression testing means that all or most functional tests of the software is executed whenever there has been a change to ensure that the there is no unexpected issues that the change might have caused. The problem with regression testing is that it takes lot of effort to execute manually. Thus, many projects try to automate regression testing and this research studies how regression testing can be made efficient using automated testing and how it affects the product quality and quality of testing. The research was conducted in a project where all testing were done manually before but there had been a shift to automate regression tests. Researcher was highly involved in implementation of this test automation system before the research was started. In the beginning of the study the test automation implementation was enhanced and expanded with intention to include industry best practices. The implementation used tailored architecture and process model built upon a common tool. The research was done as case study, which included only this project but it included multiple web applications. The results of the study are based on observations, interviews and surveys whose target group is project staff. Test automation is examined from upper abstraction level -from process and efficiency point of view, although the thesis includes overall view of the technical implementation. In addition, this thesis presents other findings that the project found beneficial or harmful after moving to test automation. The results shows that test automation increases efficiency as expected. The project sees this as faster test results and reduced costs. To achieve the efficiency correct tools, staffing and process is needed. We did not receive enough data about the effects of test automation to end product quality but we were able to see an increase in testing quality. Test automation increased the quality of testing by providing better coverage, reduced errors and results that are more reliable.Regressiotestauksella ohjelmistokehityksessä tarkoitetaan, että ohjelmiston kaikki funktionaaliset testit tai suurin osa testeistä ajetaan uudestaan ohjelmistoon tehtävien muutosten jälkeen. Tämän tarkoituksena on taata, etteivät muutokset aiheuta odottamattomia ongelmia. Regressiotestaukselle on tyypillistä, että se vie paljon resursseja käsin suoritettuna. Regressiotestit pyritään usein automatisoimaan. Tämä tutkimus tutkii kuinka regressiotestaus voidaan automatisoida tehokkaasti sekä millaisia vaikutuksia testiautomaation käyttöönotolla on testauksen sekä ohjelmiston laatuun. Tutkimus tehtiin projektissa, jossa regressiotestaus suoritettiin alun perin käsin, mutta jossa oli siirrytty automaatiotestaukseen. Tutkija oli mukana toteuttamassa testiautomaatiojärjestelmää ennen tutkimuksen alkua. Tutkimuksen alkaessa automaatiotestausta paranneltiin ja laajennettiin pyrkimyksenä käyttää. teollisuuden hyväksi havaitsemia tapoja ja räätälöityä prosessimallia sekä räätälöityä arkkitehtuuria. Testiautomaatiojärjestelmä oli rakennettu yleisen työkalun päälle. Tutkimus tehtiin tapaustutkimuksena, jossa tutkittavana oli yksi tapaus, joka koostui useista web-sovelluksista. Tutkimustulokset perustuvat havaintoihin, haastatteluihin sekä mielipidekyselyyn. Testiautomaatiota tarkastellaan tutkimuksessa ylemmältä abstraktiotasolta prosessin ja tehokkuuden näkökulmasta. Työ sisältää myös kuvauksen teknillisestä toteutuksesta, mutta pääpaino on tehokkuuden tutkimisella. Tämän lisäksi työssä esitellään muita havaintoja, jotka huomattiin hyödyllisiksi tai ongelmallisiksi testiautomaatioon siirtymisen jälkeen. Tulosten perusteella testiautomaatio lisää testauksen tehokkuutta. Tämä näkyy projektille nopeimpina testituloksina ja alentuneina kustannuksina. Tähän tavoitteeseen päästään oikealla työkalulla, henkilökunnalla ja prosessilla. Testiautomaation vaikutuksesta tuotteen laatuun emme saaneet tarpeeksi näyttöä, mutta testiautomaatio selvästi paransi testauksen laatua lisäämällä kattavuutta, vähentämällä virheitä sekä luotettavammat testitulokset.Description
Supervisor
Männistö, TomiThesis advisor
Kosunen, MattiKeywords
test automation, testiautomaatio, regression testing, regressiotestaus, quality assurance, laadunvarmistus, quick test professional, testaus, testing, testausprosessi, testing process, tehokkuus, efficiency