Investigating Effects of Test Automa- tion In a Large Software Project: A Case Study

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor klemetti, marko
dc.contributor.author Honkanen, Heikki
dc.date.accessioned 2016-04-20T10:35:15Z
dc.date.available 2016-04-20T10:35:15Z
dc.date.issued 2016-04-04
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/20153
dc.description.abstract Test automation is currently a very popular method used in software development. The effects and effectiveness of test automation is a widely discussed topic, but currently little research exists on the topic. The goal of this thesis was to investigate effects of test automation in a large software project. The research was carried out as a case study. It included a literature review and an empirical study which consisted of data analysis and qualitative research in the form of interviews. The main benefits of test automation found in this research were: faster execution, better attention span of testers, consistency in test execution, regression tests, communication and better use of resources. Test automation also brought intangible benefits, such as increased motivation to testers and ability to run tests that are not feasible to run manually, for example creating thousands of users. The main pitfalls of test automation found were: increased initial effort in testing, more test maintenance, difficulties with volatile environments in testing, less new bugs found and inability to replace human testers. Most benefits and pitfalls were also present in the results of the literature review, but some of them were hardly mentioned. According to the literature review, test automation effectiveness can be measured by return on investment. The results from the data analysis show a positive return of investment for the case project. Additionally, if test automation brings monetary benefit, it is usually realized in the long run. In the research case example during 18 months. The conclusion of this thesis is that that test automation can offer tangible and intangible benefits when implemented over manual testing, usually in the longer run. Intangible benefits can be difficult to quantify in terms of money, but should not be disregarded when deciding whether to automate or not. en
dc.description.abstract Testiautomaatio on nykyään laajalti käytetty menetelmä ohjelmistokehityksessä. Testiautomaation vaikutuksista ja tehokkuudesta on käyty laajaa keskustelua, mutta siitä löytyy rajallisesti tutkimusta. Tämän diplomityön tarkoituksena oli tutkia testiautomaation vaikutuksia suuressa ohjelmistoprojektissa. Työ toteutettiin tapaustutkimuksena, johon kuului kirjallisuuskatsaus ja empiirinen osio, jossa toteutettiin data-analyysiä ja haastatteluita. Tässä työssä testiautomaation pääasiallisiksi hyödyiksi havaittiin nopeampi testien ajo, testaajien parempi keskittymiskyky, testien ajon yhdenmukaisuus, regressiotestaus, kommunikaation paraneminen ja resurssien parempi käyttö. Testiautomaatio näyttää tuovan myös aineettomia hyötyjä kuten testaajien parempi motivaatio ja kyky ajaa testejä, joita on epäkannattavaa tai mahdotonta tehdä käsin esimerkiksi tuhansien käyttäjien luominen. Testiautomaation pääasiallisia haittoja, joita tässä työssä löydettiin, olivat testauksen kallis aloittaminen, enemmän testien korjaustyötä, ongelmat epävakaiden järjestelmien kanssa, vähemmän uusien ongelmien löytämistä ja testiautomaation kyvyttömyys korvata manuaalisia testaajia. Kirjallisuuskatsauksen perusteella monet hyödyistä ja haitoista ovat relevantteja, kun taas osa mainittiin vain pinnallisesti. Kirjallisuuskatsauksen perusteella testiautomaation tehokkuutta voi mitata sijoitetun pääoman tuotolla. Data-analyysin tulokset viittaavat positiiviseen tuottoon tapaustutkimuksen kohdeyrityksessä. Lisäksi, jos testiautomaatio tuo rahallista hyötyä, se yleensä toteutuu pidemmällä aikajänteellä kohdeyrityksessä 18 kuukauden aikana. Työnjohtopäätös on, että testiautomaatio voi tuoda aineellisia tai aineettomia hyötyjä manuaaliseen testaukseen verrattuna mutta usein pitkällä aikavälillä. Aineettomien hyötyjen arvioiminen rahassa on vaikeaa, mutta niitä ei kannata jättää huomiomatta automaatioprojektiin ryhtyessä. fi
dc.format.extent 72
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.title Investigating Effects of Test Automa- tion In a Large Software Project: A Case Study en
dc.title Testiautomaation vaikutukset: tapaustutkimus suuressa ohjelmistoprojektissa fi
dc.type G2 Pro gradu, diplomityö en
dc.contributor.school Perustieteiden korkeakoulu fi
dc.subject.keyword testiautomaatio en
dc.subject.keyword testaus en
dc.subject.keyword testiautomaation vaikutukset en
dc.subject.keyword sijoituksen tuotto en
dc.identifier.urn URN:NBN:fi:aalto-201604201813
dc.programme.major Ohjelmistotuotanto ja -liiketoiminta fi
dc.programme.mcode T3003 fi
dc.type.ontasot Master's thesis en
dc.type.ontasot Diplomityö fi
dc.contributor.supervisor kauppinen, marjo
dc.programme Tietotekniikan koulutusohjelma fi


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account