Economics of automation in functional testing of network service platforms

Abstract

The economics of test automation are difficult to quantify due to the intangible nature of many variables. In this study the costs and benefits were researched using a literature study, creation of a conceptual framework and a case study.

The created framework determines cost-effective application of automation. The model can be used for calculating the cost efficiency of automation in a defined situation and it creates a link between the objectives of testing and the implementation of automation.

The model was applied to functional testing of a network service platform. The case study showed the cost efficiency of automation in that situation and both the problems of applying the model and some problems in automation in general.

The main findings of the thesis are that the suitable candidates for automation are tests that are executed often, have a long lifetime and take a long time to perform manually. In addition, the choice of what to automate first is essential because there is not enough time to automate all the tests.

The cost efficient automation of functional regression test suites is difficult according to this study. The case study suggested that the break-even point of automation would range between nine months and five years. However, the software might not be stable enough for the long term savings to realize in a rapidly changing telecommunications sector.

Testiautomaation taloudellisuutta on vaikea määritellä, koska siihen vaikuttavat niin monet vaikeasti mitattavat suureet. Tämä työ tutki automaation hyötyjä ja kustannuksia kirjallisuustutkimuksen, tässä työssä luodun käsitteellisen mallin ja tapaustutkimuksen avulla, Työssä muodostettu viitekehys määrittelee kustannustehokkaan tavan soveltaa testiautomaatiota. Mallilla voidaan laskea automaation kustannustehokkuus valitussa tilanteessa. Se luo yhteyden testauksen tavoitteiden ja automaation täytäntöönpanon välille.

Viitekehystä sovellettiin tietoliikenneverkkoelementin toiminnallisuustestaukseen. Tämä tapaustutkimus osoitti automaation kustannukset ja hyödyt kyseisessä tapauksessa sekä ilmaisi mallin soveltamisessa ja automaation toteuttamisessa olevia käytännön ongelmia.

Työssä havaittiin, että sopivia ehdokkaita automaatiolle ovat testit, joita suoritetaan usein, joilla on pitkä elinkaari sekä joiden manuaaliseen testaukseen menee kauan aikaa. On myös oleellista, että valitaan heti alussa oikeat testit automatisoitaviksi, koska kaikkien testien automatisoimiseen ei ole aikaa.

Tämän työn perusteella kustannustehokas toiminnallisuustestauksen automatisointi on vaikeaa. Tapaustutkimuksen perusteella automatisoitu testaus tuli kannattavaksi aikaisintaan yhdeksän kuukauden kuluttua investoinnista - useimmissa tapauksissa aikaa meni muutamia vuosia. Tietoliikenneohjelmat saattavatkin muuttua vuosien aikana niin paljon ettei automaatio ole kannattavaa, jos säästöjen ennustetaan tulevan vasta vuosien kuluttua.