Testing strategy for IT systems in multi-operator environment

Abstract

Software testing is an important part of quality assurance. The relevance of testing is highlighted as the overall costs diminish if the defects are found earlier. Testing strategy guides the testing activities within organization. The strategy depicts activities which assure the efficiency of testing in organization.

This thesis concentrates on researching the current status of the target company's testing strategy as well as the development areas in the strategy. Some basic errors in test processes are also pointed out. Theory section takes a brief look at developing strategy and focuses mainly on software testing. The research methods in this thesis are field study and external audition.

Audition process revealed that the major problem in testing strategy is that there are no objectives defined for testing. Strategy only represents the activities that should be used, but the rationale is missing. There should be objectives for each test phase in order to help testers and test supervisors to better understand the field of testing.

Results prove that first thing is to define strategic objectives for testing. Second, the coordination of testing should be extended for the whole life cycle of software development and the control should focus on earlier test phases than before.

Developing a new strategy alone is not enough. There needs to be a thorough plan for implementation of the strategy. Ali the key stakeholders need to commit to the strategy for achieving the desired results.

Tietojärjestelmien testaus on tärkeä osa laadunvarmistusta. Testauksen merkitystä korostaa virheistä aiheutuneiden kustannusten pieneneminen, kun virheet löydetään aiemmin. Testausstrategialla ohjataan organisaation testausta haluttuun suuntaan. Strategiasta käy ilmi toiminnot, joilla tehokas testaus varmistetaan organisaatiossa. Tässä työssä tutkitaan, mikä on kohdeyrityksen testausstrategian nykytila, mitä kehityskohteita strategiaan liittyy ja mitä testauskäytäntöjä tulisi muokata tehokkuuden lisäämiseksi. Teoriaosuudessa keskitytään lyhyen strategiakatsauksen jälkeen syvällisesti tietojärjestelmien testaukseen. Varsinainen tutkimus suoritetaan kenttätutkimuksen ja ulkoisen auditoinnin avulla.

Auditointiprosessi paljasti nykyisen testausstrategian suurimman puutteen olevan se, että testaukselle ei ole luotu tavoitteita lainkaan. Testausstrategiassa kuvataan vain toimintoja, joita tulee noudattaa, mutta niiden rationalisointia ei ole mietitty. Testivaihekohtaisten tavoitteiden määrittäminen auttaa sekä testauksen suorittajia että valvojia ymmärtämään paremmin tehtäväkentän, jolloin tulokset parantuvat. Työn lopussa ehdotetaan uuteen testausstrategiaan tarkennettavia osa-alueita. Strategisten tavoitteiden luomisen lisäksi tulisi testausta koordinoida koko ohjelmistokehityksen elinkaaren ajalta. Lisäksi testauksen valvontaa tulee tuoda nykyistä aikaisempiin vaiheisiin, jotta virheistä aiheutuneet kustannukset pienevät. Uuden strategian luominen yksinään ei riitä, vaan lisäksi tarvitaan myös kattava jalkautus-suunnitelma, jolla kaikki tarvittavat sidosryhmät saadaan sitoutumaan strategian noudattamiseen.