Improving regression testing in a service dependent environment - case Seafarer's Pension Fund

Abstract

The main objective of this thesis was to study how regression testing could be improved before maintenance phase during Seafarer's Pension Fund system renewal project by identifying and planning possible process improvements and tools that make testing more efficient. The renewed systems are heavily dependent on both external and internal interfaces based on web services. More efficient regression testing before maintenance phase is vital because the size of the test team will be significantly lower than during the ongoing implementation phase.

This thesis starts with a relatively wide literature study on testing and test automation. In the final part this theory has been applied for the chosen project environment by forming a plan on required changes to development and testing process and required tools.

A general tool for testing both external and internal web service and WCF interfaces with XML-based messages was identified as a required improvement as these kinds of interfaces are very common both externally and internally. The solution was planned on top of open source tool BizUnit, which enabies also test automation and chaining of the service calls to create a multi-phased process. During the work required extensions were also identified and planned. Another planned tool will help to efficiently analyze the impact of changes in the service schemas for internal applications.

Evaluation of the planned changes takes place in the future after the implementation project during 2011. Before that planned changes are implemented as small pilot projects for systems that have already been deployed to production environment.

Tässä diplomityössä tarkastellaan regressiotestauksen tehostamista työeläkelaitoksen (Merimieseläkekassa) järjestelmäuudistusprojektin yhteydessä. Erikoispiirteenä uudistettavassa järjestelmässä ovat sen lukuisat toiminnallisuuden kannalta kriittiset liittymät sekä eläkealan yhteisiin järjestelmiin että sisäisiin sovelluksiin www-sovelluspalveluiden (web services) kautta. Regressiotestauksen tehostamistarve ennen järjestelmän käyttöönottoa on projektin ylläpitovaiheen kannalta keskeinen tekijä, jotta järjestelmän jatkokehityksen yhteydessä ohjelmiston testaus voidaan suorittaa kehitysvaihetta selvästi pienemmillä resursseilla. Työn tarkoituksena oli löytää tehostamisen mahdollistavia menetelmiä sekä tarvittaessa valita tai suunnitella niiden käyttöönoton vaatimia työkaluja.

Työn alkuosa sisältää laajahkon kirjallisuuskatsauksen testauksen ja testiautomaation teoriaan. Työn loppuosassa tätä tietoa on sovellettu käynnissä olevaan kehitysprojektiin laatimalla suunnitelma kehitysprosessiin tehtävistä muutoksista sekä tehostamistoimiin tarvittavista työkaluista.

Www-sovellusrajapintojen sekä .NET:in WCF-rajapintojen yleisyydestä johtuen keskeiseksi testausmalliksi muodostui palvelurajapintojen kautta siirrettäviä XML -sanomia tukevan työkalun laatiminen. Tälle työkalulle löytyi pohjaratkaisu avoimen lähdekoodin BizUnit -projektista, mikä mahdollistaa myös testien automatisoinnin sekä palvelupyyntöjen ketjuttamisen monivaiheiseksi prosessiksi. Työn aikana tunnistettiin ja suunniteltiin laajennukset, jotka tukevat entistä paremmin kohdeympäristön testaamista BizUnitin avulla. Lisäksi diplomityössä syntyi XML -skeemojen muutosvaikutuksia analysoiva prosessi, joka helpottaa sisäisten järjestelmien muutostarpeen arviointia ulkoisten rajapintojen muuttuessa. Työn käytännön soveltuvuus konkretisoituu vasta käyttöönottovaiheen jälkeen vuoden 2010 - 2011 vaihteessa. Tätä ennen suunnitelmia viedään eteenpäin pienien pilottihankkeiden muodossa aiemmin tuotantokäyttöön otetuille järjestelmille.