Improving Single-Tenant SaaS Release Deployment Validation: a Case Study
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-09-18
Department
Major/Subject
Computer Science
Mcode
Degree programme
Master's Programme in Computer, Communication and Information Sciences
Language
en
Pages
67
Series
Abstract
Upgrading a single-tenant SaaS application to a newer version is a non-trivial task that requires time and resources from both the customer and the service provider. The upgrade process can be quite lengthy with multiple validation steps and people from different teams involved. In this thesis, we study a Finnish SaaS company that provides single-tenant software for their customers. The company has a centralized team performing the updates and the internal validation of the updates. The process is relatively time-consuming and involves repetitive manual steps and multiple data sources. The goal of this research was to identify the potential points of improvement in the process, construct a research artifact that would address one or more of these points, and test the artifact in practice. The research was conducted by utilizing the design science research paradigm. A round of semi-structured interviews was conducted in order to discover the potential areas of improvement for the existing upgrade process. Based on the interview results, it was hypothesized that reducing the amount of manual work involved in the validation step of the upgrade would improve the quality of the process. A Grafana-based tool was implemented as a design artifact and piloted in three separate upgrades to test this hypothesis. After the pilots, feedback was gathered from the engineers utilizing the tool, and a workshop was conducted to discuss the results. A literature survey was conducted in order to tie this research into existing research and to compare the problems encountered by the case company to the issues that are associated with single-tenant SaaS version upgrades specifically. The results of the pilot suggest that reducing the amount of manual work improves the quality of the upgrade process. Multiple improvements for the artifact were also proposed and left for future development. The improvement points discovered in the case company were compared to a multitude of sources that examine the attributes of single- and multi-tenant SaaS software. Challenges specific to single-tenant SaaS version upgrades were identified this way. The research suggests that customization is one of the main causes of issues in the upgrade process, leading to complexity in test suite maintenance, increased skill requirements for both the service provider and the customer, and increased risk of incidents leading to a decrease in service quality.Single-tenant SaaS versiopäivitys on monimutkainen tehtävä, joka vaatii aikaa ja resursseja sekä asiakkaalta että palveluntarjoajalta. Päivitysprosessi voi olla suhteellisen pitkä, vaatien useita validointeja ja henkilöitä eri tiimeistä. Tämä tutkimus tehtiin suomalaiselle single-tenant SaaS -ohjelmistoa tarjovalle yritykselle. Yrityksellä on keskitetty tiimi, joka vastaa versiopäivityksistä sekä niiden validoinneista. Olemassaoleva päivitysprosessi vie aikaa, ja sisältää toistuvia manuaalisia työtehtäviä sekä useita erillisiä tietolähteitä. Tutkimuksen tavoitteena oli tunnistaa prosessista ne osat, joita olisi mahdollista parantaa, ja rakentaa sekä pilotoida tutkimustuote, joka parantaisi yhtä tai useampaa tunnistettua osaa prosessista. Tutkimuksessa käytettiin design science research -metodia. Prosessin potentiaalisesti parannettavat kohdat selvitettiin aluksi teemahaastatteluilla. Haastatteluiden perusteella luotiin hypoteesi, jonka mukaan manuaalisen työn vähentäminen validoinnissa parantaisi päivitysprosessin laatua. Tutkimustuotteena rakennettiin Grafana-pohjainen työkalu, jota pilotoitiin kolmessa eri päivityksessä. Päivityksistä kerätyn palautteen perusteella järjestettiin työpaja, jossa työkalun toimivuutta arvioitiin. Kirjallisuuden avulla yrityksen päivitysprosessista tunnistettuja haasteita verrattiin single-tenant SaaS-ohjelmistoille tyypillisiin haasteisiin. Pilotoinnin tulokset viittaavat siihen, että manuaalisen työmäärän vähentäminen parantaa päivitysprosessin laatua. Tutkimustuotteeseen ehdotettiin myös useita parannuksia, jotka jätettiin tämän työn ulkopuolelle. Yrityksen päivitysprosessin haasteita verrattiin useisiin single- ja multi-tenant SaaS -ohjelmistoja vertaileviin lähteisiin. Näin tunnistettiin joukko single-tenant SaaS -versiopäivityksiin liittyviä erityishaasteita. Tutkimuksen tulokset viittaavat siihen, että ohjelmistojen räätälöinti on yksi versiopäivitysongelmien pääsyistä. Räätälöinti vaikeuttaa testien ylläpitämistä, lisää palveluntarjoajan ja asiakkaan työntekijöiden taitovaatimuksia, sekä nostaa palvelun laatua laskevien virheiden riskiä.Description
Supervisor
Lassenius, CasperThesis advisor
Kivi, VilleKeywords
single-tenant SaaS, software as a service, version upgrade validation, regression testing, release and deployment management, SaaS tailoring