Machine learning approach to support ticket forecasting from software logs
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2022-08-22
Department
Major/Subject
Control, Robotics and Autonomous Systems
Mcode
ELEC3025
Degree programme
AEE - Master’s Programme in Automation and Electrical Engineering (TS2013)
Language
en
Pages
63+9
Series
Abstract
Samlink develops robotic process algorithms for its banking customers to perform mechanical tasks and improve business efficiency. Unfortunately, these robots often encounter errors, and bank clerks have to manually complete the tasks they leave behind. The errors are reported by the bank clerks to Samlink's technical support team as technical support tickets which are then investigated by the development team. Logs written by the robotic process algorithms are essential for fixing the issues. Due to the number and extent of the logs, debugging is very laborious. This thesis explores the possibility of utilizing a cloud-based machine learning environment to find a connection between the support tickets and log events. This will be used to develop a log monitoring machine learning system, capable of alerting developers of a potential incoming ticket even before bank clerks themselves detect the error. The data used in the study is first anonymized in a production environment in order to preserve data privacy. The data is then preprocessed into a cleaner format, so that it can be processed by a machine learning algorithm. In the machine learning phase, anomaly detection is applied to identify possible log events leading to a support ticket. Random delay between the robotic process algorithm log entries and the tickets sent by the clerks is addressed by time frame compression and hybrid machine learning, which uses two algorithms at different stages of the machine learning pipeline. This study could not prove the existence of a connection between log entries and technical support tickets, that the algorithm could detect. The numerous problems that were encountered affected the choice of components and the use of parameters. If these problems can be solved, it is possible that a connection between logs and support tickets is found. It is also suspected that enhancing the format of the logging would improve the results. Nonetheless, further research is needed.Samlink kehittää pankkiasiakkailleen ohjelmistorobotteja suorittamaan mekaanisia tehtäviä ja tehostamaan liiketoimintaa. Valitettavan usein kyseiset robotit kohtaavat virheen, ja pankkivirkailijoiden on suoritettava käsin loppuun niiden jättämät tehtävät. Tästä seuraa Samlinkin tekniselle tuelle virkailijoiden kirjoittama vikatiketti, jonka perusteella kehitystiimi alkaa tutkia ongelmaa. Vianselvityksessä oleellisen tärkeitä ovat ohjelmistorobottien kirjoittamat lokit. Lokien määrästä ja laajuudesta johtuen vianselvitys on hyvin työlästä. Tässä diplomityössä tutkitaan mahdollisuutta hyödyntää pilvipalvelun koneoppimisympäristöä vikatikettien ja lokitapahtumien välisen yhteyden löytämiseksi. Tämän avulla pyritään kehittämään tuotantolokeja lukeva koneoppimisjärjestelmä, joka kykenee varoittamaan kehittäjiä mahdollisesti saapuvasta tiketistä jo ennen kuin pankkivirkailijat itse havaitsevat vian. Tutkimuksessa käytetty data anonymisoidaan ensin tuotantoympäristössä tietosuojan säilyttämiseksi. Tämän jälkeen dataa esikäsitellään siistimpään muotoon, jotta se olisi koneoppimisalgoritmin käsiteltävissä. Koneoppimisvaiheessa pyritään soveltamaan anomaliatunnistusta mahdollisten tikettiin johtavien lokitapahtumien tunnistamiseksi. Satunnainen viive ohjelmistorobotin lokimerkinnän ja virkailijan lähettämän tiketin välillä yritetään ratkaista aikaikkunakompressiolla ja hybridimuotoisella koneoppimisketjulla, jossa hyödynnetään kahta algoritmia ketjun eri vaiheissa. Tämän tutkimuksen perusteella ei voitu osoittaa, että lokimerkintöjen ja vikatikettien välillä on yhteys, jonka algoritmi kykenee havaitsemaan. Lukuisat kohdatut ongelmat vaikuttivat valittuihin komponentteihin ja käytettyihin parametreihin. Mikäli nämä ongelmat voidaan ratkaista, on tuo yhteys lokien ja tikettien mahdollista löytää. Myös lokituksen muotoilun kohentamisen epäillään parantavan tuloksia. Lisätutkimuksille on joka tapauksessa tarvetta.Description
Supervisor
Visala, ArtoThesis advisor
Pyöriä, PetriKeywords
machine learning, robotic process automation, anomaly detection, log analysis, hybrid machine learning