Machine Learning and Distributed Computing Techniques for Process Mining

Abstract

Process mining aims at supporting the understanding of business processes. To this end, information is extracted from event logs in an automated fashion using machine learning methods. Large-scale machine learning methods allow handling massive volumes of event log data without the need for costly human (expert) labor. This dissertation studies efficient methods for large scale machine learning problems arising within process mining and predictive process analytics. Machine learning is a research area examining techniques for allowing a computer to learn from past data and create a mathematical model based on it. A common application of machine learning in process mining is the continuous forecasting of events within long-term business processes. This dissertation presents a method for performing structural feature selection from process instances. The performances of different feature selection techniques are compared using a gradient boosting machine (GBM) as a benchmark classification method for binary classification tasks. The best results were achieved by k-means clustering-based feature selection algorithm developed in the dissertation. An alternative to combining explicit feature selection with standard classification methods (such as GBM) is to feed raw data into a deep neural network. Deep neural networks perform the feature selection implicitly during the training process. Since event logs have an intrinsic temporal ordering, recurrent neural networks (RNN) are a popular choice for deep learning methods in process mining. It is found out that RNNs using gated recurrent unit (GRU) are favorable compared to long short-term memory (LSTM) network structure for this task. This dissertation also presents a novel method for efficiently encoding event attribute data into input vectors used to train RNN models which provides a user-configurable trade-off between the prediction accuracy and the time needed for model training and prediction. Complementary to the design of efficient machine learning methods, this dissertation also studies computational frameworks for the implementation of process mining methods including a comparison of the suitability of state-of-the-art big data frameworks for process mining tasks. Finally, this dissertation also includes a track of papers related to finding correlations between findings, such as long lead times, in process mining event logs. Several new algorithms are proposed to help to analyze the causes and correlations both when the finding is a categorical or a continuous value. For both cases, methods for providing an additional weight parameter are presented. These weights can be used, e.g., to guide the analysis based on the importance or business value of each process instance.

Prosessien louhinnan tavoitteena on tukea liiketoimintaprosessien ymmärtämistä. Tätä varten tiedot kerätään tapahtumalokeista automaattisesti koneoppimismenetelmiä hyödyntäen. Koneoppimismenetelmät mahdollistavat suurten tapahtumalokien käsittelemisen automaattisesti ilman asiantuntijan apua. Tämä väitöskirja selvittää tehokkaita koneoppimiseen perustuvia ratkaisuita prosessien louhintaan ja ennustavaan prosessianalytiikkaan liittyviin ongelmiin. Koneoppimisessa tutkitaan tekniikoita, joiden avulla luodaan matemaattinen malli todellisuudesta aiempien tapahtumien perusteella. Yleinen prosessien louhintaan liittyvä koneoppimisen sovellus on tulevien tapahtumien ennustaminen liiketoimintaprosesseissa. Tämä väitöskirja esittelee menetelmiä liiketoimintaprosessien rakenteellisten ominaisuuksien lukumäärän rajoittamiseen matemaattista mallia luotaessa, erilaisia valintatekniikoita käyttäen. Valintatekniikoiden suorituskykyä verrataan toisiinsa gradient boosting machine (GBM) koneoppimistekniikkaa käyttävissä binaariluokittelutehtävissä. Väitöskirjassa esitelty K-means-pohjainen valinta-algoritmi saavutti parhaat tulokset. Tapatumalokin raakadatan syöttämistä syvään neuroverkkoon voidaan pitää vaihtoehtona perinteisille luokittelutekniikoille (kuten GBM). Syvät neuroverkot kykenevät oppimaan liiketoimintaprosessien rakenteellisia riippuvuuksia automaattisesti verkon opetusvaiheessa. Koska prosessien luomat tapahtumalokit ovat luontaisesti ajallisesti järjestyksessä, ovat takaisinkytketyt neuroverkot (RNN) hyvä valinta prosessien louhinnassa syvän oppimisen menetelmille. Syvistä verkkorakenteista erityisen hyvin tähän työhön soveltuu gated recurrent unit (GRU), jotka useimmiten suoriutuvat tehtävästä vähemmillä resursseilla kuin pitkä lyhytkestomuistit (LSTM). Tämä väitöskirja esittelee uuden menetelmän tapahtumiin liitettyjen lisäominaisuustietojen esittämiseksi tehokkaasti RNN-mallien kouluttamiseen tarkoitetuissa syöttövektoreissa, joka tarjoaa käyttäjälle mahdollisuuden kompromissin tekemiseen ennustetarkkuuden ja mallin koulutukseen sekä ennustamiseen tarvittavan ajan välillä. Väitöskirja sisältää myös selvityksen big data-ympäristöjen soveltuvuudesta prosessin louhintaan liittyvien tehtävien suorittamisessa. Selvitys tehdään vertailemalla muutamien suosituimpien tarjolla olevan ohjelmistojen ominaisuuksia. Lopuksi tämä väitöskirja sisältää myös kokoelman julkaisuja, jotka liittyvät tapahtumalokeista tehtyjen havaintojen, kuten pitkien läpimenoaikojen, välisten korrelaatioiden löytämiseen. Useita uusia algoritmeja ehdotetaan helpottamaan syiden ja korrelaatioiden analysointia sekä jatkuvien että kategoristen havaintojen yhteydessä. Lisäksi esitetään menetelmä painokertoimien käyttöön analyysien yhteydessä, joiden avulla voidaan ohjata analyysiä prosessin merkityksen tai liiketoiminnan arvon perusteella.