Post-completion auditing of machine learning projects at a large European public company: A constructive study

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Business | Master's thesis
Date
2021
Major/Subject
Mcode
Degree programme
Accounting
Language
en
Pages
93 + 16
Series
Abstract
This thesis seeks to construct a post-completion audit (PCA)-system for machine learning (ML) projects at one European company by using theories from PCA-, IT-, software- and data-related literature. The process builds on empirical data, which is gathered from interviews (12 interviewees) and materials from the Company that is studied. In other words, from previous studies, PCA-focused frameworks are derived, which are then shaped and reduced based on data from the Company, after which both the data and the frameworks are used to create a construct for implementing a PCA-system at the Company. The results and their general applicability is discussed, as well as the overall value of the thesis and the findings it creates over the course of building the construct. The final construct is created to be implementable incrementally, to make it easier to use, an important factor for such constructions (Kasanen et al. 1993). This, and the construct overall, are recognized to answer the PCA need by the Company, based on reactions by its personnel. However, due to limited scope, applicability of the final construct in creating a PCA-system cannot be verified in the Company (as implementing this is estimated to take a long time, possibly years), or elsewhere (as no other companies are studied). Thus, while the thesis seeks to follow the phases of constructive research process as provided by Kasanen et al. (1993), it cannot do so perfectly. Still, the thesis is produces valuable insights in the field of PCA, especially for large companies seeking to use PCA on ML-projects. It also provides a description of a seemingly successful construction of a PCA-system for PCA literature, albeit in a very specific environment, and provides one practical way (incremental implementation) for making such constructions appeal more to companies.

Tässä Pro Gradu-tutkielmassa rakennetaan jälkiarviointisysteemi (PCA) koneoppimisprojektien arviointia varten eurooppalaisessa yhtiössä, käyttäen apuna teorioita PCA-, IT-, ohjelmisto- ja datakirjallisuudesta. Systeemin rakentamisessa hyödynnetään haastatteluista kertynyttä empiiristä dataa sekä muita materiaaleja tutkittavasta Yhtiöstä. Aiemmista tutkimuksista johdetaan PCA-keskeisiä viitekehyksiä, joita sitten muokataan Yhtiöstä saadun datan perusteella, ja näin muokattuja kehyksiä sekä dataa sitten käytetään PCA-systeemin implementointiin tähtäävän konstruktion rakentamisessa. Tämän prosessin tulokset sekä niiden yleisempi käytettävyys käydään läpi, kuten myös tutkielman ja sitä tehdessä esiin tulleiden löydösten kokonaisvaltaisempi arvo. Lopullinen konstruktio on tehty implementoitavaksi inkrementaalisesti, jotta sen käyttö olisi helpompaa, mikä on tällaisille konstruktioille tärkeää (Kasanen ym. 1993). Yhtiön edustajien reaktioiden perusteella tämä, sekä lopullinen konstruktio kokonaisuudessaan, vastaavat Yhtiön PCA-tarpeisiin. Tässä tutkielmassa ei kuitenkaan voida rajoitetun laajuuden vuoksi varmistaa lopullisen konstruktion käytettävyyttä PCA-systeemin implementoimiseksi Yhtiössä (implementoinnissa voi kulua vuosia) tai muualla (muita yhtiöitä ei tutkittu). Näin ollen, vaikka tutkielma pyrkii seuraamaan Kasasen ym. (1993) esiintuomia konstruktiivisen tutkimusprosessin vaiheita, ei se siihen täydellisesti yllä. Tutkielma kuitenkin tuottaa arvokkaita löydöksiä PCA-aihealueelle, sekä erityisesti koneoppimisprojekteissa PCA:ta käyttämään pyrkiville yhtiöille. Se myös antaa PCA-kirjallisuudelle kuvauksen oletettavasti onnistuneesta PCA-systeemin konstruktiosta, joskin erittäin spesifissä ympäristössä, sekä esittää yhden käytännön tavan (inkrementaalinen implementaatio) tällaisten konstruktioiden houkuttelevuuden lisäämiseksi yhtiöiden näkökulmasta.
Description
Thesis advisor
Malmi, Teemu
Huikku, Jari
Keywords
post-completion audit, post-project review, project review, benefit measurement, evaluation, machine-learning project, artificial intelligence project, management accounting
Other note
Citation