Using generative AI to assist in writing IT compliance documentation

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis

Department

Mcode

Language

en

Pages

65

Series

Abstract

The increase in IT compliance regulation has made compliance processes expensive and time-consuming. Simultaneously, the rise of AI has led to new possibilities for companies struggling with IT compliance. This thesis presents a literature review of the benefits and challenges of using AI in IT and IT compliance, and examines whether generative AI can be used to assist in the creation of IT compliance documentation. To do this, an IT compliance documentation tool with generative AI assistance features is designed and developed. The tool is evaluated through two rounds of internal testing and four rounds of user testing and interviews. The results indicate that generative AI can make IT compliance documentation both easier and faster to write, especially for users with little experience in writing it. They also show that generative AI is more effective at explaining questions than answering them, and that human oversight and response validation remain necessary. Finally, the thesis highlights the importance of good prompt design, the variability of generative AI outputs, and the lack of research on effective methods for using AI to assist in IT compliance documentation.

IT-vaatimustenmukaisuuteen liittyvän sääntelyn lisääntyminen on tehnyt vaatimustenmukaisuusprosesseista kalliita ja aikaa vieviä. Samaan aikaan tekoälyn nopea kehitys on luonut uusia mahdollisuuksia organisaatioille, jotka kamppailevat IT-vaatimustenmukaisuuden kanssa. Tämä tutkielma esittelee kirjallisuuskatsauksen tekoälyn hyödyistä ja haasteista IT-alalla ja IT-vaatimustenmukaisuudessa sekä tutkii voiko generatiivista tekoälyä hyödyntää IT-vaatimustenmukaisuusdokumentaation luomisen tukena. Tätä varten suunnitellaan ja kehitetään IT-vaatimustenmukaisuus-dokumentaatiotyökalu, joka sisältää generatiiviseen tekoälyyn perustuvia apu-toimintoja. Työkalua arvioidaan kahden sisäisen testauskierroksen sekä neljän käyttäjätestaus- ja haastattelukierroksen avulla. Tulokset osoittavat, että generatiivinen tekoäly voi helpottaa ja nopeuttaa IT-vaatimustenmukaisuusdokumentaation luomista, erityisesti käyttäjillä joilla aiempaa kokemusta asiasta on vain vähän. Tulokset osoittavat myös, että generatiivinen tekoäly on parempi selittämään kysymyksiä kuin vastaamaan niihin, ja että ihmisen tekemä valvonta ja vastausten tarkistus ovat edelleen välttämättömiä. Tutkielma korostaa myös hyvien promptien tärkeyttä, generatiivisen tekoälyn vastausten vaihtelevuutta, sekä tutkimuksen puutetta siitä miten tekoälyä kannattaisi hyödyntää IT-vaatimustenmukaisuusdokumentaation tukena.

Description

Supervisor

Haaranen, Lassi

Thesis advisor

Hentula, Kristian

Other note

Citation