Intelligent patient safety incident reporting: Process design and feasibility of utilizing LLM for report generation

Thumbnail Image

Files

master_Annevirta_Jusa_2025.pdf (2.09 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-02-05

Department

Major/Subject

User, Data and Design

Mcode

Degree programme

Master's Programme in Information Networks

Language

en

Pages

120

Series

Abstract

Healthcare is a field where patient safety incidents (PSIs) are inevitable and addressing these incidents effectively requires robust reporting and learning systems. Currently, information related to patient safety is scattered in Finland. Current PSI reporting systems and procedures are fragmented, and data underutilized, hindering efforts to learn from incidents and improve patient safety. There is need to improve the collection, processing, and utilization of PSI data to identify and address incidents cost-effectively. Meanwhile, large language models (LLMS) are showing potential in clinical documentation and analytics applications. This thesis explored the potential of developing an intelligent national PSI reporting system in Finland by leveraging LLMs. Utilizing design science research methodology, the study aimed to 1) define the essential requirements of an intelligent national PSI reporting system, 2) evaluate the feasibility of using a commercial LLM (GPT-4) to generate structured PSI reports from free-text patient data, and 3) identify opportunities and challenges for national-level implementation and utilization of PSI data. The research combined a literature review, interviews with doctors and authorities, and a proof-of-concept (PoC) study. The literature review examined existing PSI reporting systems, the potential of generative AI and methods to evaluate LLMs in healthcare. The interviews gathered perspectives on current reporting practices, challenges, and requirements for a reporting system. The PoC study tested and evaluated using GPT-4 to generate structured PSI reports from patient records. The findings reveal key requirements for an intelligent national PSI reporting system: eliminating the need for separate entries through integration, ensuring comparability with standardization and classification, reducing workload on clinicians by automating report generation, and providing feedback to promote learning and improve reporting practices. The PoC study demonstrates the LLM's capability to generate structured PSI reports from unstructured patient data, highlighting the potential of LLM to improve efficiency and data quality. While national PSI data utilization offers significant opportunities to improve patient safety through better benchmarking, realizing these requires overcoming challenges of underreporting and uncomparability of the data through national coordination, collaboration, and leadership. This study provides valuable insights into the feasibility and potential benefits of using generative AI to improve PSI reporting in Finland. The proposed single-entry reporting process and the LLM's demonstrated capabilities offer practical solutions to address current challenges in national patient safety reporting. The identified opportunities and challenges provide guidance for stakeholders involved in developing and implementing future national PSI reporting systems.

Terveydenhuollossa haitta- ja vaaratapahtumat ovat väistämättömiä, ja niiden tehokas käsitteleminen edellyttää toimivia raportointi- ja oppimisjärjestelmiä. Tällä hetkellä potilasturvallisuuteen liittyvä tieto on hajanaista Suomessa. Nykyiset raportointijärjestelmät ja ilmoitusmenettelyt ovat pirstaleisia ja tieto alihyödynnettyä, mikä haittaa tapahtumista oppimista ja potilasturvallisuuden kehittämistä. Vaaratapahtumatiedon keräämisen, käsittelyn ja hyödyntämisen kehittämistä tarvitaan, jotta tapahtumat voidaan tunnistaa ja käsitellä kustannustehokkaasti. Samalla suuret kielimallit ovat osoittaneet potentiaalia kliinisen dokumentoinnin ja analytiikan käyttökohteissa. Tämä diplomityö tutki älykkään kansallisen raportointijärjestelmän kehittämistä Suomessa hyödyntämällä suuria kielimalleja. Design science research (DSR) -metodologiaa soveltaen tutkimus pyrki 1) määrittelemään älykkään raportointijärjestelmän keskeiset vaatimukset, 2) arvioimaan kaupallisen kielimallin (GPT-4) soveltuvuutta rakenteisten haittatapahtumaraporttien luomiseen vapaamuotoisista potilasteksteistä, ja 3) tunnistamaan mahdollisuuksia ja haasteita tiedon kansalliselle käyttöönotolle ja hyödyntämiselle. Tutkimus yhdisti kirjallisuuskatsauksen, lääkäri- ja viranomaishaastattelut, sekä proof-of-concept (PoC) -tutkimuksen. Kirjallisuuskatsaus tarkasteli olemassa olevia raportointijärjestelmiä, generatiivisen tekoälyn potentiaalia ja kielimallien arviointimenetelmiä terveydenhuollossa. Haastatteluilla kerättiin näkemyksiä nykyisistä ilmoitusmenettelyistä, haasteista ja raportointijärjestelmän vaatimuksista. PoC-tutkimus testasi ja arvioi GPT-4:n käyttöä rakenteisten raporttien luomiseen potilasteksteistä. Tulokset osoittavat keskeiset vaatimukset älykkäälle kansalliselle raportointijärjestelmälle: erilliskirjaamisen välttäminen integroinnin avulla, vertailtavuuden varmistaminen standardoinnin ja luokittelun avulla, kliinikkojen työmäärän vähentäminen raportin luonnin automatisoinnilla, sekä palautetieto oppimisen edistämiseksi ja käytäntöjen parantamiseksi. PoC-tutkimus osoitti kielimallin kyvyn tuottaa rakenteisia raportteja vapaamuotoisista potilasteksteistä, korostaen tekoälyn potentiaalia parantaa tehokkuutta ja tiedon laatua. Vaikka kansallinen tiedon hyödyntäminen tarjoaa merkittäviä mahdollisuuksia parantaa potilasturvallisuutta paremman vertailutiedon avulla, näiden mahdollisuuksien saavuttaminen edellyttää aliraportoinnin ja tiedon vertailukelvottomuuden haasteiden ratkaisemista kansallisen ohjauksen, yhteistyön ja johdon avulla. Tämä tutkimus tarjoaa arvokasta tietoa generatiivisen tekoälyn käytön soveltuvuudesta ja hyödyistä vaaratapahtumaraportoinnin kehittämiseen Suomessa. Esitetty kertakirjaamisprosessi ja kielimallin mahdollisuudet tarjoavat ratkaisuja nykyisiin kansallisen raportoinnin haasteisiin. Tunnistetut mahdollisuudet ja haasteet tarjoavat ohjeita sidosryhmille, jotka osallistuvat tulevien kansallisten raportointijärjestelmien kehittämiseen ja käyttöönottoon.

Description

Supervisor

Saarinen, Lauri

Thesis advisor

Torkki, Paulus

Keywords

patient safety, incident reporting, PSI, adverse event, process design, LLM, GPT-4

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202503182886

Collections

[dipl] Perustieteiden korkeakoulu / SCI