Feasibility of automated alarm relevance annotation: Integrating machine learning and clinician insights

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis

Authors

Date

2025-04-28

Department

Major/Subject

Complex Systems

Mcode

Degree programme

Master's Programme in Life Science Technologies

Language

en

Pages

75

Series

Abstract

The flood of alarms in modern hospital environments poses a risk to patient safety and contributes to increased workload and stress for nursing staff. A significant proportion of the alarms are clinically irrelevant, leading to alarm fatigue. Machine learning solutions have been suggested, but the lack of appropriately annotated datasets poses a critical challenge to building clinically valuable models. This thesis presents the development of a machine learning model to annotate clinical alarms as relevant or irrelevant. The model combines physiological trend time series data with static patient and alarm information. An LSTM-based autoencoder is used to compress the trend vectors, and the resulting hidden layer features are combined with the static data in a random forest classifier. The dataset used in the model development contains 439 threshold alarms that are annotated by the alarm relevance. Additionally, this thesis contains a clinician interview section that aims to reveal how clinicians consider the relevance of alarms. Four clinicians were interviewed, and they re-annotated 16 different alarms with the help of three questions. The best combination of autoencoder features and random forest model achieved an accuracy of 0.86, AUC score of 0.77, and F1 score of 0.60. The clinician interview results highlight the subjectivity of relevance annotations. It indicates that some clinicians are more likely to annotate alarms as relevant, but based on the variance decomposition, it does not account for the whole variation in the answers. The novel approach to automating alarm annotations is promising. Future work could concentrate on evaluating the generalizability of the model by testing its performance with new datasets. The interview results provided useful knowledge, and in the future the interview scope could be broadened to identify new dimensions influencing alarm relevance.

Hälytysten määrä nykyaikaisessa sairaalaympäristössä muodostaa riskin potilasturvallisuudelle sekä lisää hoitohenkilökunnan työkuormaa ja stressiä. Merkittävä osa hälytyksistä on kliinisesti epäolennaisia, mikä aiheuttaa hoitajille hälytysväsymystä. Koneoppimispohjaisia algoritmeja on ehdotettu ratkaisuksi hälytysten määrän vähentämiseen, mutta annotoitujen aineistojen puute muodostaa merkittävän haasteen kliinisesti hyödyllisten mallien rakentamiselle. Tässä opinnäytetyössä esitellään koneoppimismalli, jonka tavoitteena on annotoida potilasmonitorihälytyksiä joko relevanteiksi tai irrelevanteiksi. Malli yhdistää fysiologisten mittausten aikasarjadataa potilas- ja hälytystietojen kanssa. Aikasarjadata kompressoidaan LSTM-pohjaisella autoenkooderilla, ja siitä saadut piilokerrosominaisuudet yhdistetään staattisten syötemuuttujien kanssa satunnaismetsä luokittelijassa. Mallin kehittämisessä käytetty aineisto koostuu 439 kynnysarvohälytyksestä, jotka on luokiteltu kliinisen relevanssin mukaan. Lisäksi opinnäytetyöhön sisältyy kliinikoiden haastattelu, jonka tavoitteena on selvittää, miten kliinikot arvioivat hälytyksen relevanssia. Neljä kliinikkoa osallistui haastatteluun, jossa he annotoivat uudelleen 16 erilaista hälytystä kolmen kysymyksen pohjalta. Paras yhdistelmä autoenkooderin piirteistä ja satunnaismetsämallista saavutti 0,86:n tarkkuuden, 0,77:n AUC-arvon ja 0,60:n F1-arvon. Haastattelun tulokset korostavat hälytyksen relevanssin arvioinnin subjektiivisuutta. Tulosten varianssianalyysi osoitti yksittäisen kliinikon vaikutuksen hälytysten arviointiin, mutta myös sen, että kaikki vaihtelu vastausten välillä ei johdu pelkästään tästä. Uusi lähestymistapa hälytysten automaattiseen annotointiin on lupaava. Jatkossa mallin yleistettävyyttä voitaisiin arvioida testaamalla sen toimivuutta uusilla aineistoilla. Haastattelun tulokset tarjosivat arvokasta tietoa, mutta tulevaisuudessa haastattelun laajuutta voisi kasvattaa uusien hälytyksen relevanssiin vaikuttavien tekijöiden tunnistamiseksi.

Description

Supervisor

Linna, Riku

Thesis advisor

Uutela, Kimmo

Keywords

alarm relevance, alarm fatigue, alarm annotation, annotation automation, threshold alarm, machine learning

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202505193837

Collections

[dipl] Perustieteiden korkeakoulu / SCI