Prediction of Patient Deterioration in the Emergency Department using Recurrent Neural Networks
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Authors
Date
2019-03-11
Department
Major/Subject
Signal, Speech and Language Processing
Mcode
ELEC3031
Degree programme
CCIS - Master’s Programme in Computer, Communication and Information Sciences (TS2013)
Language
en
Pages
96
Series
Abstract
Objective: Propose a Recurrent Neural Network-based real-time Clinical Decision Support (CDS) system that outperforms National Early Warning Score (NEWS) in prediction of patient deterioration in the Emergency Department (ED). Patient deterioration is defined as a combined outcome of cardiac arrest (CA), transfer to Intensive Care Unit (ICU) and death. Background: Early interventions improve outcomes of deteriorating patients. Serious Adverse Events (SAE), such as CA, transfer to ICU and death, are preceded by several hours of deranged vital signs. NEWS indicates derangement of vital signs and is recommended to be used as a trigger for intervention outside the ICU. However, NEWS results in a high number of false positives since deranged vital signs can also be present for patients that do not experience SAE. Methods: A Long Short-Term Memory (LSTM) model is developed as the main model and a Random Forest (RF) model as a ML baseline. The models predict a probability for patients to experience one of the outcomes. Input features for the models are derived from 6 vital signs. Study cohort contains 33057 (2.2% positives) ED patient stays during years 2007--2017. A dataset of 341300 (1.4% positives) hourly data instances is created, starting from the 5th hour of the stays and ending to 1 hour before the outcomes (positives) or to discharge (negatives). A data instance is labeled as positive if an outcome occurs in the following 12 hours. Patient-wise predictions are defined as the maximum over the hourly data instances. Results: Patient-wise mean (95% CI) AUPRC of 0.438 (0.418--0.459) LSTM, 0.394 (0.373--0.416) RF, 0.301 (0.283--0.319) NEWS, and AUROC of 0.907 (0.901--0.913) LSTM, 0.888 (0.882--0.894) RF, 0.856 (0.851--0.861) NEWS are achieved from cross-validation in the development set. For a matched sensitivity of 0.779, specificity and precision of 0.845, 0.109 are achieved for the LSTM model (0.822, 0.096 RF; 0.730, 0.065 NEWS) in the test set of 8256 patient stays. A total of 928 less false positives are achieved for LSTM compared to NEWS with the same sensitivity. Conclusions: The application of a machine learning-based real-time CDS in the ED is shown as superior performance over NEWS is achieved. A great number of false positives are avoided, which reduces alarm fatigue of clinicians and offers significant cost savings as redundant interventions are reduced.Tavoite: Esittää ajantasainen takaisinkytkeytyvään neuroverkkoon (RNN) pohjautuva kliinisen päätöksenteon tukisysteemi (CDS), joka suoriutuu paremmin potilaan tilan huononemisen ennustamisessa, kuin kansallinen aikaisen varoituksen pistejärjestelmä (NEWS). Potilaan tilan huononeminen on määritelty olevan sydänpysähdyksen, siirron teho-osastolle ja kuoleman yhdistetty lopputulema. Tausta: Aikaiset interventiot parantavat lopputulemia potilaille, joiden tila huononee. Häiriintyneet vitaaliparametrit edeltävät useamman tunnin ajan vakavia haittatapahtumia, kuten sydänpysähdystä, siirtoa teho-osastolle ja kuolemaa. NEWS osoittaa tämän ja sitä suositellaan käytettävän laukaisimena interventioille teho-osaston ulkopuolella. Se tuottaa kuitenkin suuren määrän vääriä hälytyksiä, sillä häiriintyneet vitaaliparametrit voivat olla läsnä myös muilla potilailla. Metodit: Pitkä lähimuisti (LSTM) -malli kehitetään päämalliksi ja satunnainen metsä (RF) -malli koneoppimisvertailukohdaksi. Mallit ennustavat todennäköisyyttä potilaille kohdata jokin mainituista lopputulemista. Mallien käyttämä data johdetaan kuudesta vitaaliparametrista. Kohortti sisältää 33057 (2.2% positiiviset) päivystyspotilasta vuosilta 2007--2017. Näistä johdetaan 341300 (1.4% positiiviset) tunneittaista datapistettä, alkaen hoitojakson 5. tunnista, päättyen joko tuntia ennen lopputulemia (positiiviset) tai hoitojakson loppuun (negatiiviset). Datapiste määritellään positiiviseksi, jos jokin lopputulema tapahtuu seuraavan 12~tunnin aikana. Potilaskohtaiset ennustukset määritellään korkeimmaksi tunneittaisista ennustuksista. Tulokset: Potilaskohtaiset AUPRC keskiarvot (95% luottamusväli) 0.438 (0.418--0.459) LSTM, 0.394 (0.373--0.416) RF, 0.301 (0.283--0.319) NEWS, ja AUROC keskiarvot 0.907 (0.901--0.913) LSTM, 0.888 (0.882--0.894) RF, 0.856 (0.851--0.861) NEWS saavutettiin ristiinvalidoinnilla kehitysdatasetillä. Mallien kesken täsmäävälle 0.779 sensitiivisyydelle LSTM-malli saavutti spesifisyys- ja täsmällisyysarvot 0.845, 0.109 (0.822, 0.096 RF; 0.730, 0.065 NEWS) testidatasetillä, joka koostui 8256 potilaasta. 928 väärää hälytystä eliminoitiin LSTM-mallin avulla, verrattuna NEWS:iin. Päätelmät: Parempi suorituskyky verrattuna NEWS:iin osoittaa koneoppimispohjaisen CDS:n soveltuvuuden käytäntöön. Iso osa vääristä hälytyksistä vältetään esitetyillä metodeilla, auttaen kliinikoiden kohtaamaa hälytysväsymystä ja tarjoten merkittäviä kustannussäästöjä, kun turhat interventiot vähentyvät.Description
Supervisor
Kurimo, MikkoThesis advisor
Samiee, KavehKeywords
LSTM, machine learning, ED, cardiac arrest, mortality, NEWS