Exploring Large Language Models for Clinical Code Assignment

Abstract

Clinical coding, the act of translating clinical transcripts into standardised diagnostic and procedural codes, is an essential statistics and billing tool in hospitals around the world. Despite it carrying a lot of weight in the capitalist healthcare system for billing purposes and for statistical and quality assurance purposes in socialised healthcare systems. The process of clinical coding is labour intensive and error prone.

Recent advances in large language models pave a way toward fully or partially automated reliable clinical coding. The research on large language models is constantly evolving and developing into new avenues that could and should be explored in the context of clinical coding.

This thesis provides a survey of the advancments in large language model architecture from the almost ancient multilayer perceptron and convolutional neural networks all the way to the current cutting edge advancements such as transformers and state space models. These findings are then taken into the context of clinical coding and some suggestions on future directions in the research into the use of large language models in clinical coding will be presented.

Tautiluokittelu, eli potilasasiakirjojen kääntäminen standardoituihin diagnoosi- ja toimenpidekoodeihin, on olennainen tilastointi- ja laskutusväline sairaaloissa kautta maailman. Kapitalistisissa terveydenhuoltojärjestelmissä se painottuu erityisesti laskutukseen, kun taas sosiaalisesti rahoitetuissa järjestelmissä se palvelee tilastointia ja laadunvarmistusta. Prosessi on kuitenkin työläs ja altis virheille.

Viimeaikaiset edistysaskeleet suurissa kielimalleissa (LLM) avaavat tietä luotettavalle tautiluokittelun täys- tai osittaiselle automatisoinnille. LLM-tutkimus kehittyy jatkuvasti ja tarjoaa uusia lähestymistapoja, joita kannattaa hyödyntää tautiluokittelussa.

Tämä kandidaatintyö käy läpi kielimallien arkkitehtuurin kehityskulun aina lähes “muinaisista” monikerroksisista perceptroneista ja konvoluutioneuroverkoista nykypäivän huipputeknologioihin, kuten transformereihin ja state-space malleihin. Tulokset asetetaan tautiluokittelun viitekehykseen, ja työn lopuksi esitetään suuntaviivoja tulevalle tutkimukselle suurten kielimallien hyödyntämiseksi tautiluokittelussa.