Enhancing pharmacy IT support with a conversational AI agent

Thumbnail Image

Files

master_Ståhlberg_Elisa_2026.pdf (4.37 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-12-19

Department

Major/Subject

Biomedical Engineering

Mcode

Degree programme

Master's Programme in Life Science Technologies
Master's Programme in Life Science Technologies
Master's Programme in Life Science Technologies

Language

en

Pages

99

Series

Abstract

Digital transformation in the pharmacy sector has increased the need for scalable and efficient customer support solutions. Advances in Conversational AI (CAI) and large language models (LLMs) offer new opportunities to revolutionise customer service operations by strengthening efficiency and scalability. While the potential of CAI technology is widely recognised its practical use in regulated healthcare information technology (IT) remains unstudied. This thesis examines how LLM-based CAI can support and partly automate first-line customer sup-port in pharmacy IT. The study was conducted with Pharmadata Oy, a Finnish provider of pharmacy IT solutions. The empirical investigation explores CAI’s suitability for first-line pharmacy IT support by combining structured analysis of real support tickets with targeted LLM performance evaluations. The analysis identifies which task types are suitable for safe CAI automation, which require human judgement and the key organisational, technical, and data factors that shape successful adoption. The primary outcome of this research is an empirically grounded assessment of CAIs performance in first-line pharmacy IT support, with a focus on accuracy and escalation behaviour. The findings identify tasks suited to reliable CAI support as well as situations where human involvement remains necessary. Together these results offer a foundation for future devel-opment and support the safe and reliable integration of CAI into pharmacy IT workflows. The results indicated that CAI performs best in predictable and well-documented workflows, such as retrieving information and guiding users through routine tasks. The performance evaluation also showed that several high-frequency queries were successfully automated even in categories that were otherwise less suit-able for CAI, highlighting the need for task-level rather than category-level assessment. Tasks requiring dynamic system-state information, sensitive data, or complex professional reasoning remained unsuitable for automation. The analy-sis further suggests that CAI’s strongest contribution lies in streamlining rou-tine support activities, which allows human specialists to focus on tasks requiring deeper expertise. The study also identifies several organisational and technical factors that shape successful CAI use, including clear workflow documentation and reliable access to support materials.

Apteekkialan digitaalinen transformaatio on lisännyt tarvetta tehokkaille asiakastuen ratkaisuille. Keskustelevan tekoälyn (CAI) ja suurten kielimallien (LLM) kehitys tarjoaa uusia mahdollisuuksia tehostaa asiakaspalvelua parantamalla prosessien tehokkuutta ja skaalautuvuutta. Vaikka CAI-teknologian potentiaali on laajasti tunnistettu, sen käytännön soveltamista säännellyssä terveydenhuollon ympäristössä on tutkittu vain rajallisesti. Tämä diplomityö tarkastelee, miten LLM-pohjainen CAI voi tukea ja osittain automatisoida apteekkien IT-järjestelmien asiakastukea. Tutkimus toteutettiin yhteistyössä suomalaisen apteekkialan IT-palveluntarjoaja Pharmadata Oy:n kanssa. Empiirinen tutkimus arvioi CAI:n soveltuvuutta apteekkialan IT-tukeen yhdistämällä historiallisten tukipyyntöjen analyysin LLM-suoritustestiin, jossa kielimallin vastaukset pistey-tettiin todellisiin tukipyyntöihin perustuvissa tehtävissä. Analyysi osoittaa, mitkä tehtävät soveltuvat turvallisesti CAI-automaatiolle ja milloin ihmisen harkinta on edelleen välttämätöntä. Lisäksi tutkimus tunnistaa keskeiset tekniset ja da-taperusteiset edellytykset, jotka vaikuttavat CAI:n onnistuneeseen käyttöönottoon. Tutkimuksen keskeisin tulos on empiirinen arvio CAI:n toimivuudesta apteekkien IT-tuen ensilinjan tehtävissä, erityisesti tarkkuuden ja eskalointikäyttäytymisen näkökulmasta. Tulokset tunnistavat tehtävätyypit, joissa CAI toimii luotettavasti, sekä tilanteet, joissa asiantuntijan osallistuminen on edelleen tarpeen. Tulokset osoittavat, että CAI suoriutuu parhaiten ennakoitavissa ja hyvin dokumentoiduissa tehtävissä, kuten tiedonhaussa ja käyttäjien ohjaamisessa rutiininomaisten työvaiheiden läpi. LLM-suoritustestit osoittivat, että joitain paljon esiintyviä kysymyksiä voitiin automatisoida luotettavasti myös kategorioissa, jotka eivät kokonaisuutena olleet otollisia automaatiolle. Tämä korostaa tehtäväkohtaisen tarkastelun merkitystä kategoriasidonnaisten arviointien sijaan. Tehtävät, jotka vaativat ajantasaista järjestelmätilaa tai arkaluontoisten tietojen käsittelyä, eivät soveltuneet automatisointiin yhtä hyvin kuin rutiinitehtävät. Lisäksi analyysi osoittaa, että CAI:n merkittävin lisäarvo syntyy tukipyyntöjen virtaviivaistamisesta, jolloin asiantuntijat voivat keskittyä vaativampiin tukitehtäviin. Useat tekniset tekijät, kuten selkeä työnkulkujen dokumentointi ja luotettava pääsy tukimateriaaleihin vaikuttavat keskeisesti CAI:n onnistuneeseen hyödyntämiseen.

Description

Supervisor

Palva, Matias

Thesis advisor

Kurimo, Tiina

Keywords

conversational AI (CAI), pharmacy IT, digital transformation, large language models, keskusteleva tekoäly, apteekkien IT-järjestelmät, suuret kielimallit

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202601191543

Collections

[dipl] Perustieteiden korkeakoulu / SCI