Socio-technical challenges in large language model (LLM) integration in expert work – A process engineering case study

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Business | Master's thesis

Authors

Date

2025-10-24

Department

Major/Subject

Mcode

Degree programme

Master's programme in Information and Service Management

Language

en

Pages

61

Series

Abstract

Large language models (LLMs) demonstrate substantial potential to enhance the productivity and efficiency of organisations. Organisations that invest in the technology are often under pressure to realise financial benefits quickly, yet limited model performance and user acceptance issues slow down adoption and delay productivity improvements, particularly in critical expert-driven environments. This thesis explores the challenges related to the implementation of large language models within a process engineering organisation and proposes practical recommendations to facilitate successful technology integration. The study employs a qualitative single-case study approach, applying thematic analysis through the lens of socio-technical systems theory. The findings categorise integration challenges into three main types, conceptualised as socio-technical gaps. Technology-task gaps manifest as inaccurate, irrelevant, or incomplete model outputs, as well as limitations in interpreting non-textual data, thereby constraining the model’s applicability in essential work tasks. Technology-actor gaps concern user interaction and acceptance challenges, such as distrust in the accuracy of the model’s outputs and difficulties in establishing consistent usage routines. Technology-structure gaps arise when organisational structures, strategies, or resources fail to adequately support the technology’s requirements, for example insufficient time allocation for system deployment, strategic challenges in knowledge base development, and shortcomings in user training and motivation. These misalignments between the technical and social components of the work system slow down the integration of LLMs and require strategic, system level approaches to optimise overall system performance.

Suuret kielimallit (large language models, LLM) voivat merkittävästi tehostaa organisaatioiden toimintaa ja liiketoimintaprosesseja. Teknologiaan investoineiden yritysten on usein osoitettava taloudelliset hyödyt nopeasti, mutta mallien rajoittunut suorituskyky ja käyttäjien varauksellinen suhtautuminen hidastavat käyttöönottoa ja viivästyttävät tuottavuuden parantumista erityisesti kriittisissä, asiantuntijavetoisissa ympäristöissä. Tämä tutkielma tarkastelee suurten kielimallien käyttöönottoon liittyviä haasteita prosessitekniikan organisaatiossa sekä esittää toimenpidesuosituksia teknologiaintegraation edistämiseksi. Tutkimus on toteutettu yksittäisenä tapaustutkimuksena hyödyntäen laadullisia menetelmiä ja soveltaen temaattista analyysiä sosioteknisen järjestelmäteorian (socio-technical systems theory) näkökulmasta. Tutkielman tulokset jäsentävät käyttöönoton haasteet kolmeen pääkategoriaan, joita kuvataan sosioteknisinä kuiluina (socio-technical gaps). Teknologian ja työtehtävän väliset kuilut (technology-task gaps) ilmenevät esimerkiksi kielimallin tuottamina virheellisinä, epäolennaisina tai puutteellisina tuloksina sekä vaikeuksina käsitellä ei-tekstuaalista dataa. Nämä rajoitteet heikentävät teknologian suorituskykyä työtehtävissä, joissa tarkkuus ja kontekstitietoisuus ovat keskeisiä. Teknologian ja käyttäjien väliset kuilut (technology-actor gaps) liittyvät muun muassa teknologian käytön omaksumiseen ja hyväksyntään. Haasteita aiheuttavat esimerkiksi epäluottamus mallin tuottamien tulosten oikeellisuutta kohtaan sekä vaikeudet vakiinnuttaa uusia käyttörutiineja osaksi päivittäistä työtä. Teknologian ja organisaation väliset kuilut (technology-structure gaps) syntyvät, kun organisaation rakenteet, strategia tai resurssit eivät tue teknologian tarpeita riittävästi. Haasteita voivat aiheuttaa esimerkiksi järjestelmän käyttöönoton aikataulutus, tietopankkien strateginen rakentaminen sekä käyttäjien koulutuksen ja motivaation varmistaminen. Työjärjestelmän teknisten ja sosiaalisten elementtien väliset kuilut hidastavat teknologian integraatiota ja korostavat tarvetta strategiselle, koko järjestelmän kattavalle lähestymistavalle, jonka tavoitteena on parantaa sekä teknologista että inhimillistä suorituskykyä.

Description

Supervisor

Penttinen, Esko

Keywords

large language models, artificial intelligence, technology adoption, socio-technical systems, process engineering, case study

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202511118742

Collections

[gradu] Kauppakorkeakoulu / BIZ