Leveraging large language models to identify and analyze repetitive customer service contacts
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Mcode
Language
en
Pages
116
Series
Abstract
This master’s thesis examines the feasibility of using large language models (LLMs) to identify and analyze repetitive customer contacts at a Finnish energy company. The study aims to determine whether pre-trained LLMs can automate the detection and categorization of recall-related calls to serve as a tool to support human analysis and decision-making rather than replace it. A significant portion of customer service demand often represents failure demand caused by systemic shortcomings. These types of contacts inflate overall service demand without adding value, ultimately leading to inefficient use of resources. The data consists of 558 Finnish customer service call transcripts of which 299 are recalls. The study applies both qualitative and quantitative analysis using OpenAI’s GPT-4o and evaluates four approaches: minimal prompting, advanced prompting, minimal prompting combined with RAG, and advanced prompting combined with RAG. The results indicate that LLMs can generate structured and actionable insights to a significant extent. Advanced approaches consistently yielded the strongest performance. Advanced prompting alone proved most effective for accurate recalling categorization and for suggesting preventative actions to reduce follow-up calls. When combined with RAG-retrieved context, this approach achieved the highest ratings for generating open-ended explanations for recalling and determining whether a call was linked to a previous customer interaction. Overall, the findings indicate that LLMs offer a practical and scalable solution for analyzing repetitive customer contacts and delivering insights that support operational efficiency improvements.Tämä diplomityö tutkii suurten kielimallien (engl. large language models, LLM) soveltuvuutta toistuvien asiakasyhteydenottojen tunnistamiseen ja analysoimiseen suomalaisessa energiayhtiössä. Tutkimuksen tavoitteena on selvittää, voidaanko esikoulutetuilla LLM-malleilla automatisoida toistuvien puheluiden tunnistaminen ja luokittelu siten, että ne tukevat ihmislähtöistä analyysiä ja päätöksentekoa sen sijaan, että korvaisivat ne kokonaan. Merkittävä osuus asiakaspalvelukysynnästä edustaa usein häiriökysyntää, joka johtuu organisaation rakenteellisista ongelmista. Tällaiset kontaktit kasvattavat kokonaiskysyntää tuottamatta lisäarvoa, mikä johtaa resurssien tehottomaan käyttöön. Aineisto koostuu 558 suomenkielisestä asiakaspalvelupuhelun litteraatista, joista 299 on uudelleensoittoja. Tutkimuksessa hyödynnetään sekä kvalitatiivista että kvantitatiivista analyysiä OpenAI:n GPT-4o-mallila käyttäen ja arvioidaan neljää lähestymistapaa: minimaalinen ohjeistus, edistynyt ohjeistus, sekä näiden yhdistelmät hakuavusteisen generoinnin (engl. retrieval-augmented generation, RAG) kanssa. Tulokset osoittavat, että LLM-mallit pystyvät tuottamaan jäsenneltyjä ja käytännönläheisiä oivalluksia merkittävässä määrin. Edistyneet menetelmät tuottivat johdonmukaisesti parhaat tulokset. Edistynyt ohjeistus osoittautui yksinään tehokkaimmaksi menetelmäksi puheluiden täsmälliseen luokitteluun ja ennaltaehkäisevien toimenpiteiden ehdottamiseen uudelleensoittojen vähentämiseksi. Kun tämä lähestymistapa yhdistettiin RAG-menetelmän hakemaan kontekstiin, se sai korkeimmat arviot avoimien selitysten tuottamisessa toistuville puheluille ja sen määrittämisessä, oliko puhelu yhteydessä asiakkaan aiempiin yhteydenottoihin. Nämä tulokset osoittavat, että LLM-mallit tarjoavat käytännöllisen ja skaalautuvan ratkaisun toistuvien asiakaskontaktien analysointiin ja operatiivisen tehokkuuden parantamista tukevien oivallusten tuottamiseen.Description
Supervisor
Kurimo, MikkoThesis advisor
Laakso, JimiBlauenfeldt, Kathinka