Large Language Model Agent as Insurance Law Assistant
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-09-30
Department
Major/Subject
Computer Science
Mcode
Degree programme
Master's Programme in Computer, Communication and Information Sciences
Language
en
Pages
73
Series
Abstract
Traffic insurance law can be a complex domain for ordinary individuals to grasp, thus affecting its accessibility. Although the traffic insurance law itself and precedents are publicly available, it can be challenging to navigate through this information in order to understand one’s rights for compensation in the event of a traffic accident. Recent advancements in Large Language Models (LLM) have provided an accessible way for people to ask curated questions, that the LLM then answers. Thus, the thesis aims to utilize LLM and surrounding technologies to improve the accessibility of traffic insurance law for everyday users trying to navigate this complex legal domain. The research was conducted as a project for an early-stage startup. The thesis developed an agent that employs Retrieval-Augmented Generation (RAG) techniques with LLM. RAG retrieves relevant information from customselected legal documents and uses the information to answer users’ questions. The agent is encapsulated within a web application which provides an accessible way for the user to communicate with the agent. The results were evaluated by a legal expert in a human-feedback manner. The expert indicated that the system could generate satisfactory responses to experts’ questions. By employing RAG techniques the system mitigated hallucination which is commonly related to LLMs, therefore improving the quality of the answer. However, the research also found that the document retrieval was suboptimal, thereby needing more work to improve the retrieval process. The study highlights the potential of using LLMs and RAG techniques to make traffic insurance law more accessible to common people. Furthermore, the research suggests that improving the retrieval mechanism and possibly employing a multi-agent system could further improve the contextual understanding of the system and thus aid individuals in navigating legal processes more effectively. Hence, future research will focus on optimizing retrieval processes and exploring the use of multiple agents.Liikennevakuutuslaki voi olla vaikea aihealue käsittää tavallisille ihmisille, mikä vaikuttaa sen saavutettavuuteen. Vaikka itse liikennevakuutuslaki ja ennakkotapaukset ovat julkisia, voi näiden tulkitseminen ja oikein ymmärtäminen liikenneonnettomuuden sattuessa osoittautua haasteeksi. Suurten kielimallien (LLM) viimeaikainen kehitys on tarjonnut ihmisille helppokäyttöisen tavan esittää kuratoituja kysymyksiä, joihin kielimalli vastaa. Näin ollen tutkielman tavoitteena on hyödyntää kielimallia ja sen ympärille kehitettyjä teknologioita liikennevakuutuslain saavutettavuuden parantamiseksi jokapäiväisille käyttäjille, jotka yrittävät navigoida tällä oikeusalalla. Tutkimus suoritettiin projektina varhaisen vaiheen startup-yritykselle. Tutkielmassa kehitettiin agentti, joka käyttää Retrieval-Augmented Generation (RAG) -tekniikoita yhdessä kielimallin (GPT-4 Turbo) kanssa. RAG hakee asiankuuluvaa tietoa valikoiduista oikeudellisista asiakirjoista ja käyttää sitä vastatakseen käyttäjien kysymyksiin. Agentti on sisällytetty web-sovellukseen, joka tarjoaa käyttäjälle helppokäyttöisen tavan kommunikoida agentin kanssa. Tulokset arvioi oikeudellinen asiantuntija, eli agentin vastaukset vahvistettiin ihmispalautteella. Palautteessaan asiantuntija totesi, että järjestelmä pystyi tuottamaan tyydyttäviä vastauksia asiantuntijan esittämiin kysymyksiin. RAG-tekniikoita hyödyntämällä järjestelmä vähensi hallusinaatioita, jotka ovat yleisiä kielimalleja käyttäessä, näin ollen parantaen vastauksien laatua. Tulukset indikoivat myös, että dokumenttihaku ei ollut optimaalinen, täten hakuprosessia tulee vielä työstää. Tutkimus korostaa LLM- ja RAG-tekniikoiden hyödyntämisen potentiaalia liikennevakuutuslain saavutettavuuden parantamisessa. Lisäksi tutkimus viittaa siihen, että hakumekanismin parantaminen ja mahdollisesti moniagenttijärjestelmän käyttöönotto voisi edelleen parantaa järjestelmän kontekstuaalista ymmärrystä ja siten auttaa yksilöitä oikeudellisissa prosesseissa vieläkin tehokkaammin. Tästä syystä tuleva tutkimus keskittyy hakuprosessien optimointiin ja moniagenttijärjestelmän käytön tutkimiseen.Description
Supervisor
Hellas, ArtoThesis advisor
Eriksson, ElinaKeywords
large language model, retrieval-augmented generation, agent, embedchain, insurance law, legal technology