Integration of Large Language Models in Contract Lifecycle Management

Thumbnail Image

Files

master_Koshevaya_Valeriya_2025.pdf (1.95 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-12-31

Department

Major/Subject

Strategy

Mcode

Degree programme

Master's Programme in Industrial Engineering and Management

Language

en

Pages

136

Series

Abstract

Contracts are at the core of modern business relationships, defining the terms that govern organizational interactions. The increasing complexity of contractual agreements, driven by globalization, outsourcing, and growing regulatory demands, has made Contract Lifecycle Management (CLM) a key area of focus for organizations that aim to ensure compliance, mitigate risks, and maintain operational efficiency. As such, the need for innovative solutions that enhance CLM is apparent. This thesis develops a conceptual framework, presenting a comprehensive view of CLM stages and identifying potential LLM-enabled use cases, including multi-document summarization, advanced search, and regulatory compliance. These use cases were crafted to align with current and near-future LLM capabilities, emphasizing practical applications across the entire CLM process. To evaluate the feasibility of LLMs in CLM, a technical implementation was conducted, focusing on LLM capabilities in summarization, synthesis, and reasoning. The study assessed five summarization-synthesis methods, comparing their performance using three LLMs: GPT-4, GPT-3.5, and Mistral. Key tested LLM capabilities included multi-document summarization, synthesizing content across sections, and identifying missing or atypical clauses in contracts. The results highlight the effectiveness of prompt engineering and emphasize the importance of dividing tasks into clear, well-defined stages. LLMs excel in summarization, especially when documents are clearly divided into structured sections. However, reasoning tasks remain challenging, as LLMs appeared to rely on word similarity rather than understanding intent. The study also demonstrates the potential of using multiple LLMs for tailored applications, with the open-source model Mistral excelling in summarization. This thesis makes several unique contributions. It bridges fragmented academic research on CLM by creating a holistic view on the entire lifecycle. While prior studies have focused on applying LLMs to isolated CLM tasks, this thesis explores their application across the entire CLM process. Additionally, it addresses the under-researched areas of multi-document summarization and synthesis with LLMs, contributing insights to these emerging fields. By comparing different LLMs and implementation strategies, the thesis offers a foundation for both academic advancement and practical adoption of LLM technologies in contract management.

Sopimukset ovat olennainen osa nykyaikaista liiketoimintaa, sillä ne määrittävät yritysten välisen yhteistyön ehdot. Globalisaation, ulkoistamisen ja lisääntyneiden sääntelyvaatimusten myötä sopimuksista on kuitenkin tullut entistä monimutkaisempia, mikä on nostanut sopimusten elinkaaren hallinnan (CLM) organisaatioiden keskeiseksi kehityskohteeksi. Tässä diplomityössä kehitetään viitekehys, joka tarkastelee CLM:n eri vaiheita kokonaisvaltaisesti ja esittelee mahdollisia käyttötarkoituksia suurille kielimalleille (LLM), kuten useiden asiakirjojen tiivistämistä, edistyneitä hakutoimintoja ja sääntelyn noudattamisen tukemista. Nämä käyttötarkoitukset ovat linjassa nykyisten tai lähitulevaisuuden LLM-teknologioiden mahdollisuuksien kanssa. Tutkimuksen teknisessä osiossa arvioitiin LLM:ien soveltuvuutta CLM-tehtäviin. Viisi erilaista tiivistämis- ja synteesimenetelmää kehitettiin ja niiden suoritusta vertailtiin kolmen kielimallin – GPT-4, GPT-3.5 ja Mistral – välillä. Keskeisiä tarkasteltavia ominaisuuksia olivat asiakirjojen tiivistäminen, sisällön synteesi sekä puuttuvien tai poikkeavien sopimusehtojen tunnistaminen. Tulokset osoittavat, että prompt engineering on lupaava menetelmä LLM:ien hyödyntämiseen, ja että tehtävien jakaminen selkeisiin, hyvin määriteltyihin vai-heisiin parantaa merkittävästi suoritusta. LLM:t osoittautuivat erityisen tehokkaiksi asiakirjojen tiivistämisessä, erityisesti silloin, kun asiakirjat on jaoteltu selkeisiin ja jäsenneltyihin osioihin. Sen sijaan päättelytehtävät olivat haastavampia, sillä LLM-mallit tuntuivat usein perustavan päätelmänsä sanalliseen samankaltaisuuteen merkityksen ymmärtämisen sijaan. Tutkimus myös korostaa useiden LLM-mallien samanaikaisen käytön potentiaalia sovelluksissa, etenkin kun avoimen lähdekoodin Mistral-malli menestyi todella hyvin tiivistämistehtävissä. Tämä diplomityö tekee useamman kontribuution. Se kokoaa hajanaista akateemista tietoa yhteen ja muodostaa kokonaisvaltaisen näkemyksen sopimusten elinkaaren hallinnasta. Siinä missä aiemmat tutkimukset ovat keskittyneet yksittäisiin CLM:n osa-alueisiin, tämä työ tarkastelee LLM-mallien soveltamista kaikkiin CLM-vaiheisiin. Lisäksi työ tarkastelee vähemmän tutkittuja aiheita, kuten useiden asiakirjojen tiivistämistä ja synteesin tekemistä LLM-mallien avulla. Eri LLM-mallien ja toteutusstrategioiden vertailu tarjoaa arvokasta pohjaa niin akateemiselle tutkimukselle kuin käytännön sovelluksille sopimusten hallinnan kehittämisessä.

Description

Supervisor

Luoma, Jukka

Keywords

Large Language Models (LLMs), Contract Lifecycle Management (CLM), LLM summarization, LLM synthesis, LLM reasoning, multi-document summarization with LLMs

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202501292194

Collections

[dipl] Perustieteiden korkeakoulu / SCI