Utilizing Large Language Models to Improve Requirements Tracing in the Nuclear Energy Domain
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Authors
Date
2024-08-19
Department
Major/Subject
Control, Robotics and Autonomous Systems
Mcode
ELEC3025
Degree programme
AEE - Master’s Programme in Automation and Electrical Engineering (TS2013)
Language
en
Pages
111 + 8
Series
Abstract
Projects related to nuclear power plants can contain hundreds to even thousands of requirements, which need to be traced throughout the project life-cycle. The natural language understanding capabilities of large language models (LLMs) offer possibilities for using them to automate parts of the requirements tracing process. This thesis was conducted in collaboration with Fortum, which owns and operates the Loviisa nuclear power plant in Finland. The aim of the thesis was to investigate how large language models can be utilized to improve the requirements tracing process in the nuclear energy domain. To achieve this, the design science method was applied to create a prototype for automated candidate trace link generation. Four experts at Fortum’s Nuclear Generation business unit were interviewed regarding the current requirements tracing practices at the company, and the use cases and requirements for the prototype. The prototype used a similarity-based approach for generating candidate trace links, where LLMs were utilized to compute the similarity between two requirements (or a requirement and a document section). Based on the interviews, two use cases were defined for the prototype: requirement-to-requirement tracing and requirement-to-documentation tracing. The prototype’s accuracy in the first use case was on a decent level, finding around 80% of the true links in its top-5 candidate links in three out of the four test sets. The results on the second use case were significantly worse, with the prototype only being able to find around 50% of the true links in its top-5 candidate links. The performance of the prototype was found to be sufficient when comparing large sets of requirements, and the majority of the execution time was taken by the inference of the LLM. Overall, the prototype’s results indicate that a similarity-based LLM approach could be suitable for generating candidate trace links between requirements, and the accuracy of these links is higher when the source and target requirements are expressed in a similar level of technical detail. However, the similarity-based LLM approach may not be suitable for generating trace links between requirements and documentation.Ydinvoimalaitokset ovat suuria ja monimutkaisia järjestelmiä ja niihin liittyvät projektit voivat sisältää satoja tai jopa tuhansia vaatimuksia, joita on jäljitettävä koko projektin elinkaaren ajan. Suurien kielimallien kyky ymmärtää luonnollista kieltä mahdollistaa niiden hyödyntämisen vaatimusten jäljityksen automatisoinnissa. Opinnäytetyö tehtiin yhteistyössä Fortumin kanssa, joka omistaa ja ylläpitää Loviisan ydinvoimalaitosta. Opinnäytetyön tavoitteena oli selvittää, miten suuria kielimalleja voidaan hyödyntää vaatimusten jäljitysprosessin parantamiseen ydinvoima-alalla. Työssä kehitettiin prototyyppi automatisoituun vaatimusten jäljitykseen suunnittelutiede (Design Science) menetelmää noudattaen. Neljää organisaation asiantuntijaa haastateltiin nykyisiin vaatimusten jäljityskäytäntöihin sekä prototyypin käyttötapauksiin ja vaatimuksiin liittyen. Prototyyppi käytti samanlaisuuteen perustuvaa lähestymistapaa vaatimuslinkkien luontiin, jossa vaatimusten ja dokumenttiosioiden (tai vaatimusten) välinen samankaltaisuus laskettiin suurien kielimallien avulla. Prototyypille määriteltiin kaksi käyttötapausta haastattelujen pohjalta: vaatimusten välinen jäljitys sekä vaatimusten ja dokumenttiosioiden välinen jäljitys. Prototyypin tarkkuus ensimmäisessä käyttötapauksessa oli kohtalaisella tasolla: kolmessa neljästä testitapauksesta sen palauttamat top-5 jäljityslinkit sisälsivät keskimäärin 80% oikeista linkeistä. Tulosten tarkkuus toisessa käyttötapauksessa oli kuitenkin huomattavasti huonompi, jossa prototyypin palauttamat top-5 linkit sisälsivät vain noin 50% kaikista tosi-linkeistä. Työkalun suorituskyky suuria vaatimussettejä vertaillessa oli hyväksyttävällä tasolla molemmissa käyttötapauksissa, ja suurien kielimallien ajaminen vei suurimman osan suoritusajasta. Kaiken kaikkiaan työn tulokset osoittivat, että samanlaisuuteen perustuva lähestymistapa voisi olla hyödyllinen vaatimusten välisessä jäljityksessä, ja luotujen jäljityslinkkien tarkkuus on suurempi kun vertailtavien vaatimusten tekninen yksityiskohtaisuus on samankaltaista. Työssä esitetty samanlaisuuteen perustuva lähestymistapa ei kuitenkaan vaikuta soveltuvan yhtä hyvin vaatimusten ja dokumenttiosioiden välisten jäljityslinkkien luomiseen.Description
Supervisor
Fagerholm, FabianThesis advisor
Kauppinen, MarjoRaunio, Tapani
Keywords
large language models, nuclear energy, requirements traceability, design science