Analysing generative artificial intelligence capabilities to advance customer requirement processing
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Insinööritieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-08-19
Department
Major/Subject
Mcode
Degree programme
Master’s Degree Programme in International Design Business Management (IDBM)
Language
en
Pages
79+26
Series
Abstract
The development of various generative AI (genAI) and large language models (LLMs) has been rapid in the 2020s. Although development of these LLMs has its roots dating all the way back in the 1950s only in the latter parts of 2010s started the public’s interest to raise in these modes with the introduction of new processing frameworks. Due to these developments, an ever-increasing amount of people and organisations are looking into finding new ways on how to use LLMs to solve problems in consumer and business context alike. This thesis and empirical research focus on the possibilities on how to implement LLMs as part of an organisation’s customer requirements engineering (RE) workflow. One of the greater problems with the current LLMs considers the recommendations that these tools can have thus this research in this thesis focuses on how to use retrieval augmented generation (RAG) to elicit better prompt answering capabilities without the need for LLM retraining. While implementing LLMs as part of company processes, it is crucial to consider the different opportunities of these systems and the implications of these to the company processes. Since numerous different LLMs available on the market with different operating models ranging from cloud operated closed models to locally operatable open-source ones able to be operated on premises. From a business cost perspective, it is crucial to know how the capabilities of such wide range of different AI models compare to each other in practical applications such as RE. Empirical research conducted in this thesis presents an avenue on how a LLM assisted RE workflow could work in a corporate setting. Moreover, the comparison between a small locally operated model and a cloud operated one was conducted in the field of RE. Findings from this research were encouraging as with RAG implemented with smaller models it was possible to reduce the hallucinations with smaller locally operated models and also get the performance to a similar level to a more capable cloud operated LLM. These findings give a glimpse into the future where it is likely that different companies are using smaller LLMs in specific places in their process workflows as part of the company operations.Erilaisten suurten kielimallien (engl. LLM) kehittyminen on ollut nopeaa 2020-luvulla. Vaikka kielimallien kehitys juontaa juurensa jopa 1950-luvulle, erilaiset käytännön sovellutukset ovat tulleet suuren yleisön tietoon vasta 2010-luvun alkupuolella. Tutkimus näiden kielimallien käyttämisestä erilaisiin yritys- ja kuluttajasovellutuksiin on myös kasvanut tämän lisääntyneen kiinnostuksen ja myös kielimallien kasvaneiden prosessointi kykyjen seurauksena. Tämän työn tarkoituksena on kuvata kielimallien käytön mahdollisuuksia osana yrityksen tuotevaatimusten määrittelyprosessia. Tällä hetkellä yksi suurimpia kielimallien ongelmia on datan saatavuus niiden kouluttamiseen ja tämän datan ajanmukaisuus. Kuitenkin erilaisia metodeja on kehitetty ratkaisemaan tätä ongelmaa. Tämä työ käyttää osana tutkimusta augmentoidun generaation hakemistoa (engl. RAG) osana tutkimusta jonka tavoitteena on mallin datan oikeellisuuden lisäksi myös taata mallien vastauksien oikeellisuus. RAG metodin avulla kielimallille pystytään antamaan siltä kysyttyyn kysymykseen kontekstia, jota kielimalli käyttää vastauksensa generoinnissa. Lisäksi myös rajoitteet joita kielimallit tuovat asiakasdatan prosessointiin kuten turvallisuushuolet tulee ottaa huomioon yrityksen kriittisissä operaatioissa. Nämä turvallisuushuolet ovat seurausta useiden generatiivisen tekoälyn (engl. genAI) arkkitehtuurivalinnoista, jotka hankaloittavat kyseisten genAI-mallien implementointia varsinkin yritysten kriittisissä prosesseissa. Empiirisessä tutkimuksessa havaittiin että RAG metodia käyttämällä pienemmät lokaalisti toimivat kielimallit pystyivät tuottamaan saman tasoisia asiakasvaatimusten prosessointia verrattuna edistyksellisempään kielimalliin joidenka operointi-infrastruktuuri täytyy yleensä ostaa yrityksen ulkopuoliselta toimijalta. RAG metodilla oli myös vaikutuksia yleisesti ottaen pienempien kielimallien vastauksien oikeellisuuteen ja tarkkuuteen tehden niistä käyttökelpoisempia eri yritysprosessien osana ja varsinkin käyttäjävaatimusten prosessoinnissa.Description
Supervisor
Björklund, TuaThesis advisor
Kirjavainen, SenniKivinen, Sari
Keywords
generative artificial intelligence, user requirement processing, product development processes, large language models, retrieval augmented generation