aalto1 untyped-item.component.html
Using large language models for programming assistance in a company setting
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
Language
en
Pages
43
Series
Abstract
Generative artificial intelligence, especially in the form of large language models, shows great potential to provide value to companies in many fields, including software development.
To that end, I evaluate 6 generative artificial intelligence systems designed as programming assistants qualitatively, based on user feedback, and based on integration and confidentiality requirements, and recommended Google Gemini to be adopted for internal company use based on my evaluations.
I compare performance of a retrieval-augmented question-answering system with 2 different grounding datasets and 2 different retrieval methods.
I evaluate 2 different retrieval methods, which produce almost identical results.
I also attempt to craft good system prompt for the system.
Generatiivinen tekoäly, ja erityisesti suuret kielimallit voivat auttaa yrityksiä työskentelemään paremmin ja tehokkaammin, mukaan lukien ohjelmistoalalla. Tämä työ arvioi kuutta generatiiviseen tekoälyyn perustuvaa ohjelmoinnin avuksi suunnattua järjestelmää laadullisesti, käyttäjäpalautteen avulla, ja yrityksen integraatio- ja luottamuksellisuusvuusvaatimusten mukaisesti. Arvioinnin mukaisesti suosittelen yrityksen sisäiseen käyttöön Google Geminiä. Tämän lisäksi rakennan kielimallin, joka hyödyntää ajon aikana dokumentaatiosta haettua tietoa vastatakseen kysymyksiin, joihin julkisesti saatavilla oleva tieto ei ole riittävä. Arvioin kielimallin suoriutumista kahdella eri aineistolla ja kahdella eri hakumenetelmällä, tosin hakumenetelmien suoriutumisen välillä ei ole merkittävää eroa. Lisäksi pyrin rakentamaan toimivan järjestelmäkehotteen.