Suurten kielimallien hyödyntäminen ohjelmistokehityksessä tilaajan näkökulmasta
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Author
Date
2023-12-11
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
fi
Pages
66
Series
Abstract
Suuret kielimallit ovat viime vuosina saaneet runsaasti huomiota luonnollisen kielen käsittelyn kentällä niiden poikkeuksellisen yleistettävyyden vuoksi. Luonnollisen kielen lisäksi suuret kielimallit tuottavat tehokkaasti eri syntaksista ohjelmointikieltä. OpenAI:n kehittämää Codex-kielimallia hyödyntävä GitHub Copilot -tekoälytyökalu julkaistiin yrityskäyttöön helmikuussa 2023. Työkalu toimii kehittäjän tekstieditorissa ehdottaen koodia aiemman koodin perusteella. GitHubin mukaan työkalu auttaa parantamaan kehittäjien tuottavuutta. Tämän diplomityön tavoite on selvittää GitHub Copilot for Business -työkalun käytön hyötyä työn tilaajan (Fingrid Oyj) ohjelmistokehityksessä. Hyötyä mitataan diplomityössä tilaajan ohjelmistokehittäjien koetun tuottavuuden kautta. Diplomityössä ollaan kiinnostuneita työkalun käytön piirteistä, koetusta hyödystä ja sen yhteydestä objektiivisiin mittauksiin sekä työkalun vaikutustavoista tuottavuuteen. Kiinnostuksen alla olevia asioita tutkitaan diplomityössä kenttätutkimuksella, jossa 15 tilaajan ohjelmistokehittäjää ottaa käyttöönsä tutkittavan työkalun kahdeksi viikoksi. Kenttätutkimuksen osallistujista 13 halusi jatkaa Copilotin käyttöä. Kenttätutkimuksessa koettu tuottavuushyöty vaihteli päivä- ja osallistujakohtaisesti, ja koetun tuottavuuden ja objektiivisen hyväksymisosuuden välillä havaittiin yhteys. Kenttätutkimuksen osallistujat raportoivat työkalun eri vaikutuksia tuottavuuteen. Työkalun käyttö vaikutti SPACE-kehittäjätuottavuuskehyksen tuottavuuden eri ulottuvuuksiin: tyytyväisyyteen ja hyvinvointiin, suorituskykyyn, viestintään ja yhteistyöhön sekä tehokkuuteen ja flow'hun.In recent years, large language models (LLM) have received a lot of attention in the field of natural language processing due to exceptional generality. In addition to natural language, large language models can efficiently produce code. Artificial intelligence tool GitHub Copilot, based on the OpenAI Codex language model developed by OpenAI, was released for business use in February 2023. The tool is used within developer's text editor, where it suggests code snippets based on previous code. According to GitHub, the tool helps improve developer productivity. The aim of this thesis is to investigate the usefulness of GitHub Copilot for Business for software development of the client (Fingrid Oyj). The usefulness will be measured through perceived productivity. The thesis takes an interest in the characteristics of the tool use, the perceived usefulness and its relation to objective measurements, and the tool's effects on developer productivity. The topics of interest will be investigated through a field study in which 15 software developers will use the tool for two weeks. Of the participants in the field study, 13 wanted to continue using Copilot. Perceived usefulness varied between days and participants and a correlation was found between perceived usefulness and objective acceptance rate. Participants in the field study reported a wide range of effects of the tool on developer productivity. The use of the tool had an effect on different dimensions of developer productivity defined in the SPACE developer productivity framework: satisfaction and well-being, performance, communication and collaboration, and efficiency and flow.Description
Supervisor
Oulasvirta, AnttiThesis advisor
Hätönen, HannuKeywords
tekoäly, suuri kielimalli, ohjelmistokehitys, tuottavuus, transformer, GitHub Copilot