Generative AI in practice: Insights from a software development organization

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis

Department

Mcode

Language

en

Pages

84

Series

Abstract

The growing adoption of generative AI tools in software development is reshaping the way professionals work. While there is significant interest towards these tools from the industry, their concrete impact remains only partially understood, especially in real-world settings. Adopting a single case study design, this thesis studied the use and impact of generative AI tools in a software development organisation working on a financial management system. The study combined semi-structured inter-views with analysis of system data. The interviews examined how practitioners use generative AI tools, their perceived strengths and limitations, and their impact on various aspects including productivity, code quality and developer experience. The system data analysis provided complementary insights into generative AI’s impact on productivity and code quality by examining trends in development metrics. The results show that generative AI tools are used in various tasks across different technologies. The tools were perceived to be especially beneficial in simple and repetitive tasks, but their limitations in handling complex tasks and occasional faults in the outputs highlighted the need for human validation. Furthermore, the results indicate that generative AI tools can improve developer experience, productivity, and code quality. Participants perceived that the tools improved their job satisfaction and valued the feedback provided by the tools, which suggests a positive impact on developer experience. Many participants reported modest productivity gains mainly related to faster task completion speed in simple and repetitive tasks, while system data indicated slight improvements in process efficiency. Participants generally perceived that generative AI tools had improved code quality, which was supported by trends identified in system data. Overall, the results show that generative AI tools bring benefits and are well received by practitioners. However, their current limitations highlight that they are best used for supporting humans, rather than replacing them.

Generatiivisten tekoälytyökalujen käyttöönotto on muuttamassa ohjelmistokehitysammattilaisten työtapoja. Alan yritykset ovat osoittaneet suurta kiinnostusta tekoälytyökaluja kohtaan, mutta ymmärrys näiden työkalujen vaikutuksista on vielä puutteellista. Tämä opinnäytetyö toteutettiin tapaustutkimuksena, jossa tarkasteltiin generatiivisten tekoälytyökalujen käyttöä ja vaikutusta taloushallintojärjestelmää kehittävässä ohjelmistokehitysorganisaatiossa. Tutkimusmenetelminä käytettiin teemahaastatteluita sekä järjestelmädatan analyysia. Teemahaastattelujen tarkoituksena oli selvittää, kuinka ohjelmistoammattilaiset käyttävät generatiivisia tekoälytyökaluja työssään, miten he näkevät niiden vahvuudet sekä heikkoudet ja minkälainen vaikutus työkaluilla on tuottavuuteen, koodin laatuun ja kehittäjäkokemukseen. Järjestelmädatan analyysi pyrki selvittämään generatiivisen tekoälyn vaikutusta tuottavuuteen ja koodinlaatuun tarkastelemalla trendejä kehitysmetriikoissa, täydentäen haastattelujen tuloksia. Tutkimuksessa selvisi, että generatiivisia tekoälytyökaluja käytetään useissa eri tehtävissä erilaisten teknologioiden parissa. Työkalut nähtiin erityisen hyödyllisinä etenkin yksinkertaisissa ja toisteisissa tehtävissä, mutta vähemmän tehokkaina monimutkaisissa tehtävissä. Lisäksi satunnaiset virheet vastauksissa osoittivat, että työkalujen tuotokset edellyttävät ihmisen tarkastusta. Tulokset osoittavat myös, että generatiiviset tekoälytyökalut voivat parantaa kehittäjäkokemusta, tuottavuutta ja koodin laatua. Osallistujat kokivat, että työkalut tekivät työstä mielekkäämpää ja he arvostivat työkalujen antamaa palautetta, mikä viittaa parannukseen kehittäjäkokemuksessa. Tutkimuksessa selvisi myös, että tekoälytyökaluilla voi olla tuottavuushyötyjä. Osallistujat mainitsivat, että työkalut mahdollistivat erityisesti yksinkertaisten ja toisteisten tehtävien nopeamman suorittamisen, kun taas järjestelmädata osoitti lie-viä parannuksia prosessien tehokkuudessa. Osallistujat kokivat yleisesti, että generatiiviset tekoälytyökalut ovat parantaneet koodin laatua, mikä oli havaittavissa myös järjestelmädatan trendeissä. Kaiken kaikkiaan, tulokset osoittavat, että generatiivisilla tekoälytyökaluilla on useita hyötyjä ja ammattilaiset ovat ottaneet ne innolla käyttöön. Nykyiset rajoitukset viittaavat siihen, että nämä työkalut toimivat parhaiten ihmisten työn tukena, eivätkä sen korvaajina

Description

Supervisor

Lassenius, Casper

Thesis advisor

Suihkonen, Olli

Other note

Citation