Evaluating GitHub Copilot adoption in professional software development: Analysis of adoption, impact and performance

Abstract

This thesis investigates the adoption and impact of GitHub Copilot, an AI-powered code generation assistant, in a professional software development environment. The study evaluated GitHub Copilot's impact on coding efficiency, teams productivity, software quality, and overall Developer Experience (DX). The study employs case study with a mixed-methods, quasi-experimental design involving three Scrum teams (totalling approx. 15 developers) over eight months. Data were gathered from pre- and post-adoption surveys, Copilot’s usage telemetry, and Jira tracking metrics on completed tasks and defects. Results indicate a moderate yet visible productivity boost following Copilot’s introduction. Quantitatively, teams delivered approximately 25% more story points in the post-adoption period and reported nearly 20% fewer newly logged bugs. Developers also perceived gains in efficiency, as survey responses showed that a majority agreed Copilot helped them complete tasks faster, remain in flow longer, and reduce repetitive coding effort. Qualitative feedback suggests that Copilot excelled in generating boilerplate and test code, freeing developers’ time for higher-value activities. At the same time, code reviews, existing testing practices, and cautious acceptance of AI-generated suggestions helped safeguard software quality as no spike in defects or user-reported issues was observed. Developers’ satisfaction with Copilot was generally high, with most respondents indicating they would continue using it for day-to-day coding. However, the study highlights certain challenges, e.g. uneven IDE integration. Additionally, the lack of a dedicated control group and reliance on self-reported metrics limit the study’s ability to draw definitive causal conclusions. Overall, findings suggest development workflows can effectively benefit from GitHub Copilot by increasing coding efficiency and enhancing developer experience, without loss of quality, provided that organization supports responsible use and maintain robust quality checks.

Tämä opinnäytetyö tutki GitHub Copilotin, tekoälypohjaisen koodigeneraattorin, käyttöönottoa ja sen vaikutuksia ammattilaisessa ohjelmistokehitysympäristössä. Tutkimus evaluoi Copilotin vaikutusta tehokkuuteen, tiimien tuottavuuteen, ohjelmiston laatuun sekä yleisesti kehittäjäkokemuksiin (DX). Tutkimus toteutettiin tapaustutkimuksena, hyödyntäen monimenetelmällistä, kvasikokeellista tutkimusasetelmaa kolmen Scrum-tiimin (yhteensä noin 15 kehittäjää) keskuudessa kahdeksan kuukauden ajan. Aineistoa kerättiin ennen GitHub Copilotin käyttöönottoa ja sen jälkeen suoritetuilla kyselyillä, Copilotin käyttötelemetrialla sekä Jira-järjestelmän tehtävien ja virheiden seurantatiedoilla. Tutkimuksen tulokset viittaavat Copilotin käyttöönoton jälkeiseen maltilliseen mutta positiiviseen tuottavuuden kasvuun. Määrällisessä tarkastelussa tiimit tuottivat noin 25 % enemmän story point -pisteitä käyttöönoton jälkeen ja kirjasivat lähes 20 % vähemmän uusia koodin virheilmoituksia. Kehittäjät kokivat lisäksi hyötyneensä tehokkuudessa, sillä kyselyvastauksista selvisi, että enemmistö oli sitä mieltä, että Copilot auttaa suorittamaan tehtäviä nopeammin, pysymään keskittyneessä tilassa pidempään ja vähentämään toistuvaa koodaustyötä. Laadullisen palautteen perusteella Copilot soveltui erityisen hyvin rutiininomaisen tai testikoodin generoimiseen, minkä ansiosta kehittäjillä oli enemmän aikaa keskittyä vaativampiin ja korkeamman lisäarvon tehtäviin. Samaan aikaan koodikatselmoinnit, olemassa olevat hyvät testauskäytännöt ja varovainen suhtautuminen tekoälyn antamiin ehdotuksiin edistivät laadun säilymistä, sillä vikoihin tai käyttäjien raportoimiin ongelmiin ei havaittu merkittävää nousua. Kehittäjät olivat yleisesti tyytyväisiä Copilotin käyttöön, ja valtaosa vastaajista aikoikin jatkaa sen hyödyntämistä päivittäisessä työssään. Tutkimus nostaa kuitenkin esiin haasteita, kuten IDE-työkalujen epätasainen yhteensopivuus Copilotin kanssa. Myös kontrolliryhmän puuttuminen ja itsearviointimittareiden käyttäminen rajoittavat johtopäätösten syy-seuraus-suhteiden varmuutta. Kaiken kaikkiaan tulokset viittaavat siihen, että GitHub Copilot voi tuoda lisäarvoa ohjelmistokehitysprosesseihin parantamalla koodauksen tehokkuutta ja kehittäjäkokemusta ilman koodin laadun heikkenemistä, kunhan organisaatio tukee työkalun vastuullista käyttöä ja ylläpitää hyviä laadunvarmistuskäytäntöjä.