Exploring the use of AI tools in qualitative research: Analyzing AI performance in coding survey and interview data

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis

Authors

Date

2025-08-03

Department

Major/Subject

User, Data and Design

Mcode

Degree programme

Master's Programme in Information Networks

Language

en

Pages

57

Series

Abstract

AI technologies are continuously developing and today their effects can be seen throughout our society. Their biggest strength lies in increased efficiency compared to humans, making them interesting tools across different fields. Since qualitative research, especially an analysis method called coding, is laborious when using traditional methods, it often limits the amount of data analyzed. This presents a question whether AI tools could be the solution for making qualitative coding more efficient. This thesis studies two different AI tools' analyzing capabilities in two different types of Finnish-language qualitative data. The approach taken is a case study with two cases to be analyzed by AI: one with survey responses and another one with interview transcriptions. Furthermore, each case contains multiple smaller episodes, testing AI's capabilities in a wide range of ways. The results of this study include that AI can effectively code both types of data, but some central topics were entirely omitted in the AI codes. When classifying the data into existing codes, the performance was not as good and there were multiple instances of misclassifications and overinterpretations. The findings indicate that AI is capable of effectively analyzing data in Finnish but it does not perform uniformly well across different coding tasks. Together with the previous research, the findings point to the direction that while AI can be a helpful assistant in qualitative research, its inconsistent quality of outputs makes it unreliable. Therefore, AI is best involved as a co-analyst but not an independent analyst, agreeing with the view common in earlier research.

Tekoälyteknologiat kehittyvät jatkuvasti ja niillä on yhteiskuntaa läpileikkaavia vaikutuksia. Tekoälyn vahvuus on sen parempi tehokkuus ihmiseen verrattuna, minkä vuoksi tekoälysovellukset ovat herättäneet kiinnostusta usealla eri alalla. Myös laadullinen tutkimus on työlästä, mikä usein rajoittaa analysoitavan aineiston määrää. Tämä herättääkin kysymyksen siitä, voiko laadullisesta tutkimuksesta, varsinkin aineiston koodauksesta, tehdä entistä tehokkaampaa tekoälyn avulla. Tämä diplomityö tutkii tekoälyn kykyä analysoida suomenkielistä laadullista aineistoa kahden eri tyyppisen aineiston avulla. Tutkimuksen lähestymistapana käytetään tapaustutkimusta, jossa analysoidaan kaksi aineistoa: kyselyvastaukset sekä haastatteluaineistot. Molemmat tapaukset koostuvat useasta pienemmästä vaiheesta, joiden avulla tekoälyn kykyjä testataan useassa erilaisessa lähestymistavassa koodaukseen. Tämän työn tulokset näyttävät, että tekoäly pystyy analysoimaan tehokkaasti niin kysely- kuin haastatteluaineistoa, mutta sen koodit eivät sisällä kaikkia keskeisiä aiheita. Kun tekoäly luokitteli aineistoa ihmisten luomiin koodeihin, sen tulokset eivät olleet yhtä lupaavia. Osa luokituksista oli selvästi virheellisiä, kun taas toiset vaikuttivat ylitulkituilta. Nämä tulokset osoittavat, että tekoäly voi analysoida suomenkielistä laadullista aineistoa tehokkaasti, mutta sen tulosten laatu vaihtelee erilaisten tehtävien välillä. Yhdessä aiemman tutkimuksen löydösten kanssa, nämä tulokset osoittavat, että tekoäly voi olla tehokas avustaja laadullisessa tutkimuksessa, mutta se ei ole täysin luotettava. Näin ollen tekoäly on mahdollista ottaa mukaan avustajaksi osaksi tutkimusprosessia, mutta se ei voi toimia itsenäisenä tutkijana. Tämä tukee myös aiemman tutkimuksen esittämää mahdollisuutta siitä, miten tekoälyn voi ottaa osaksi laadullista tutkimusta.

Description

Supervisor

Viitanen, Johanna

Thesis advisor

Lääveri, Tinja

Keywords

generative AI, large language models, qualitative research, qualitative coding, inductive coding, AI-assisted research

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202510228533

Collections

[dipl] Perustieteiden korkeakoulu / SCI