The Reliability of AI Detection Tools

No Thumbnail Available
Files
bachelor_Hietanen_Sirja_2024.pdf (549.85 KB)
Journal Title
Journal ISSN
Volume Title
School of Business | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Date
2024
Major/Subject
Mcode
Degree programme
Tieto- ja palvelujohtaminen
Language
en
Pages
20 + 8
Series
Abstract
AI chatbots have become widely accessible in recent years due to the launch of ChatGPT. The increased use of AI has created the need for AI detection tools. This thesis examines the reliability of AI detection tools for AI-generated, human written and AI-enhanced text through a literature review and research. The results indicate that AI detectors are not reliable enough to be used as the sole indicator for whether a student has used an AI tool in their work or not. AI detection tools produce false positives for human written text and false negatives for AI-generated text. AI detectors have also been found to be biased against non-native speakers.

Tekoälychatbotit ovat tulleet laajalti saataville viime vuosina ChatGPT:n julkaisun ansiosta. Tekoälyn lisääntynyt käyttö on luonut tarpeen tekoälyn tunnistustyökaluille. Tässä tutkielmassa tarkastellaan tekoälyn tunnistustyökalujen luotettavuutta tekoälyn luoman, ihmisen kirjoittaman ja tekoälyllä parannetun tekstin osalta kirjallisuuskatsauksen ja tutkimuksen avulla. Tutkimuksen tulokset osoittavat, että tekoälyn tunnistimet eivät ole tarpeeksi luotettavia, jotta niitä voitaisiin käyttää indikaattorina siitä, onko opiskelija käyttänyt tekoälytyökalua työssään vai ei. Tekoälyn tunnistimet tuottavat vääriä positiivisia tuloksia ihmisen kirjoittaman tekstin osalta ja vääriä negatiivisia tuloksia tekoälyn tuottaman tekstin osalta. Tämän lisäksi tekoäly luokittelee muiden kuin äidinkielenään englantia puhuvien tekstit todennäköisemmin tekoälyn tuottamaksi.
Description
Thesis advisor
Seppälä, Tomi
Keywords
LLM, AI, AI detection tool, ChatGPT
Other note
Citation