Recognising Erroneous AI Generated References
Loading...
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2024-08-19
Department
Major/Subject
Software and Service Engineering
Mcode
SCI3043
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
53
Series
Abstract
Artificial intelligence (AI) has emerged as a significant focus of technological advancement, particularly with the rapid development of generative language models such as ChatGPT. Since its public release at the end of 2022, ChatGPT has revolutionized the creation of coherent and systematic text, gaining significant attention for its capability to draft academic essays that pass plagiarism checks. This surge in AI usage among students has introduced new challenges for educators, particularly concerning the reliability and accuracy of references generated by AI. Generative large language models are known to hallucinate, presenting inaccurate information as facts confidently, making it valuable to examine their influence on students' academic work. This thesis investigates the potential impact of AI tools on the quality of references in bachelor's theses at Aalto University. The primary objective is to identify changes in the frequency of erroneous references in theses published between 2019 and 2023, coinciding with the release of ChatGPT in late 2022. Additionally, this thesis aims to understand the types of errors found in these references and their potential connection to the increased use of large language models. A dataset of 5801 theses from five schools at Aalto University was analyzed using a custom-built tool developed as part of this thesis, designed to extract, segment, and validate references. Contrary to the initial hypothesis that the use of AI tools would increase erroneous references over time, the results revealed a decrease in erroneous references, indicating that the integrity of academic referencing has not been compromised. Common typographical errors and outdated sources were found to be the primary causes of invalid references, rather than AI-generated errors. These findings indicate that the current thesis process at Aalto University upholds high standards of academic integrity. However, as we adopt the use of AI-powered tools, it is important to emphasize the importance of proper reference verification and validation.Tekoälystä on tullut merkittävä teknologisen kehityksen kohde generatiivisten kielimallien, kuten ChatGPT:n, nopean kehityksen myötä. Vuoden 2022 lopulla julkaistu ChatGPT on mullistanut luovan tekstin tuottamisen. ChatGPT:n kyky luoda johdonmukaisia akateemisia esseitä, jotka läpäisevät plagiointitarkastukset, on ollut esillä mediassa, eikä se ole jäänyt opiskelijoilta huomaamatta. Tekoälyn käytön lisääntyminen opiskelijoiden keskuudessa on tuonut uusia haasteita opettajille, erityisesti tekoälyn tuottamien viitteiden luotettavuuden ja tarkkuuden osalta. Generatiiviset suuret kielimallit esittävät usein epätarkkoja tietoja tosiasioina, mikä tekee niiden vaikutuksen opiskelijoiden akateemiseen työhön tutkimisen arvoiseksi. Tämä tutkimus tarkastelee tekoälytyökalujen vaikutusta viitteiden laatuun Aalto-yliopiston kandidaatintukielmissa. Tavoitteena on tunnistaa vuosina 2019-2023 julkaistuissa tutkielmissa mahdollista muutosta virheellisten viitteiden määrässä. ChatGPT:n julkaisu loppuvuodesta 2022 osuu tarkastelujaksolle ja tarjoaa mahdollisuuden havaita muutoksia opiskelijoiden käyttämissä viitteissä. Tutkimuksen tavoitteena on myös ymmärtää millaisia virheitä viitteistä löytyy ja niiden mahdollinen yhteys kielimallien käytön lisääntymiseen. Aineisto koostuu 5801 kandidaatintutkielmasta. Kandidaatintutkielmat analysoitiin tutkimusta varten kehitetyn työkalun avulla. Työkalun tehtävä oli poimia ja jakaa osiin viitteet PDF-tiedostoista ja validoida niiden olemassaolo. Tutkimuksen hypoteesin mukaan tekoälytyökalujen käyttö lisää virheellisten viitteiden määrää. Tulokset kuitenkin paljastivat virheellisten viitteiden määrän vähentyneen. Tämä osoittaa, että viitteiden olemassaolon tarkistamista ei laiminlyödä kandidaatintutkinnoissa Aalto-yliopistossa. Yleisimmät syyt virheellisiin viitteisiin olivat kirjoitusvirheet ja vanhentuneet URL-osoitteet. Havainnot osoittavat, että Aalto-yliopiston opinnäytetyöprosessissa kannustetaan viitteiden tarkistamiseen ja akateemiseen rehellisyyteen. Vaikka nykyinen prosessi vaikuttaa toimivan, on tärkeää korostaa viitteiden tarkistamisen ja oikeellisuuden merkitystä, kun tekoälypohjaisten työkalujen käyttö lisääntyy.Description
Supervisor
Suoranta, SannaThesis advisor
Ahrenberg, LukasKeywords
AI-generated references, large language model, generative pre-trained transformer, chatGPT, references, citations
