Subjective evaluation of performance in AI-assisted decision-making - Analysis of the Dunning-Kruger effect in AI-assisted decision-making

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-09-16

Department

Major/Subject

Teknillinen psykologia

Mcode

SCI3163

Degree programme

Teknistieteellinen kandidaattiohjelma

Language

en

Pages

34

Series

Abstract

Artificial Intelligence (AI) is increasingly used as an aid in decision-making in various applications. This is called AI-assisted decision-making, in which the decision-maker utilises suggestions made by the AI, but makes the final decision himself/herself. In many applications, the correctness of the decision is judged by the decision-maker, as there might not be an objectively correct decision or the implications of the decision are manifested later. Considering this, it is important to ensure that these decision-makers are able to accurately evaluate their decisions to optimise their future behaviour. Research in psychology has revealed cognitive biases related to decision-making and the evaluation of it. The decision-making process is further complicated when an AI-assistant is present. Furthermore, the complexity of the decision-making is reflected in the subjective evaluation of the decision. Thus, research is required on how AI affects the evaluation of the decision and what cognitive biases might be present. This thesis focuses on a cognitive bias called the Dunning-Kruger effect, which research has found to be present in decision-making in a range of domains. Due to the Dunning-Kruger effect, low performing decision-makers overestimate their performance compared to their true performance. This thesis analyses if and how the addition of an AI-assistant in the decision-making process affects this cognitive bias. The foundation of this investigation is build in metacognition, one's knowledge of their own thought processes. Based on a literature review, two theoretical frameworks of the subjective evaluation of AI-assisted decision-making are formed, compared and used to explain the potential behaviour of the Dunning-Kruger effect. This effect is concluded to likely be inflated due to additional metacognitive load and the biases caused by the AI. This implies that low performing decision-makers would overestimate their performance more with an AI-assistant than without. This work encourages future research to empirically examine the Dunning-Kruger effect in the subjective evaluation of AI-assisted decision-making. The theoretical frameworks developed in this thesis provide new insights into how individual differences influence the subjective evaluation of AI-assisted decision-making and where these differences might originate from.

Tekoälyä käytetään nykypäivänä yhä enemmän päätöksenteon tukena monissa eri sovelluskohteissa. Tätä kutsutaan tekoälyavusteiseksi päätöksenteoksi (eng. AI-assisted decision-making), jossa päätöksentekijä hyödyntää tekoälyn tuottamia ehdotuksia mutta tekee itse lopulliset päätökset. Monissa sovelluskohteissa lopullisten päätösten hyvyys määrittyy päätöksentekijän oman arvion perusteella, koska päätökseen ei välttämättä ole objektiivista oikeaa ratkaisua tai päätöksen vaikutukset realisoituvat vasta myöhemmin. Tämän takia on tärkeä varmistaa, että päätöksentekijät kykenevät luotettavasti arvioimaan omia päätöksiään ja niiden perusteella kehittämään jatkossa omaa päätöksentekoaan. Psykologiset tutkimukset ovat osoittaneet, että päätöksentekoon ja sen subjektiiviseen arviointiin liittyy kognitiivisia vinoumia. Päätöksenteko monimutkaistuu tekoälyn hyödyntämisen myötä. Päätöksentekijän on muodostettava oma näkemys oikeasta päätöksestä, vertailtava tätä tekoälyn ehdottamaan päätökseen ja näiden pohjalta tehdä lopullinen päätös. Päätöksenteon monimutkaisuus heijastuu myös päätöksenteon arviointiin, minkä vuoksi on tutkittava, miten tekoäly vaikuttaa päätösten arviointiin sekä erityisesti millaisia kognitiivisia vinoumia tekoäly saa aikaan. Tässä kandidaatintyössä keskitytään tekoälyavusteisessa päätöksenteon arvioinnissa ilmenevään kognitiiviseen vinoumaan, Dunning–Kruger-efektiin. Dunning–Kruger-efektin myötä heikoimmat päätöksentekijät yliarvioivat oman suoriutumisen paremmaksi kuin mitä se todellisuudessa on. Työssä selvitetään, kuinka tekoälyn lisääminen osaksi päätöksentekoprosessia vaikuttaa tähän kognitiiviseen vinoumaan. Selvityksen lähtökohtana toimii metakognitio eli ihmisen tietoisuus omista ajatteluprosesseistaan. Kirjallisuuskatsauksen pohjalta työssä kehitettiin kaksi teoreettisesta viitekehystä kuvaamaan tekoälyavusteisen päätöksenteon subjektiivisesta arviointia. Viitekehyksiä vertailtiin keskenään ja niiden kautta pyrittiin selittämään Dunning–Kruger-efektin käyttäytymistä tekoälyavusteisessa päätöksenteossa. Työssä todettiin kirjallisuuden perusteella Dunning–Kruger-efektin todennäköisesti korostuvan tekoälyavusteisessa päätöksenteossa. Korostuneen Dunning–Kruger-efektin todennäköiseksi syyksi identifioitiin tekoälyn päätöksentekoon tuoma ylimääräinen metakognitiivinen kuorma ja tekoälyn synnyttämät kognitiiviset vinoumat. Tämä tarkoittaa, että heikommin pärjäävät yliarvioivat omaa suoritusta tekoälyn avustuksella tehdyissä päätöksissä enemmän kuin ilman. Tämän työn pohjalta voidaan empiirisesti tutkia Dunning–Kruger-efektiä tekoälyavusteisessa päätöksenteon arvioinnissa. Työssä kehitetyt teoreettiset viitekehykset lisäävät ymmärrystä siitä miten yksilölliset erot vaikuttavat tekoälyavusteisen päätöksen arviointiin ja mistä nämä yksilölliset eroavaisuudet ovat mahdollisesti peräisin. Tuloksen valossa Dunning–Kruger-efektin mahdolliset vaikutukset tulee huomioida tekoälyavusteisen päätöksenteon sovelluskohteissa.

Description

Supervisor

Savioja, Lauri

Thesis advisor

Welsch, Robin

Keywords

human-AI interaction, AI-assisted decision-making, Dunning-Kruger effect, metacognition

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202410016556

Collections

[kand] Perustieteiden korkeakoulu / SCI