Design Criteria for Trustworthy AI

Thumbnail Image

Files

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-05-05

Department

Major/Subject

Tietotekniikka

Mcode

SCI3027

Degree programme

Teknistieteellinen kandidaattiohjelma

Language

en

Pages

23

Series

Abstract

This thesis researches what makes a machine learning methodology trustworthy. Research method used is literature review. The foundation for the trustworthy AI is provided by publication from European Commission about the guidelines for trustworthy AI. Secondly this thesis introduces machine learning briefly. Coverage on machine learning focuses on three key components of machine learning: data, model and loss. Data refers to the data points that the method is based on, model refers to the hypothesis used to predict data point labels from data point features and loss refers to the loss function that evaluates which hypothesis is resulting in the best predictions. The seven key guidelines from the European Commission (2019) are human agency and oversight, technical robustness and safety, privacy and data governance, transparency, diversity (non-discrimination and fairness), environmental and societal well-being, and accountability. In the thesis each of these guidelines are reviewed with aim to find the meaning behind the guideline in addition to the literal meaning. This thesis evaluates these trustworthy guidelines in terms of each of the main machine learning components (data, model and loss). To do this the thesis completes a matrix between trustworthy guidelines and machine learning components where criteria is created for each component on how to fulfill each guideline. This thesis provides this matrix as tool for designing trustworthy machine learning methods. Trustworthiness in AI should be continued to be researched as the field is progressing increasingly fast.

Erilaiset tekoälypalvelut ovat yleistyneet merkittävästi viime vuosina. Esimerkiksi kuuluisa ChatGPTkielimalli keräsi yli miljoona käyttäjää vain kolmen päivän aikana, kun se julkaistiin vuonna 2022. ChatGPT:n kaltaiset kielimallit ja muut tekoälyt pohjautuvat koneoppimismetodeihin. Jo ennen ChatGPT -palvelun julkaisua koneoppimismetodeja on ollut laajalti käytössä esimerkiksi sosiaalisen median palveluiden algoritmeissa. Uusien koneoppimismetodien käyttö tehokkaasti ei kuitenkaan ole mahdollista, jos metodeihin ei pystytä luottamaan. Koneoppimismetodit eivät voi hyödyntää koko tehokkuuttaan, jos niille ei luoteta niiden tarvitsemaa dataa. Tämä kandidaatintyö tutkii, mikä tekee koneoppimismetodeista luotettavia. Tutkimusmetodina on kirjallisuuskatsaus. Luotettavan tekoälyn tutkimus pohjautuu Euroopan komission julkaisemaan luotettavaa tekoälyä koskeviin eettisiin ohjeisiin. Toiseksi tämä tutkielma esittelee koneoppimisen perusteet lyhyesti. Koneoppimisen käsittely keskittyy koneoppimisen kolmeen ydinkäsitteeseen: data, malli ja virhe. Data käsittää datapisteet, johon koneoppimismetodi pohjautuu, malli tarkoittaa hypoteesia, jota käytetään ennakoimaan luokkia piirteiden avulla, ja virhe käsittää virhefunktion, jonka avulla valitaan paras hypoteesi. Ensimmäinen Euroopan komission laatima vaatimus luotettavalle tekoälylle on ihmisen toimijuus ja ihmisen suorittama valvonta, mikä tarkoittaa, että ihmisen tulee pystyä valvomaan koneoppimismetodin suoritusta. Toinen vaatimus on tekninen luotettavuus ja turvallisuus, mikä käsittää, että metodin tulee toimia turvallisesti aiheuttamatta minkäänlaista vahinkoa. Kolmas komission vaatimus on yksityisyydensuoja ja datan hallinta, mikä vaatii koneoppimismetodeja suojaamaan käyttäjien dataa ja säilyttämään dataa turvallisesti. Neljäs komission vaatimus on läpinäkyvyys, mikä vaatii läpinäkyvyyttä datan keräysprosessiin ja käyttöön. Viides komission vaatimus on monimuotoisuus, syrjimättömyys ja oikeudenmukaisuus, mikä vaatii monipuolisuutta datassa, jottei yksittäisiä ominaisuuksia korosteta liikaa. Kuudes komission vaatimus on yhteiskunnallinen ja ekologinen hyvinvointi, mikä vaatii, että koneoppimismetodit tekevät yhteiskunnallisesta ja ekologista hyvinvointia edistäviä ratkaisuja, kun se on mahdollista. Seitsemäs ja viimeinen komission vaatimus on vastuuvelvollisuus, mikä vaatii koneoppimismalleja raportoimaan mahdollisista kompromisseista muiden vaatimusten kanssa. Tämä tutkielma käy läpi jokaisen vaatimuksen tarkemmin ja tarkastelee tarkoitusta vaatimusten takana niiden kirjaimellisen tarkoituksen lisäksi. Tämä tutkielma arvioi näitä luotettavuusvaatimuksia koneoppimisen kolmen keskeisen käsitteen kannalta. Koneoppimisen keskeiset käsitteet ovat data, malli ja virhe. Arviota varten tutkielma tuottaa vaatimusten ja koneoppimisen käsitteiden välillä matriisin, jossa jokaiselle komponentille luodaan kriteerit, miten se täyttää jokaisen vaatimuksen. Tutkielma tuottaa tämän matriisin työkaluksi luotettavien tekoälymetodien suunnittelua varten. Matriisin tarkoitus ei ole olla kaikenkattava työkalu luotettavien koneoppimismetodien suunniteluun, vaan se auttaa huomioimaan tekoälyn luotettavuuden suunnitteluprosessissa. Luotettavuutta koneoppimisessa tulee jatkossakin tutkia, sillä ala kehittyy todella nopeasti.

Description

Supervisor

Savioja, Lauri

Thesis advisor

Jung, Alexander

Keywords

machine learning, AI, trustworthy AI, AI guidelines, koneoppiminen, tekoäly

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202406184553

Collections

[kand] Perustieteiden korkeakoulu / SCI