Neurodiverse rhetoric with conversational AI
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Arts, Design and Architecture |
Master's thesis
Location:
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-12-05
Department
Major/Subject
New Media
Mcode
Degree programme
Master's Programme in Art and Media
Language
en
Pages
139
Series
Abstract
This thesis studies whether neurodivergent rhetorical traits can be repre-sented with a conversational AI system. As the data demands of fine-tuning custom large language model (LLM) solutions have lowered, it is feasible to cater to smaller demographics. In the Tuumailubotti (Pondering bot) project, the FinGPT-3 LLM was trained with a dataset authored by an anonymous group consisting mainly of members of neurominorities. The model was then used to create a demo for a chatbot for discussing performance review-adjacent topics. By applying neuroqueer theory into the design process of a chatbot, the project critiques the neuronormative assumptions that underlie the design of mainstream generative AI assistants and tries to imagine an alternative space for private reflection for neurominority employees. To assess whether the rhetoric of the LLM was neuroqueered via fine-tuning, the thesis investigates which rhetorical traits were present in the text outputs of the chatbot, and how they affected the preferences of users. In a user study, 31 participants had an hour to interact with the chatbot and then fill in a survey. The participants classified quotes from their conversations into five categories: good, bad, weird, toxic and neurodiverse. These quotations were then coded by the thesis author using a list of common neurodivergent rhetorical traits, such as fast switching of topics, repetition and exactness. The results show that many of the coded traits were prevalent in the quotes. However, without a direct point of comparison, such as a chatbot trained with data authored by neurotypicals, it is unclear to what extent rheto-ric factored in the preferences of the testers. From a design perspective, better results might have been achieved with a more participatory design process. While overall impressions of the chatbot were not negative, the coded traits were mostly perceived negatively by the participants. The participants did not identify the traits as neurodivergent, and mostly viewed them as bad design decisions. The responses indicate that the project succeeded in its goal of challenging implicit assumptions the participants had about the rhetoric of chatbots, therefore neuroqueering rhetoric.Tämä opinnäyte tutkii neuromoninaisten retoristen piirteiden representoimis-ta keskustelevalla tekoälyjärjestelmällä. Laajojen kielimallien hienosäätöön tarvitaan nykyisin vähemmän dataa, joten niihin perustuvia sovellutuksia voi räätälöidä pienempien käyttäjäkuntien tarpeisiin. Tuumailubotti-hankkeessa FinGPT-3-mallia koulutettiin datasetillä, jonka anonyymit kirjoittajat olivat pääsääntöisesti neurovähemmistöjen jäseniä. Kielimallia hyödyntävän keskustelubottidemon tarkoitus oli toimia keskusteluapuna kehityskeskusteluihin liittyvissä aiheissa. Soveltamalla neuroqueer-teoriaa keskustelubotin suunnitteluprosessiin hanke kritisoi valtavirtaa edustavien generatiivisten tekoälyavustajien neuronormatiivisia pohjaoletuksia. Samalla se pyrkii luomaan vaihtoehtoisen tilan neurovähemmistöön kuuluville työntekijöille yksityistä reflektiota varten. Opinnäyttessä arvioidaan, onnistuttiinko projektissa kielimallin retoriikan neurovinouttamissa, eli neuroqueeringissä hienosäädön avulla. Tätä varten tutkittiin, mitä neuromoninaisia piirteitä botin vastauksissa on, ja miten ne vaikuttivat botin käyttäjien mieltymyksiin. Käyttäjätutkimuksessa 31 osallistu-jalla oli tunti aikaa vuorovaikuttaa botin kanssa ja täyttää kysely. Käyttäjät luokittelivat sitaatteja keskusteluistaan viiteen kategoriaan: ”hyvä”, ”huono”, ”outo”, ”toksinen” ja ”neuromoninainen”. Kirjoittaja koodasi kyselyaineiston etsimällä sitaateista yleisiä neuromoninaisia piirteitä, kuten nopeita aiheenvaihdoksia, toistoa ja kirjaimellisuutta. Monet koodatut piirteet olivat yleisiä sitaateissa. Tuloksilta puuttuu suora vertailukohta, kuten neurotyypiilisten kirjoittajien tuottamalla datasetillä kou-lutettu botti. Siksi on epäselvää, mikä vaikutus piirteillä lopulta oli mieltymyksiin. Osallistavampi metodologia olisi tuottanut parempia tuloksia suunnittelun näkökulmasta. Vaikka bottiin ei suhtauduttu kielteisesti, tutkitut piirteet kuvautuvat pääsääntöisesti negatiivisina tekijöinä osallistujien vastauksissa. Osallistujat eivät kokeneet niitä neuromoninaisiksi, vaan pitivät niitä tarkoituksellisina mutta huonoina ominaisuuksina. Vastauksista käy ilmi, että botti haastoi käyttäjien näkemyksiä vastaavien järjestelmien retoriikasta, eli onnistui neurovinouttamaan retoriikkaa.Description
Supervisor
Reunanen, MarkkuThesis advisor
Trento, FranGuckelsberger, Christian
Keywords
LLM, neurodiversity, critical design, conversational AI, HCI, neuroqueer rhetoric