Unveiling the Mind in Action: Simulating Cognitive Reasoning in Behaviours with Large Language Model Persona Agents
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Authors
Date
Department
Major/Subject
Mcode
Language
en
Pages
124
Series
Abstract
Understanding human behaviour has wide-ranging applications across human-centred technologies, including robotics, educational systems, and autonomous vehicles. Behavioural understanding typically arises from two complementary perspectives and models: cognitive models representing the “why”, and behavioural models capturing the “what”. Despite the interconnectedness of both of perspectives, prior research has largely treated them in independently, which presents a critical gap. Cognitive models offer interpretive depth but are resource-intensive and static, while behavioural models are scalable yet often lack interpretability. Recent advancements in Large Language Model (LLM) persona agents offer a promising bridge between these approaches. However, there is a conundrum in the implementation of LLM persona agents, as existing implementations and research view these personas as either fictional or static, which fail to capture the true nature of dynamic and evolving real-world behaviours. To address these limitations, this thesis introduces a novel hybrid multimodal human-Artificial Intelligence (AI) workflow that integrates cognitive reasoning with visually grounded behavioural clusters, derived through Principal Component Analysis (PCA) and clustering techniques, resulting in adaptive LLM persona agents capable of simulating cognitive processes based on the behavioural data. The novel methodology is tested and validated using a large-scale dataset of over 100 million real-world interactions. Additionally, the findings respond to the critical gap of underdeveloped human-AI collaboration models in LLM persona research. The proposed methods can be adopted by practitioners and serves as a foundation for future research in dynamic, hybrid behavioural modelling with LLM persona agents.Ihmisen käyttäytymisen ymmärtämisellä on laaja-alaisia sovelluksia ihmiskeskeisissä teknologioissa, kuten robotiikassa, opetusteknologioissa ja autonomisissa ajoneuvoissa. Käyttäytymisen ymmärrys perustuu tyypillisesti kahteen toisiaan täydentävään malliin: kognitiivisiin malleihin ja käyttäytymismalleihin. Kognitiiviset mallit selittävät "miksi", ja käyttäytymismallit kuvaavat "mitä". Huolimatta kahden näkökulman välisestä yhteydestä, aiempi tutkimus on pitkälti käsitellyt niitä erillisinä malleina. Tämä muodostaa merkittävän aukon. Kognitiiviset mallit tarjoavat syvällistä tulkintaa, mutta ovat resurssi-intensiivisiä, kun taas käyttäytymismallit ovat skaalautuvia, mutta usein vaikeasti tulkittavia. Viimeaikainen kehitys suurten kielimallien (LLM) persoona-agenteissa mahdollistaa lupaavan kytkennän näiden kahden lähestymistavan välillä. LLM-persoonien toteutuksessa on kuitenkin omat vaikeutensa, sillä nykyiset sovellukset ja tutkimukset käsittelevät näitä persoonia joko fiktiivisinä tai staattisina. LLM-persoonat eivät kykene heijastamaan todellisen maailman käyttäytymisen dynaamista ja jatkuvasti kehittyvää luonnetta. Näiden rajoitusten ratkaisemiseksi tämä opinnäytetyö esittelee uudenlaisen multimodaalisen työnkulun, joka perustuu tekoälyn (AI) ja ihmisen väliseen yhteistyöhön. Työnkulku yhdistää kognitiivisen päättelyn visuaalisesti sidottuihin käyttäytymisklustereihin, jotka on muodostettu pääkomponenttianalyysin (PCA) ja klusterointitekniikoiden avulla. Tämän seurauksena syntyy dynaamisia LLM-persoona-agentteja, jotka kykenevät simuloimaan kognitiivisia prosesseja käyttäytymisaineiston perusteella. Uutta menetelmää on testattu ja validoitu laajalla aineistolla, joka sisältää yli 100 miljoonaa todellista vuorovaikutustilannetta. Tutkimuksen löydökset vastaavat myös keskeiseen aukkoon ihmisen ja tekoälyn yhteistyömalleissa LLM-persoonatutkimuksessa. Ehdotettuja menetelmiä voidaan soveltaa käytännön tasolla, ja ne luovat perustaa tulevalle tutkimukselle dynaamisessa ja hybridissä käyttäytymismallinnuksessa LLM-persoona-agenttien avulla.Description
Supervisor
Nieminen, MarkoThesis advisor
Nässi, LauraPalomäki, Päivi