Learning to Interact: Simulating Users with Reinforcement Learning in Human-Computer Interaction
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2025-11-07
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Major/Subject
Mcode
Degree programme
Language
en
Pages
96 + app. 76
Series
Aalto University publication series Doctoral Theses, 200/2025
Abstract
User simulation in human-computer interaction (HCI) offers a promising means to study user behaviour in silico. However, such simulations have often relied on simplified or separate representations of the user's biomechanical, perceptual, and cognitive capabilities. Body movement is often modelled using basic link-segment representations, overlooking crucial elements such as muscle actuation and anatomically accurate joint mechanics. Perceptual processes are frequently neglected or oversimplified, with simulations assuming that users possess complete knowledge of their environment and task objectives. Cognitive functions are commonly represented as fixed rulebased systems, limiting adaptability and realism. Furthermore, prior user modelling approaches typically rely on previously recorded user data. Such requirements have limited the applicability of user simulation to specific, well-defined tasks, with little capacity to extend to more complex and dynamic interactions. This dissertation addresses these limitations by integrating state-of-the-art biomechanical models with perceptual capabilities and reinforcement learning (RL) methods. This approach enables the development of generative behavioural models that combine biomechanically plausible representations with perceptual-motor control, offering a more flexible and realistic framework for simulating user behaviour in HCI contexts. As a result, the scope of user simulation is extended to a wider range of interaction scenarios, providing novel insights into user behaviour, interface design, and interaction analysis. The research presented in this dissertation is structured around several contributions that advance RL-driven user simulation in HCI. The first contribution is the development of methods for integrating advanced biomechanical models into the MuJoCo simulation environment, enabling more efficient simulation of human movement. Building on this foundation, the dissertation introduces an interaction simulation framework that integrates biomechanical and perceptual modelling with RL methods, allowing for the creation of simulated users that learn to perform tasks through interaction with their environment. This work is further extended into virtual reality environments, facilitating automated biomechanical testing and offering more ecologically valid evaluations of user models. Additionally, this dissertation explores the use of hierarchical RL to model cognitively demanding behaviour involving attention switching, providing insights into human performance under multitasking conditions and demonstrating the potential of RL for cognitive modelling. Through these contributions, the dissertation demonstrates the potential of RL-driven user simulation in HCI research. It highlights the capacity of this approach to model user interactions in a flexible and realistic manner, offering powerful tools for both researchers and designers.Käyttäjäsimulaatiot mahdollistavat ihmisen ja tietokoneen välisen vuorovaikutuksen (engl. human-computer interaction, HCI) tutkimisen tietokonesimulaatioiden keinoin. Tyypillisesti tällaiset simulaatiot ovat kuitenkin perustuneet yksinkertaistettuihin malleihin sekä ihmiskehosta että käyttäjän havaintokyvystä ja kognitiivisista toiminnoista. Kehon liikkeiden mallinnuksessa käytetyt yksinkertaiset linkki-segmenttimallit eivät usein huomioi liikkeen kannalta keskeisiä tekijöitä kuten lihastoimintaa tai nivelten oikeanlaista liikettä. Samoin havaintokyvyn merkitystä HCI:ssä aliarvioidaan usein siten, että simuloitujen käyttäjien oletetaan tuntevan ympäristöstänsä ja tehtäviensä tavoitteet täydellisesti. Kognitiiviset toiminnot usein esitetään sääntöpohjaisten järjestelmien perusteella, joka rajoittaa mukautuvuutta. Lisäksi aikaisemmat mallintamismenetelmät tyypillisesti käyttävät ennalta kerättyä vertailuaineistoa. Näiden rajoitusten vuoksi simulaatiota on hyödynnetty lähinnä tarkasti määriteltyihin ongelmiin, eivätkä ne ole soveltuneet laajemmin monimutkaisiin ja muuttuviin vuorovaikutustilanteisiin. Tämä väitöskirja pyrkii ratkaisemaan yllä mainittuja rajoitteita integroimalla havaintokykyjä ja vahvistusoppimismenetelmiä (engl. reinforcement learning, RL) uusimpiin biomekaanisiin malleihin. Tämä lähestymistapa mahdollistaa generatiivisten käyttäytymismallien kehittämisen, joissa biomekaanisesti uskottavat mallit yhdistyvät havaintoperusteiseen ohjaukseen, tehden käyttäytymisen simuloinnista HCI-kontekstissa realistisempaa. Tämän seurauksena käyttäjäsimulaation soveltamisalue laajenee monipuolisempiin tilanteisiin, tarjoten uusia näkökulmia käyttäytymisen tutkimiseen, käyttöliittymäsuunnitteluun ja vuorovaikutuksen analysointiin. Väitöskirjassa esitetty tutkimus edistää RL:ään perustuvaa käyttäjäsimulaatioiden hyödyntämistä HCI:n alalla. Ensinnäkin, väitöskirja esittelee menetelmiä joiden avulla edistyneitä biomekaanisia malleja voidaan integroida MuJoCo-ympäristöön, mahdollistaen tehokkaamman simuloinnin. Tämän pohjalta väitöskirja esittelee simulointikehyksen joka yhdistää biomekaaniset mallit, havaintokyvyn mallintamisen ja RL:n, mahdollistaen simuloitujen käyttäjien luomisen jotka oppivat suorittamaan tehtäviä vuorovaikuttamalla ympäristönsä kanssa. Tämä kehys laajennettiin myös virtuaalitodellisuusympäristöihin, mikä edistää automatisoitua biomekaanista testausta ja mahdollistaa käyttäjäsimulaatioiden luotettavamman arvioinnin. Lisäksi väitöskirja tutkii hierarkkisen RL:n käyttöä tarkkaavaisuuden vaihtelun mallintamiseen "multitasking"-tilanteessa; tämänkaltainenmonimutkaisen kognitiivisen tehtävän mallintaminen voi tarjota uusia näkemyksiä ihmisen käyttäytymisestä vaativissa olosuhteissa. Näiden kehitysaskeleiden avulla tämä väitöskirja havainnollistaa RL:ään perustuvan käyttäjäsimulaation tarjoamat mahdollisuudet HCI-tutkimuksessa. Väitöskirja korostaa niiden kykyä mallintaa käyttäjän vuorovaikutusta joustavasti ja realistisesti, tarjoten tehokkaita työkaluja sekä tutkijoille että suunnittelijoille.Description
Supervising professor
Hämäläinen, Perttu, Prof., Aalto University, Department of Computer Science, FinlandOther note
Parts
-
[Publication 1]: Aleksi Ikkala and Perttu Hämäläinen. Converting Biomechanical Models from OpenSim to MuJoCo. In Converging Clinical and Engineering Research on Neurorehabilitation IV: Proceedings of the 5th International Conference on Neurorehabilitation (ICNR2020), 2021.
DOI: 10.1007/978-3-030-70316-5_45 View at publisher
-
[Publication 2]: Aleksi Ikkala, Florian Fischer, Markus Klar, Miroslav Bachinski, Arthur Fleig, Andrew Howes, Perttu Hämäläinen, Jörg Müller, Roderick Murray-Smith, and Antti Oulasvirta. Breathing Life Into Biomechanical User Models. In Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (UIST), 2022.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202211306699DOI: 10.1145/3526113.3545689 View at publisher
-
[Publication 3]: Florian Fischer*, Aleksi Ikkala*, Markus Klar, Arthur Fleig, Miroslav Bachinski, Roderick Murray-Smith, Perttu Hämäläinen, Antti Oulasvirta, and Jörg Müller — *equal contribution. SIM2VR: Towards Automated Biomechanical Testing in VR. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (UIST), 2024.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202412047566DOI: 10.1145/3654777.3676452 View at publisher
-
[Publication 4]: Yunpeng Bai, Aleksi Ikkala, Antti Oulasvirta, Shengdong Zhao, Lucia J Wang, Pengzhi Yang, and Peisen Xu. Heads-Up Multitasker: Simulating Attention Switching On Optical Head-Mounted Displays. In Proceedings of the CHI Conference on Human Factors in Computing Systems, Association for Computing Machinery, 2024.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202405223534DOI: 10.1145/3613904.3642540 View at publisher