Modeling human decision-making in naturalistic settings
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering |
Doctoral thesis (article-based)
| Defence date: 2025-10-10
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Major/Subject
Mcode
Degree programme
Language
en
Pages
79 + app. 106
Series
Aalto University publication series Doctoral Theses, 183/2025
Abstract
The widespread availability of interactive devices implies that choices are often based on information presented in graphical user interfaces (GUIs), such as when booking a flight or a hotel online. These tasks involve selecting an option among competing alternatives within visual displays, necessitating evidence accumulation to support decision-making. Modeling how people make decisions in such settings is valuable for both theory and practice. A better understanding of naturalistic decision-making could, for instance, aid in developing practical applications like decision support systems. However, much of the previous work on modeling decision-making focuses on controlled settings that differ significantly from everyday decision contexts. Additionally, the process of information gathering in information-rich interfaces is under-studied, limiting our understanding of decision-making in such settings. This thesis aims to bridge this gap by extending models of decision-making from controlled environments to naturalistic settings to explain and predict choices, using the case of GUIs. The contributions of this thesis can be summarized in three main claims. Firstly, I argue that applying existing cognitive models in naturalistic settings—where the experimental design cannot be controlled—must be undertaken cautiously. This is due to the quality of model fitting being dependent on the often limited and uncontrolled set of tasks presented to the users. Such circumstances can lead to potential issues with parameter recovery, as demonstrated with the application of two classic decision-making models under risk to naturalistic game logs. Secondly, I contend that understanding the information gathering process preceding a choice is critical for effectively modeling decision-making in GUIs. I discuss how information gathering may be studied through representative eye-tracking studies where the stimuli preserve the structure of the naturalistic environment. In these settings, users' visual attention, the order in which they focus on elements, and their reaction times are influenced by the features of the GUI. I present evidence of these observations from two empirical studies focusing on visual search and browsing. My third claim states that information gathering should be integrated into models of naturalistic decision-making. This can be achieved by representing decision-making as a partially observable Markov decision process (POMDP) solved using reinforcement learning (RL). The proposed approach is based on the concept of computational rationality, which I argue is suitable for modelling naturalistic choice for three reasons: it appropriately captures mechanisms that explain information gathering, relaxes data requirements, and allows for the incorporation of machine learning-based elements for enhanced predictive accuracy. I demonstrate this approach through the example of multi-attribute choice, reproducing various context effects in property selection. This thesis concludes by discussing the implications of these findings for our theoretical understanding of decision-making in naturalistic settings, connecting the results to the Adaptive Interaction framework. Additionally, I consider workflows as a tool to further advance modeling of decision-making in naturalistic environments.Arkiset valinnat, kuten lennon tai hotellin varaaminen verkossa, perustuvat usein graafisissa käyttöliittymissä (GUI, Graphical User Interface) esitettyyn informaatioon. Lopullisen päätöksen tueksi ihminen kerää tietoa käyttöliittymistä pääosin visuaalisia ärsykkeitä hyödyntäen. Päätöksenteon mallintaminen tällaisissa naturalistisissa ympäristöissä on hyödyllistä sekä teorian että käytännön näkökulmasta. Ymmärrys päätöksenteon etenemisestä käytännön valintatilanteissa mahdollistaa erilaisten sovellusten kuten tekoälyavustajien kehittämisen. Päätöksenteon mallintamisen aiempi tutkimus on keskittynyt kontrolloituihin ympäristöihin, jotka poikkeavat arkipäiväisistä päätöksentekotilanteista, eikä todellisista päätöksentekoprosesseista näin ollen ole ollut merkittävästi tietoa. Lisäksi päätöksentekoon liittyvää tiedonkeruuprosessia juuri graafisissa käyttöliittymissä on tutkittu aiemmin vain vähän. Väitöskirjan tavoitteena on laajentaa päätöksenteon mallintaminen kontrolloiduista tilanteista aitoon ympäristöön ja tutkia päätöksentekoa erityisesti graafisissa käyttöliittymissä. Työ perustuu kolmeen väitteeseen. Ensimmäinen väite: Vaikka teoreettiset kognitiiviset mallit ovat melko yksinkertaisia, on niiden soveltaminen käytäntöön haasteellista, koska kokeellinen asetelma ei aina ole sama kuin aito käytännön tilanne. Näissä asetelmissa käyttäjät usein suorittavat rajoitetusti ja kontrolloimattomasti tehtäviä, mikä voi vaikeuttaa nk. parametrien palautumista teoriapohjaisten mallien kohdalla. Tämä osoitetaan soveltamalla kahta klassista päätöksenteon mallia oikeaan taktisen ja vuoropohjaisen pelin dataan. Toinen väite: Päätöksenteon mallintamisessa on oleellista, että päätöksentekoa edeltävä tiedonkeruuprosessi ymmärretään. Näin ollen tiedonkeruuprosessia on tutkittava koeasetelmissa, jotka jäljittelevät aitoa ympäristöä. Kahdessa empiirisessä tutkimuksessa osoitetaan, miten käyttöliittymän rakenne ohjaa käyttäjän reaktioaikaa, katseen kohdetta ja kohteiden valinnan järjestystä. Kolmas väite: Tiedonkeruu tulisi integroida luonnonmukaisen päätöksenteon malleihin. Tämä voidaan saavuttaa esittämällä päätöksenteko osittain havaittavana Markovin päätösprosessina (partially observable Markov decision process, POMDP), joka ratkotaan vahvistusoppimisen (reinforcement learning, RL) avulla. Ehdotettu lähestymistapa perustuu laskennallisen rationaalisuuden käsitteeseen. Tätä mallia sovelletaan monivalintatehtävissä, jossa koehenkilöt valitsivat yhden asuntovaihtoehdon kolmesta hinnan ja laadun perusteella. Väitöskirjan lopuksi tarkastellaan tutkimustuloksia adaptiivisen vuorovaikutuksen viitekehyksessä ja esitetään aihepiirejä tulevalle tutkimukselle naturalistisen päätöksenteon kentässä.Description
Supervising professor
Oulasvirta, Antti, Prof., Aalto University, Department of Information and Communications Engineering, FinlandOther note
Parts
-
[Publication 1]: Aini Putkonen, Aurélien Nioche, Ville Tanskanen, Arto Klami, Antti Oulasvirta. How suitable is your naturalistic dataset for theory-based user modeling? In Proceedings of the 30th ACM Conference on User Modeling, Adaptation and Personalization, Barcelona, Spain, July 2022.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202208104556DOI: 10.1145/3503252.3531322 View at publisher
-
[Publication 2]: Aini Putkonen, Yue Jiang, Jingchun Zeng, Olli Tammilehto, Jussi P.P. Jokinen, Antti Oulasvirta. Understanding visual search in graphical user interfaces. International Journal of Human-Computer Studies, Volume 199, March 2025.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202503262997DOI: 10.1016/j.ijhcs.2025.103483 View at publisher
-
[Publication 3]: Aini Putkonen, Aurélien Nioche, Markku Laine, Crista Kuuramo, Antti Oulasvirta. Fragmented visual attention in web browsing: Weibull analysis of item visit times. In European Conference on Information Retrieval, Dublin, Ireland, April 2023.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202304192764DOI: 10.1007/978-3-031-28238-6_5 View at publisher
- [Publication 4]: Aini Putkonen, Francisco E. Fernandes Jr., Andrew Howes. Utility maximizing sequential policies explain context effects. In submission, June 2025
-
[Publication 5]: Suyog Chandramouli, Danqing Shi, Aini Putkonen, Sebastiaan De Peuter, Shanshan Zhang, Jussi Jokinen, Andrew Howes, Antti Oulasvirta. A workflow for building computationally rational models of human behavior. Computational Brain & Behavior, Volume 7, August 2024.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202408285982DOI: 10.1007/s42113-024-00208-6 View at publisher