Machine Learning Methods for Interactive Search Interfaces and Cognitive Models

Abstract

Computer systems that users interact with are becoming more and more driven by artificial intelligence and machine learning components. This means that the ability of the users to efficiently interact with these intelligent systems on one hand, and the ability of these intelligent systems to understand the users on the other hand, are becoming more and more important for productive human-computer interaction. This thesis proposes new methods to improve both of these aspects.

The first contribution of this thesis is to improve the ability of the users to predict the consequences of their actions, and to observe possible inconsistencies in the feedback they give, when interacting with an information retrieval system that performs interactive user modelling. The proposed solutions for improving predictability are interactive visualization of the consequences of user actions and changing the behavior of the user model to better match user expectations. The proposed solutions for detecting inconsistencies in user feedback are visualization of past user feedback and interactive modelling of the accuracy of the feedback. Experiments demonstrate that the proposed methods improve user satisfaction and the usability of the search system.

The second contribution is to develop generally applicable methods for inferring the parameter values for various types of models of the user's cognition. The inherent difficulty in estimating these parameter values is caused by the complicated relation between the parameters of these cognitive models and the observation data: the likelihood function. The proposed solution is to use likelihood-free Bayesian inference, which is applicable for various different cognitive models and also able to quantify the uncertainty of the parameter estimates. Experiments demonstrate that the proposed solution enables efficient inference of cognitive model parameter values in multiple settings, and also allows informative quantification of parameter uncertainty across the parameter space.

Interaktiiviset tietokonejärjestelmät sisältävät enenevissä määrin tekoäly- ja koneoppimis-komponentteja. Näiden järjestelmien hyödyllisyyden kannalta on tärkeä kiinnittää huomiota toisaalta niiden käytettävyyteen, ja toisaalta siihen, että ne kykenevät mallintamaan käyttäjiensä tarpeita riittävällä tarkkuudella. Tämä väitöstutkimus esittää keinoja kummankin päämäärän edistämiseksi.

Tutkimuksen ensimmäisessä osiossa esitetään menetelmiä, joilla parannetaan interaktiivisen hakukoneen käytettävyyttä lisäämällä interaktion ennustettavuutta sekä käyttäjän epäjohdon-mukaisen palautteen tunnistamista. Ennustettavuutta parannettiin sekä interaktiivisesti visualisoimalla käyttäjän toimintojen mahdollisia vaikutuksia että muuttamalla käyttäjämallin dynamiikkaa vastaamaan paremmin käyttäjän odotuksia. Epäjohdonmukaisen palautteen määrää vähennettiin sekä visualisoimalla käyttäjän antamaa palautetta kokonaisuutena että mallintamalla interaktiivisesti käyttäjän antaman palautteen tarkkuutta. Kokeellisesti näytettiin, että esitetyt menetelmät parantavat käyttäjätyytyväisyyttä sekä hakujärjestelmän käytettävyyttä.

Tutkimuksen toisessa osiossa kehitettiin yleisesti sovellettavia menetelmiä kognitiivisten mallien parametriarvojen päättelemiseksi. Näiden mallien parametriarvojen päättely havaintoaineiston perusteella on yleisesti ottaen hankalaa johtuen monimutkaisesta uskottavuusfunktiosta, joka sitoo yhteen havaintoaineiston sekä mallin parametriarvot. Ratkaisuksi esitettiin uskottavuusfunktioton Bayesiläinen päättely, jonka avulla kognitiivisten mallien parametriarvot, sekä niiden epävarmuus, on mahdollista päätellä. Kokeellisesti näytettiin, että menetelmä soveltuu useille erilaisille kognitiivisille malleille, ja että se mahdollistaa parametrien epävarmuuden määrittämisen koko parametriavaruudessa.