Machine Learning Methods for Interactive Search Interfaces and Cognitive Models

Thumbnail Image
Files
isbn9789526082516.pdf (5.81 MB)
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2018-11-16
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2018
Department
Tietotekniikan laitos
Department of Computer Science
Major/Subject
Mcode
Degree programme
Language
en
Pages
73 + app. 135
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 206/2018
Abstract
Computer systems that users interact with are becoming more and more driven by artificial intelligence and machine learning components. This means that the ability of the users to efficiently interact with these intelligent systems on one hand, and the ability of these intelligent systems to understand the users on the other hand, are becoming more and more important for productive human-computer interaction. This thesis proposes new methods to improve both of these aspects. The first contribution of this thesis is to improve the ability of the users to predict the consequences of their actions, and to observe possible inconsistencies in the feedback they give, when interacting with an information retrieval system that performs interactive user modelling. The proposed solutions for improving predictability are interactive visualization of the consequences of user actions and changing the behavior of the user model to better match user expectations. The proposed solutions for detecting inconsistencies in user feedback are visualization of past user feedback and interactive modelling of the accuracy of the feedback. Experiments demonstrate that the proposed methods improve user satisfaction and the usability of the search system. The second contribution is to develop generally applicable methods for inferring the parameter values for various types of models of the user's cognition. The inherent difficulty in estimating these parameter values is caused by the complicated relation between the parameters of these cognitive models and the observation data: the likelihood function. The proposed solution is to use likelihood-free Bayesian inference, which is applicable for various different cognitive models and also able to quantify the uncertainty of the parameter estimates. Experiments demonstrate that the proposed solution enables efficient inference of cognitive model parameter values in multiple settings, and also allows informative quantification of parameter uncertainty across the parameter space.

Interaktiiviset tietokonejärjestelmät sisältävät enenevissä määrin tekoäly- ja koneoppimis-komponentteja. Näiden järjestelmien hyödyllisyyden kannalta on tärkeä kiinnittää huomiota toisaalta niiden käytettävyyteen, ja toisaalta siihen, että ne kykenevät mallintamaan käyttäjiensä tarpeita riittävällä tarkkuudella. Tämä väitöstutkimus esittää keinoja kummankin päämäärän edistämiseksi. Tutkimuksen ensimmäisessä osiossa esitetään menetelmiä, joilla parannetaan interaktiivisen hakukoneen käytettävyyttä lisäämällä interaktion ennustettavuutta sekä käyttäjän epäjohdon-mukaisen palautteen tunnistamista. Ennustettavuutta parannettiin sekä interaktiivisesti visualisoimalla käyttäjän toimintojen mahdollisia vaikutuksia että muuttamalla käyttäjämallin dynamiikkaa vastaamaan paremmin käyttäjän odotuksia. Epäjohdonmukaisen palautteen määrää vähennettiin sekä visualisoimalla käyttäjän antamaa palautetta kokonaisuutena että mallintamalla interaktiivisesti käyttäjän antaman palautteen tarkkuutta. Kokeellisesti näytettiin, että esitetyt menetelmät parantavat käyttäjätyytyväisyyttä sekä hakujärjestelmän käytettävyyttä.   Tutkimuksen toisessa osiossa kehitettiin yleisesti sovellettavia menetelmiä kognitiivisten mallien parametriarvojen päättelemiseksi. Näiden mallien parametriarvojen päättely havaintoaineiston perusteella on yleisesti ottaen hankalaa johtuen monimutkaisesta uskottavuusfunktiosta, joka sitoo yhteen havaintoaineiston sekä mallin parametriarvot. Ratkaisuksi esitettiin uskottavuusfunktioton Bayesiläinen päättely, jonka avulla kognitiivisten mallien parametriarvot, sekä niiden epävarmuus, on mahdollista päätellä. Kokeellisesti näytettiin, että menetelmä soveltuu useille erilaisille kognitiivisille malleille, ja että se mahdollistaa parametrien epävarmuuden määrittämisen koko parametriavaruudessa.
Description
Supervising professor
Kaski, Samuel, Prof., Aalto University, Department of Computer Science, Finland
Keywords
bayesian inference, cognitive modelling, human-computer interaction, interactive machine learning, likelihood-free inference, probabilistic modelling, user modelling, bayesiläinen tilastotiede, ihmisen ja tietokoneen vuorovaikutus, interaktiivinen koneoppiminen, kognitiivinen mallinnus, käyttäjämallinnus, todennäköisyysmallinnus, uskottavuusfunktioton päättely
Other note
Parts
  • [Publication 1]: Antti Kangasrääsiö, Dorota Głowacka, Samuel Kaski. Improving Controllability and Predictability of Interactive Recommendation Interfaces for Exploratory Search. In Proceedings of the 20th International Conference on Intelligent User Interfaces, pp. 247–251, 2015.
    DOI: 10.1145/2678025.2701371 View at publisher
  • [Publication 2]: Antti Kangasrääsiö, Yi Chen, Dorota Głowacka, Samuel Kaski. Interactive Modeling of Concept Drift and Errors in Relevance Feedback. In Proceedings of the 24th Conference on User Modeling, Adaptation and Personalization, pp. 185–193, 2016.
    DOI: 10.1145/2930238.2930243 View at publisher
  • DOI: 10.1145/3025453.3025576 View at publisher
  • [Publication 4]: Antti Kangasrääsiö, Samuel Kaski. Inverse Reinforcement Learning from Summary Data. Machine Learning, volume 107, pages 1517–1535, 2018.
    DOI: 10.1007/s10994-018-5730-4 View at publisher
  • [Publication 5]: Antti Kangasrääsiö, Jussi Jokinen, Antti Oulasvirta, Andrew Howes, Samuel Kaski. Posterior Estimation for Cognitive Models using Approximate Bayesian Computation. Submitted to a journal, 2018.
  • [Publication 6]: Jarno Lintusaari, Henri Vuollekoski, Antti Kangasrääsiö, Kusti Skytén, Marko Järvenpää, Michael Gutmann, Aki Vehtari, Jukka Corander, Samuel Kaski. ELFI: Engine for Likelihood Free Inference. Journal of Machine Learning Research, volume 19, paper 16, pp. 1–7, 2018.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201810025208
Citation
Permanent link to this item
https://urn.fi/URN:ISBN:978-952-60-8251-6
Collections
[diss] Perustieteiden korkeakoulu / SCI