Inference of relevance for proactive information retrieval

Abstract

Search engines have become very important as the amount of digital data has grown dramatically. The most common search interfaces require one to describe an information need using a small number of search terms, but that is not feasible in all situations. Expressing a complex query as precise search terms is often difficult. In the future, better search engines can anticipate user's goals and provide relevant results automatically, without the need to specify search queries in detail. Machine learning methods are important building blocks in constructing more intelligent search engines. Methods can be trained to predict which documents are relevant for the searcher. The prediction is based on recorded feedback or observations of how the user interacts with the search engine and result documents. If the relevance can be estimated reliably, interesting documents can be retrieved and displayed automatically. This thesis studies machine learning methods for information retrieval and new kinds of applications enabled by them. The thesis introduces relevance inference methods for estimating query terms from eye movement patterns during reading and for combining relevance feedback given on multiple connected data domains, such as images and their captions. Furthermore, a novel retrieval application for accessing contextually relevant information in the real world surroundings through augmented reality data glasses is presented, and a search interface that provides browsing cues by making potentially relevant items more salient is introduced. Prototype versions of the proposed methods and applications have been implemented and tested in simulation and user studies. The tests show that these methods often help the searcher to locate the right items faster than traditional keyword search interfaces would. The experimental results demonstrate that, by developing custom machine learning methods, it is possible to infer intent from feedback and retrieve relevant material proactively. In the future, applications based on similar methods have the potential to make finding relevant information easier in many application areas.

Hakukoneista on tullut erittäin tärkeitä digitaalisen tiedon määrän kasvaessa räjähdysmäisesti. Tavallisin tapa informaation etsimiseen ovat hakusanoihin perustuvat hakukoneet, mutta ne eivät ole hyödyllisiä kaikissa tilanteissa. Monimutkaisen tiedontarpeen pelkistäminen hakusanoiksi on usein vaikeaa. Tulevaisuudessa hakukoneet ovat älykkäämpiä ja osaavat jopa ennakoida käyttäjän tarpeita ja hakea tarpeellisia tietoja automaattisesti ilman, että käyttäjän tarvitsee syöttää tarkkoja hakusanoja. Koneoppimismenetelmät ovat tärkeitä rakennuspalikoita kehitettäessä älykkäämpiä hakukoneita. Koneoppimisen avulla tietokoneen on mahdollista oppia tunnistamaan mikä tieto on tärkeää. Tunnistaminen perustuu käyttäjän toimien havainnointiin ja käyttäjän antaman palautteen analysointiin. Jos ennustaminen onnistuu hyvin, tietokoneen on mahdollista hakea ja esittää mielenkiintoista tietoa automaattisesti. Tässä väitöskirjassa tutkitaan tiedonhaussa auttavia koneoppimismenetelmiä ja uudenlaisia sovelluksia, joita menetelmien avulla on mahdollista toteuttaa. Väitöskirjassa esitellään koneoppimismenetelmiä tiedontarpeen päättelemiseen tekstin lukemisen aikana mitattujen silmänliikkeiden perusteella ja menetelmiä, jotka tekevät päätelmiä yhdistämällä eri tietotyypeille kuten kuville ja kuvien otsikoille annettua palautetta. Lisäksi esitellään uudentyyppinen tapa hakea ympäröivään maailmaan liittyvää tietoa datalasien läpi katsottavan lisätyn todellisuuden näkymän kautta. Toinen työssä tutkittava uusi käyttöliittymäperiaate on hakukäyttöliittymä, joka auttaa tiedon selailua korostamalla tärkeäksi pääteltyjä tietoalkioita. Esitellyistä koneoppimismenetelmistä ja tiedonhakusovelluksista on tehty prototyyppitoteutukset, joita on testattu simulaatio- ja käyttäjäkokeissa. Kokeiden perusteella uudet menetelmät ja sovellukset auttavat usein tiedonhakijaa löytämään halutun tiedon nopeammin kuin perinteiset hakusanoihin perustuvat käyttöliittymät. Väitöskirjassa esitettyjen tulosten perusteella voidaan todeta, että tiedon tärkeyden päättely ja automaattinen tiedonhaku ovat mahdollisia kehittyneiden koneoppimismenetelmien avustuksella. Tämänkaltaisiin menetelmiin perustuvat hakukoneet voivat tulevaisuudessa helpottaa tiedonhakua monilla sovellusaloilla.