Collaborative Filtering Models Based on Representation Learning

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-05-08

Department

Major/Subject

Tietotekniikka

Mcode

SCI3027

Degree programme

Teknistieteellinen kandidaattiohjelma

Language

en

Pages

55

Series

Abstract

Many modern online services offer a wide range of content, ranging from online shop products to social media posts. It might be impractical for a user to search, or even consciously recognize items they are interested in, with such a large amount of options available. It would be best for the service provider to personalize content for specific users through recommendations, which can be, for example, "you might also be interested in"–suggestions. The most common approach in recommender systems is collaborative filtering (CF), which are machine learning algorithms that generate recommendations using past behaviour and opinions of users. The goal of CF is to generate accurate predictions of missing ratings, which are then used to serve the most appealing items to users. The thesis explores and documents the evolution of representation learning models in collaborative filtering models through literature review. The scope was limited to user-item interaction systems and pure interaction metrics. The thesis introduces and overviews the most important phases in CF evolution, dividing them into traditional matrix factorization methods, approaches based on deep neural networks, and graph representation learning methods. Models are compared to map their differences, similarities, benefits and drawbacks. Attention is also focused on finding possible challenges and problems in currently used recommender systems as well as their potential solutions or future research. The first representation learning CF models emerged in the mid-2000s using matrix factorization methods. They represent users and objects with iteratively derived latent feature vectors, making the matrix representation more manageable. They are able to model the relationships between users and objects efficiently, keeping them in widespread use to this day. In the mid-2010s, limitations of matrix factorization methods were addressed by using neural networks, allowing the detection of complex and non-linear relationships, considerably improving prediction scores. Finally, since the early 2020s, graph learning models have been developed that use graph structure to propagate messages between nodes, sharing information across similar neighbours. The complexity and sophistication of the model alone does not guarantee the best performance. The suitability of a particular model for a given recommender system must be carefully considered. Factors such as input data quality, result explainability, computational efficiency and retraining capability should be taken into account when selecting a CF model. Even a relatively simple model may achieve optimal results.

Nykyään monet verkkopalvelut tarjoavat hallitsemattoman suuria määriä sisältöä, kuten tuotteita verkkokaupassa tai postauksia sosiaalisessa mediassa. Käyttäjän voi olla vaikea löytää tai jopa tiedostaa häntä kiinnostavat kohteet. Palvelun kannalta olisi tällöin parasta kohdentaa sisältöä tietylle käyttäjälle. Tätä pyritään saavuttaa suosituksilla, jotka voivat esimerkiksi olla “saatat kiinnostua näistä” -ehdotuksia. Suositussysteemien toiminta useimmiten perustuu yhteissuodatusmalleihin (collaborative filtering). Yhteissuodatusmallit ovat koneoppimiseen perustuvia algoritmeja, jotka muodostavat suosituksia käyttäjälle perustuen hänen ja muiden käyttäjien aiempaan toimintaan ja mielipiteisiin. Yhteissuodatusmallien tavoitteena on näiden perusteella generoida osuvat ja tarkat ennusteet käyttäjän puuttuvista mielipiteistä, joista suositussysteemi poimii kohteet parhailla arvoilla antaakseen miellyttävät suositukset. Kandidaatintyö tarkastelee ja dokumentoi representaatio-oppimismallien historiallista kehitystä yhteissuodatusmallien kannalta kirjallisuustutkimuksen keinoin. Työ on rajattu käyttäjän ja kohteen vuorovaikutukseen ja puhtaisiin vuorovaikutusmittareihin, ja sen tavoitteena on tutkia ja selittää yhteissuodatusmallien kehitystä, eroja, puutteita ja vahvuuksia, sekä sisäistä algoritmisen rakenteen periaatetta. Työssä mallit jaetaan kolmeen luokkaan: perinteisiin matriisifaktorointimenetelmiin, neuroverkkoon perustuviin sekä graafiesitysoppimiseen perustuviin lähestymistapoihin. Ensimmäisiä representaatio-oppimista käyttäviä yhteissuodatusmalleja olivat matriisifaktorointimenetelmät 2000-luvulla. Niissä käyttäjiä ja kohteita edustetaan iteratiivisesti saaduilla vektoreilla, minkä ansiosta matriisirepresentaatio on hallittavampi. Ne onnistuivat mallintamaan käyttäjien ja kohteiden välisiä suhteita tehokkaasti, minkä ansiosta ne ovat pysyneet laajasti käytössä edelleen. 2010-luvun puolessavälissä matriisifaktorointimenetelmien rajoituksiin puututtiin käyttämällä neuroverkkoja, jotka mahdollistivat kompleksisten ja ei-lineaaristen suhteiden havaitsemisen. 2020-luvun alusta lähtien on kehitetty graafiesitysoppimista hyödyntäviä malleja, jotka käyttävät graafirakennetta välittääkseen viestejä solmujen välillä, mikä jakaa tietoa samankaltaisten naapureiden kesken. Mallin monimutkaisuus ja kehittyneisyys eivät yksinään takaa parasta suorituskykyä. Tietyn mallin soveltuvuutta suositussyteemiin on harkittava huolellisesti. Yhteissuodatusmallia valittaessa tulee ottaa huomioon tekijät kuten syöttötietojen laatu, tulosten selitettävyys ja laskennallinen tehokkuus. Tarpeeseen nähden paras tulos voidaan saavuttaa jopa hyvin yksinkertaisella mallilla.

Description

Supervisor

Savioja, Lauri

Thesis advisor

Li, Anchen

Keywords

collaborative filtering, recommendation system, representation learning, machine learning

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202405283893

Collections

[kand] Perustieteiden korkeakoulu / SCI