aalto1 untyped-item.component.html
Leveraging ensemble learning with web technologies for adaptive news recommendations: A case study
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
Language
en
Pages
98
Series
Abstract
This thesis investigated whether ensemble learning can enhance the accuracy and adaptability of news recommendation systems. Total of 20 Fastformer-based base models were trained on different subsets. Base models were trained on 3 user clusters, 16 categories, and a single model was trained globally. This way models learned to give diverse predictions. Then, XGBoostClassifier meta model was trained to fuse base predictions.
Offline evaluation on MIND dataset shows that meta models outperform base models on all metrics. Also, bagging ensemble method was evaluated by weighting all base models equally. Bagging methods beat most of the base models, while losing to the meta models as well as to the best base models. Then, models’ adaptability was evaluated with different variants of the validation dataset by customizing user histories. The meta models outperform all base models on all measured metrics in these adaptability tests.
Thus, these results show that stacking meta models manage to effectively balance base models, utilize them to enhance system’s adaptability and accuracy. In addition, Fastformer models are shown to learn user behaviours with their linear global attention mechanism and are faster than the baseline News Recommendation with Multi-Head Self-Attention (NRMS) model that utilizes quadratic complexity multi-head attention mechanism. Thus, Fastformer-based models show potential for utilizing it in handling a large number of news articles for news recommendation.
Tämä diplomityö tutki, voiko ryhmäoppiminen (engl. ensemble learning) parantaa uutisten suosittelujärjestelmien tarkkuutta ja adaptiivisuutta. Yhteensä 20 Fastformer-pohjaista perusmallia koulutettiin eri osaryhmille. Perusmalleja koulutettiin kolmella käyttäjäklusterilla ja 16 kategoriaryhmällä sekä yksi malli, joka koulutettiin globaalisti. Tällä tavoin mallit oppivat tuottamaan monipuolisia ennusteita. Sitten XGBoostClassifier opetettiin yhdistämään perusmallien ennusteet yhteen.
Offline-evaluointi MIND-aineistolla (engl. MIND dataset) osoittivat, että metamallit (engl. meta model) olivat perusmalleja parempia kaikissa metriikoissa. Bagging-menetelmät, jossa kaikkia perusmalleja painotettiin yhtä paljon, olivat useimpia perusmalleja parempi, mutta hävisivät vastaaville metamalleille ja parhaimmille perusmalleille. Mallien adaptiivisuutta testattiin muunnelluilla validointijoukoilla muokkaamalla käyttäjähistoriaa. Näissä testeissä metamallit voittivat kaikki perus-mallit kaikissa mitatuissa metriikoissa.
Tulokset osoittavat, että ”stacking” metamallit tasapainottavat perusmallit tehokkaasti parantaen järjestelmän tarkkuutta ja sopeutumiskykyä. Lisäksi Fastformer-mallit oppivat käyttäjien käyttäytymistä lineaarisella globaalilla huomiomekanismillaan (engl. linear global attention mechanism) ja ovat nopeampia kuin vertailumallina käytetty uutissuosittelija-malli monipäisellä itsehuomiolla (engl. News Recommendation with Multi-Head Self-Attention, NRMS), joka käyttää neliöllisesti kompleksista (engl. quadratic complexity) monipäistä huomiomekanismia (engl. multi-head attention mechanism). Tämän ansiosta Fastformer-pohjaiset mallit soveltuvat hyvin laajamittaiseen uutissuositusten käsittelyyn.