Analyzing Performance of Latent Tensor Methods on Large High-Rank Data Sets
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2020-08-17
Department
Major/Subject
Bioinformatics and Digital Health
Mcode
SCI3092
Degree programme
Master’s Programme in Life Science Technologies
Language
en
Pages
73 + 3
Series
Abstract
Linear regression techniques are very popular in the natural sciences thanks to their scalability, well understood mathematical properties, and interpretable parameters. However including multivariate interactions in the form of feature transformation leads to an explosion in the number of model parameters. In general the problem of nonlinear regression with higher order interactions on high dimensional complex data is quite challenging with few good general purpose solutions. Impressive results have been achieved using deep neural networks and kernel methods, but both have significant shortcomings and unsolved issues in certain scenarios. In this thesis I analyze and compare the efficacy of different latent tensor models in this task. I focus on the recently published method of latent tensor reconstruction which has not yet been extensively studied on large ($10^7$ examples) real world data sets. I present a new software implementation of this model and experiment with different training configurations to achieve optimal performance. I used both synthetic and real world data to study the characteristics of the model and the limitations of the training procedure. I used the publicly available NCI-ALMANAC dataset to compare the performance of latent tensor reconstruction to higher order factorization machines, which has previously been used to achieve state of the art performance in this task, as well as deep neural networks. Latent tensor reconstruction was able to exceed the predictive accuracy of higher order factorization machines, but deep neural networks achieved the highest performance overall. The results are promising in terms of latent tensor reconstruction achieving accuracy on par with deep neural networks with further development.Lineaarinen regressio on luonnontieteissä yleisesti käytetty menetelmä sen hyvin kartoitettujen matemaattisten ominaisuuksien ja helposti tulkittavien parametrien ansiosta. Muuttujien välisten interaktioiden mallintaminen piirre\-transformaatioiden avulla johtaa parametrien määrän räjähdysmäiseen kasvuun. Epälineaarinen regressio korkea-asteisilla yhteisvaikutuksilla on yleisesti ottaen vaikea haaste, johon ei ole hyviä yleisiä ratkaisuja. Syviä neuroverkkoja ja kernel-menetelmiä käyttämällä on saavutettu vaikuttavia tuloksia, mutta molempien lähestymistapojen käytössä on puutteita tietyissä skenaarioissa. Tässä diplomityössä analysoin ja vertailen latentteihin tensoreihin pohjautuvien mallien toimivuutta edellä mainituissa sovelluksissa. Keskityn vastikään julkaistuun latent tensor reconstruction -menetelmään, jonka käyttöä suurilla dataseteillä ($10^7$ datapistettä) ei ole toistaiseksi tutkittu yksityiskohtaisesti. Esittelen uuden ohjelmistototeutuksen tästä mallista ja suoritan kokeita eri konfiguraatioilla optimaalisen suorituskyvyn aikaansaamiseksi. Olen käyttänyt sekä synteettistä että oikeista lähteistä peräisin olevaa dataa mallin ominaisuuksien ja koulutusmenetelmän rajojen kartoittamiseen. Käytin julkisesti saatavilla olevaa NCI-ALMANAC tietoaineistoa latent tensor reconstruction -menetelmän ja aiemmin parhaan tuloksen saavuttaneiden korkea-asteisten faktorointimenetelmien vertailuun. Myös syvä neuroverkkomalli on sisällytetty vertailuun. Latent tensor reconstruction suoriutui paremmin kuin korkea-asteiset faktorointimenetelmät, mutta ei yltänyt syvien neuroverkkojen tasolle ennustustarkkuudessa. Tulokset ovat lupaavia sen kannalta, että latent tensor reconstruction -menetelmällä voitaisiin saavuttaa tulevaisuudessa syviä neuroverkkoja vastaava tarkkuus.Description
Supervisor
Rousu, JuhoThesis advisor
Szedmak, SandorKeywords
machine learning, latent tensor methods, drug development, computer science