Methods for Interpreting Kernel Canonical Correlation Measures

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2020-03-05
Date
2020
Major/Subject
Mcode
Degree programme
Language
en
Pages
52 + app. 72
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 21/2020
Abstract
In nature, we can find multivariate systems that contain non-monotone dependencies. Examples of these systems arise in neuroscience and economics, where several processes, that is combinations of variables, co-occur together but not necessarily linearly or monotonically. Kernel canonical correlation measures, that is the kernel canonical correlation and the Hilbert-Schmidt independence criterion, can be applied to capture the non-monotone dependencies occurring in these types of systems. However, in general, these measures convey whether a dependence exists in the system but it may not be straightforward to determine which of the processes, or variables, in the system are dependent. This thesis addresses the problem of interpreting kernel canonical correlation measures. First, we review the literature to identify the proposed strategies for interpreting the kernel canonical correlation. Second, we further extend the already presented technique by applying hierarchical clustering. Third, we propose a novel alternating projected gradient approach, gradKCCA, to compute both the kernel canonical correlation and the dependencies. Fourth, we present a novel alternating stochastic projected gradient algorithm, SCCA-HSIC, that can be combined with the Nyström approximation, to optimise the Hilbert-Schmidt independence criterion with respect to the dependencies. The first article identifies a correlation-based strategy for interpreting the kernel canonical correlation. The second article presents a clustergram visualisation, that summarises the correlations obtained by the first technique, on a heatmap. The clustergram visualisation is demonstrated on a real-world dataset obtained from deep bedrock groundwaters. In the third article, gradKCCA is shown to be fast, scalable, and accurate in identifying the dependencies in relation to state-of-the-art methods, both in simulation studies and in real-world datasets. The contribution of the fourth article, SCCA-HSIC, is shown to have a superior accuracy and scalability than the state-of-the-art methods, when evaluated on simulated and real-world datasets. The proposed methods and algorithms provide tools for better interpretation of the underlying, possibly non-monotone, dependent processes. These tools can easily be deployed by practitioners seeking to understand the functioning of a multivariate system. Finally, the presented optimisation strategies can be considered for alternative kernel-based dependence measures.

Luonnossa esiintyy ei-monotonisia riippuvuuksia sisältäviä monimuuttujasysteemeitä. Neuro- ja taloustieteissä ilmenee esimerkkejä tällaisista systeemeistä, joissa useampi prosessi eli muuttujien yhdistelmä tapahtuu samanaikaisesti, mutta ei välttämättä lineaarisesti tai monotonisesti. Tämänkaltaissa systeemeissä esiintyviä ei-monotonisia riippuvuuksia voidaan mitata ydinfunktioilla laajennetulla kanonisella korrelaatiolla ja Hilbert-Schmidt riippumattomuuskriteerillä. Nämä mitat kertovat kuitenkin vain, jos riippuvuus esiintyy systeemissä, mutta niiden arvot eivät sellaisenaan riitä kuvaamaan, mitkä prosessit eli muuttujat ovat riippuvaisia toisistaan. Tässä väitöskirjassa tarkastellaan ydinfunktiolla laajennetun kanonisen korrelaation ja Hilbert-Schmidt riippumattomuuskriteerin tulkintaa. Aluksi tutkimme, miten ydinfunktiolla laajennettua kanonista korrelaatiota on aiemmin kirjallisuudessa tulkittu. Tämän jälkeen kehitämme kirjallisuuden menetelmää hierarkisella klusteroinnilla. Sitten esitämme uuden vuorottaisiin projisoituihin gradientteihin perustuvan menetelmän eli gradKCCA:n, joka laskee sekä ydinfunktiolla laajennetun kanonisen korrelaation arvon ja muutujien väliset riippuvuudet. Lopuksi esitämme uuden vuorottaisiin stokastisiin projisoituihin gradientteihin perustuvan algoritmin nimeltä SCCA-HSIC, johon voidaan myös yhdistää Nyström approksimaatio. SCCA-HSIC optimoi Hilbert-Schmidt riippumattomuuskriteeriä suhteessa muuttujien välisiin riippuvuuksiin. Ensimmäisessä julkaisussa poimimme kirjallisuudesta korrelaatioihin perustuvan menetelmän ydinfunktiolla laajennetun kanonisen korrelaation tulkitsemiseksi. Toisessa julkaisussa esitämme klustergram-visualisoinnin, joka on yhtenäinen kuva kirjallisuuden korrelaatio-menetelmän arvoista. Klustergrammia sovellettiin syvän peruskallion pohjavesistöstä kerätyn datan analyysissä. Kolmannessa julkaisussa näytetään, että gradKCCA on nopeampi, skaalautuvampi ja tarkempi menetelmä riippuvuuksien määrittelyssä verrattuna viimeisimpiin menetelmiin. Kokeissa käytetään simuloituja ja aitoja datajoukkoja. Neljännessä julkaisussa näytetään, että SCCA-HSIC on tarkempi ja skaalautuvampi menetelmä kuin viimeisimmät menetelmät, kun arvioimme sitä simuloiduilla ja aidoilla datajoukoilla. Esitetyt menetelmät ja algoritmit parantavat mahdollisten ei-monotonisten riippuvuuksien tulkintaa. Ne ovat helppokäyttöisiä ja sopivat niille, jotka haluaisivat ymmärtää jonkin monimuuttujasysteemin toiminnan. Menetelmiä voi myös soveltaa laajemmin muihinkin ydinfunktioihin perustuviin riippuvuusmittoihin.
Description
Supervising professor
Rousu, Juho, Prof., Aalto University, Department of Computer Science, Finland
Thesis advisor
Bhadra, Sahely, Prof., Indian Institute of Technology Palakkad, India
Keywords
canonical correlation, kernel methods, scalability, sparsity, kanoninen korrelaatio, ydinfunktiomenetelmät, skaalautuvuus, harvuus
Other note
Parts
  • [Publication 1]: Viivi Uurtio, João Monteiro, Jaz Kandola, John Shawe-Taylor, Delmiro Fernandez-Reyes, Juho Rousu. A Tutorial on Canonical Correlation Methods. ACM Computing Surveys, 2018, 50(6):95:1-95:33.
  • [Publication 2]: Viivi Uurtio, Malin Bomberg, Kristian Nybo, Merja Itävaara, Juho Rousu. Canonical correlation methods for exploring microbe-environment interactions in deep subsurface. In Proceedings of the International Conference on Discovery Science, 299-307, October 2015.
    DOI: 10.1007/978-3-319-24282-8_25 View at publisher
  • [Publication 3]: Viivi Uurtio, Sahely Bhadra, Juho Rousu. Large-Scale Sparse Kernel Canonical Correlation Analysis. In Proceedings of the International Conference on Machine Learning, 6383-6391, May 2019.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201909205314
  • [Publication 4]: Viivi Uurtio, Sahely Bhadra, Juho Rousu. Sparse Non-Linear CCA through Hilbert-Schmidt Independence Criterion. In 2018 IEEE International Conference on Data Mining, 1278-1283, November 2018.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201903052152
    DOI: 10.1109/ICDM.2018.00172 View at publisher
  • [Errata file]: Errata of P. 1
Citation