Contributions to Theory and Estimation of High-Dimensional Covariance Matrices

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering | Doctoral thesis (article-based) | Defence date: 2022-05-27
Date
2022
Major/Subject
Mcode
Degree programme
Language
en
Pages
86 + app. 74
Series
Aalto University publication series DOCTORAL THESES, 67/2022
Abstract
High-dimensional and low sample size problems have become increasingly common in modern data science. Generally speaking, as the dimension grows, so does the number of parameters that need to be estimated. In multivariate statistics, the covariance matrix describes the second-order associations between the variables, and it is a fundamental building block for many algorithms and statistical data analysis methods. The estimation of a high-dimensional covariance matrix is, however, a very challenging problem, not least because the number of unknown parameters increases quadratically with the dimension. A particularly difficult regime for parameter estimation problems is the case, when the dimension of the data exceeds the number of observations. In this regime, classical methods no longer work, and it becomes necessary to impose additional structure on the data or the model parameters using prior knowledge or simplifying assumptions. This thesis develops theory and methods for covariance matrix estimation in the high-dimensional low sample size regime. Different scenarios are considered, such as a single population setting and a multiple populations setting. The primary modeling tools used in this thesis are real and complex elliptically symmetric (ES) distribution theory and regularization. In this thesis, high-dimensional covariance matrix estimators are developed based on finding an optimal linear combination of the sample covariance matrix (SCM) with one or multiple target matrices. To this end, several theoretical properties of the SCM are derived under real and complex ES distributions, such as the explicit expressions for the variance-covariance matrix of the SCM and its mean squared error (MSE). In the multiple populations setting, we study different methods of pooling the class SCMs in order to reduce the overall estimation error. A coupled regularized SCM estimator and a linear pooling method are developed. The thesis also considers regularized high-dimensional robust estimation of the shape matrix (normalized covariance matrix). To this end, the spatial sign covariance matrix (SSCM) is used, which is the SCM computed from centered samples normalized to unit norm. Several properties of the SSCM under ES distributions are also derived. For example, the expectation of a complex weighted SCM is derived, which includes as a special case the expectation of the SSCM. Furthermore, an asymptotic unbiasedness result and an approximate bias correction scheme for the SSCM are developed. All of the proposed methods are shown, both via simulations and real data examples, to be computationally effective and potentially useful in many practical applications involving high-dimensional covariance matrices. Specifically, we demonstrate their usefulness in classification and portfolio optimization problems.

Moderneissa datatieteen ongelmissa datan muuttujien lukumäärä eli datan ulotteisuus on usein suuri verrattuna havaintojen lukumäärään. Yhä yleisemmin esiintyvissä korkeaulotteisissa ongelmissa estimoitavien parametrien määrä voi kasvaa hyvin suureksi. Monimuuttuja-analyysissä kovarianssimatriisi mittaa muuttujien välisiä assosiaatioita ja on yksi tärkeimmistä komponenteista monissa algoritmeissa ja data-analyysimenetelmissä. Korkeaulotteisissa ongelmissa kovarianssimatriisin tarkka estimointi on kuitenkin vaikeaa, koska tuntemattomien parametrien lukumäärä kasvaa neliöllisesti suhteessa muuttujien lukumäärään. Erityisen ongelmallisia ovat tilanteet, joissa muuttujien lukumäärä on suurempi kuin havaintojen lukumäärä. Tällöin useat perinteiset data-analyysimenetelmät eivät enää toimi ja on käytettävä regularisointimenetelmiä, jotka rajoittavat mahdollisten ratkaisuarvojen joukkoa ennakko-oletusten tai etukäteistiedon perusteella. Tässä väitöskirjassa kehitetään kovarianssimatriisien estimointimenetelmiä ja estimointiteoriaa korkeaulotteisiin ja pienen otoskoon ongelmiin käyttäen reaali- ja kompleksiarvoisten elliptisesti symmetristen todennäköisyysjakaumien teoriaa sekä regularisaatiota. Väitöskirjassa käsitellään kovarianssimatriisin estimoimista sekä yhden että usean populaation tapauksessa. Väitöskirjassa kovarianssimatriisien estimoimiseen kehitetyt regularisointimenetelmät perustuvat otoskovarianssimatriisin sekä yhden tai useamman kohdematriisin optimaalisen lineaarikombinaation estimoimiseen. Väitöskirjassa myös johdetaan otoskovarianssimatriisille uusia teoreettisia tuloksia, kuten esimerkiksi otoskovarianssin varianssi-kovarianssimatriisin ja keskineliövirheen kaavat otoksen noudattaessa reaali- tai kompleksiarvoista elliptisesti symmetristä jakaumaa. Usean populaation data-analyysiongelmien viitekehyksessä väitöskirjassa tutkitaan optimaalisia tapoja yhdistellä eri populaatioiden otoskovarianssimatriiseja kokonaisvirheen minimoimiseksi. Väitöskirjassa tutkitaan myös korkeaulotteisen muotomatriisin (normalisoidun kovarianssimatriisin) tilastollisesti vankkaa regularisoitua estimointia. Tähän tarkoitukseen käytetään tilastollisesti vankkaa spatiaalista merkkimatriisia, joka on keskistetyn datan yksikkönormalisoiduista havainnoista laskettu otoskovarianssimatriisi. Spatiaaliselle merkkimatriisille johdetaan väitöskirjassa uusia teoreettisia tuloksia otoksen noudattaessa reaali- tai kompleksiarvoista elliptisesti symmetristä jakaumaa. Tutkimuksessa kehitetyt menetelmät osoitetaan sekä simuloidulla että aidolla mittausdatalla laskennallisesti tehokkaiksi ja hyödyllisiksi monissa käytännön sovelluksissa. Kehitettyjä menetelmiä sovelletaan erityisesti luokitteluongelmissa ja osakesalkun optimoinnissa.
Description
Supervising professor
Ollila, Esa, Prof., Aalto University, Department of Signal Processing and AcousticsFinland
Keywords
covariance matrices, elliptical distributions, high-dimensional data, regularization, kovarianssimatriisit, elliptiset jakaumat, korkeaulotteinen data, regularisointi
Other note
Parts
  • [Publication 1]: Elias Raninen and Esa Ollila. Optimal Pooling of Covariance Matrix Estimates Across Multiple Classes. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, AB, Canada, pp. 4224–4228, 15-20 April 2018.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201812106253
    DOI: 10.1109/ICASSP.2018.8461327 View at publisher
  • [Publication 2]: Esa Ollila and Elias Raninen. Optimal Shrinkage Covariance Matrix Estimation Under Random Sampling From Elliptical Distributions. IEEE Transactions on Signal Processing, 67, 10, pp. 2707–2719, May 2019.
    DOI: 10.1109/TSP.2019.2908144 View at publisher
  • [Publication 3]: Elias Raninen and Esa Ollila. Coupled Regularized Sample Covariance Matrix Estimator for Multiple Classes. IEEE Transactions on Signal Processing, 69, pp. 5681–5692, 2021.
    DOI: 10.1109/TSP.2021.3118546 View at publisher
  • [Publication 4]: Elias Raninen, Esa Ollila, and David E. Tyler. On the Variability of the Sample Covariance Matrix Under Complex Elliptical Distributions. IEEE Signal Processing Letters, 28, pp. 2092–2096, 2021.
    DOI: 10.1109/LSP.2021.3117443 View at publisher
  • [Publication 5]: Elias Raninen and Esa Ollila. Bias Adjusted Sign Covariance Matrix. IEEE Signal Processing Letters, 29, pp. 339–343, 2022.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-202203032090
    DOI: 10.1109/LSP.2021.3134940 View at publisher
  • [Publication 6]: Elias Raninen, David E. Tyler, and Esa Ollila. Linear Pooling of Sample Covariance Matrices. IEEE Transactions on Signal Processing, 70, pp. 659–672, 2022.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-202202231998
    DOI: 10.1109/TSP.2021.3139207 View at publisher
Citation