Scaled sparse linear regression with the elastic net

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu | Master's thesis
Date
2017-05-08
Department
Major/Subject
Signal, Speech and Language Processing
Mcode
ELEC3031
Degree programme
CCIS - Master’s Programme in Computer, Communication and Information Sciences (TS2013)
Language
en
Pages
8+52
Series
Abstract
Scaled linear regression is a form of penalized linear regression in which the penalty level is automatically scaled in proportion to the estimated noise level in the data. This makes the penalty parameter independent of the noise scale enabling an analytical approach for choosing an optimal penalty level for a given problem. In this thesis, we first review conventional penalized regression methods, such as ridge regression, lasso, and the elastic net. Then, we review some scaled sparse linear regression methods, the most relevant of which is the scaled lasso, also known as square-root lasso. As an original contribution, we propose two elastic net formulations, which extend the scaled lasso to the elastic net framework. We demonstrate by numerical examples that the proposed estimators improve upon the scaled lasso in the presence of high correlations in the feature space. As a real-world application example, we apply the proposed estimators in a simulated single snapshot direction-of-arrival (DOA) estimation problem, where we show that the proposed estimators perform better, especially when the angles of incidence of the DOAs are oblique with respect to the uniform linear array (ULA) axis.

Skaalattu lineaarinen regressio käsittää regularisointimenetelmiä, joissa regularisointitermin painoa skaalataan datasta estimoidun kohinatason perusteella. Tämä poistaa optimaalisen regularisointitermin riippuvuuden tuntemattomasta kohinatasosta, mikä mahdollistaa analyyttisesti johdettujen regularisointitermien käytön. Diplomityössä tarkasteltiin ridge, lasso ja elastinen verkko -regressiomenetelmien ominaisuuksia sekä skaalattuja regressiomenetelmiä, kuten skaalattua lasso- eli neliöjuurilassomenetelmää. Diplomityössä kehitettiin täysin uudet estimaattorit: skaalattu elastinen verkko ja neliöjuuri elastinen verkko, jotka toimivat paremmin kuin skaalattu lasso multikollineaarisissa tilanteissa, mikä osoitettiin numeerisilla simulaatioilla. Esimerkkinä käytännön sovelluksesta, uusia estimaattoreita sovellettiin DOA-estimoinnissa, jossa pyritään antenniryhmän avulla määrittämään signaalin tulosuunta. Saatujen tulosten perusteella voitiin päätellä, että diplomityössä ehdotetut estimaattorit pystyivät määrittämään tulosuunnan paremmin kuin skaalattu lasso etenkin, kun signaalin tulokulma oli suuri antenniryhmän akselin suhteen.
Description
Supervisor
Ollila, Esa
Thesis advisor
Ollila, Esa
Keywords
penalized linear regression, regularization, scaled lasso, square-root lasso, elastic net, sparse methods
Other note
Citation