Deep Learning with Uncertainty Quantification for Emitter Classification

Abstract

Emitter classification is a crucial method of target recognition in electronic warfare. The recent popularity and success of deep learning models have made them an appealing method to be applied to emitter classification. However, the lack of reliable uncertainty estimates for deep learning models risks making overconfident incorrect decisions with irreversible consequences. The goal of this thesis is to compare different uncertainty estimation methods for deep learning models, applied to emitter classification tasks. The compared methods are Monte Carlo dropout, deep ensembles, Bayesian neural networks and noise contrastive priors. The neural network structure for all models is a convolutional residual neural network and the emitter classification data is generated through simulations. The results show that uncertainty estimates of Monte Carlo dropout, deep ensembles and Bayesian neural networks mainly differ from each other near decision boundaries and all these methods provide overconfident predictions outside of the training distribution. Changing the activation function of the last layer before the classification layer in the neural network, from a rectifier to a pulsed activation function, significantly helps to improve uncertainty estimates for samples outside of the training data distribution. Using noise contrastive priors further helps to increase the uncertainty estimates near the border of the training distribution, especially when used together with the pulsed activation function. The best overall uncertainty estimates were achieved using deep ensembles with the pulsed activation function and added noise contrastive priors. These methods are not limited to emitter classification and similar results can be expected in other applications.

Radiolähetinten luokittelu on tärkeä kohteiden tunnistusmenetelmä elektronisessa sodankäynnissä. Syväoppimismallien viimeaikainen suosio ja menestys ovet tehneet niistä houkuttelevia menetelmiä sovellettavaksi radiolähetinten luokittelussa. Syväoppimismalleista kuitenkin puuttuu luotettava epävarmuuden arviointi, mikä aiheuttaa riskin liian itsevarmojen ennusteiden tekoon tilanteissa, joissa seuraukset ovat peruuttamattomia. Tämän diplomityön tavoite on vertailla erilaisia epävarmuusmenetelmiä syväoppimismalleille sovellettuna radiolähetinten luokitteluun. Vertailtavat menetelmät ovat Monte Carlo dropout, neuroverkkoryhmät, Bayes-neuroverkot ja noise contrastive -priorit. Kaikki käytetyt mallit hyödyntävät konvoluutio--residuaali-neuroverkkorakennetta ja radiolähetinluokittelussa käytetty data on tuotettu simulaatioilla. Tuloksista nähdään, että Monte Carlo dropoutin, neuroverkkoryhmien ja Bayes-neuroverkkojen epävarmuusarviot eroavat toisistaan lähinnä mallien luokittelurajoilla ja kaikki nämä menetelmät tekevät liian itsevarmoja ennusteita koulutusdatan jakauman ulkopuolella. Aktivaatiofunktion vaihtaminen neuroverkon viimeisellä tasolla ennen luokittelutasoa rectifier-aktivaatiosta pulssimuotoiseen aktivaatioon auttaa merkittävästi parantamaan epävarmuusarvioita datapisteille, jotka ovat koulutusdatan jakauman ulkopuolella. Noise contrastive -priorien käyttö auttaa parantamaan epävarmuusarvioita koulutusdatan jakauman reunan läheisyydessä erityisesti, kun pulssimuotoinen aktivaatiofunktio on käytössä samanaikaisesti. Parhaat epävarmuusarviot saavutettiin käyttäen neuroverkkoryhmää pulssimuotoisella aktivaatiofunktiolla yhdistettynä noise contrastive -priorien käyttöön. Käytetyt menetelmät eivät ole rajoitettuja ainoastaan radiolähetinten luokitteluun vaan samankaltaisia tuloksia voidaan odottaa muistakin sovelluskohteista.