Guarantees in deep neural networks predictions: probabilistic bounds and robustness methods

Abstract

Deep neural networks (DNNs) are increasingly deployed in several applications and often achieve impressive performance. However, their behavior can become unpredictable when deployed in real-world, safety-critical environments. Real-world reliability requirements highlight the need for methods aiming to certify DNNs’ outputs.

This thesis is a literature review. The thesis introduces classical, sampling-based probabilistic methods. These approaches offer NN model-agnostic techniques to quantify the probability of prediction failure. While broadly applicable, their utility is often limited by the trade-off between the tightness of the guarantee and the required sample size. Next, the thesis reviews guarantee robustness certification methods, which provide more deterministic prediction guarantees. The thesis also investigates both soft- and hard-constrained architectures, followed by a high-level comparative overview.

The thesis concludes no single method is solely adequate to fulfil prediction guarantee robustness requirements for safety-critical applications. In addition, the selection of an appropriate methods requires a careful balance of computational cost, architectural assumptions, and the desired level of guarantee tightness.

Syväoppiminen (engl. deep learning) on koneoppimisen osa-alue, jossa hyödynnetään useista kerroksista koostuvia neuroverkkoja hierarkkiseen oppimiseen ja ennusteiden tekemiseen. Neuroverkkoja, joissa on useampi kerros, kutsutaan syviksi neuroverkoiksi. Syviä neuroverkkoja (engl. deep neural networks, DNNs) hyödynnetään nykyään laaja-alaisesti eri alojen tehtävissä ja sovelluksissa. Syvät neuroverkot ovat erittäin suorituskykyisiä. Ne hoitavatkin muun muassa kuvan, tekstin ja äänen tunnistamistehtävät tehokkaasti. Syvien neuro-verkkojen ennusteiden luotettavuus voi kuitenkin kärsiä reaalimaailman käytännön tehtävissä ja sovelluksissa. Turvallisuuskriittisissä sovelluksissa ennusteiden luotettavuudella on suuri merkitys. Reaalimaailman käytännön sovelluksissa on tärkeää pystyä varmentamaan ennusteiden luotettavuus ja näin ollen antamaan takeet syvien neuroverkkojen tuloksista.

Tämä kandidaatintyö on kirjallisuustutkimus menetelmistä, jotka tarjoavat joko takeet neuroverkkojen ennusteiden luotettavuudesta tai parantavat niiden kestävyyttä häiriöisessä ympäristössä. Työssä tarkastellaan klassisia todennäköisyyspohjaisia keinoja luotettavuuden tarkasteluun. Näitä keinoja ovat Hoeffdingin, Chebyshevin ja Chernoffin epäyhtälöihin perustuvat rajat (engl. bounds), joilla kvantifioidaan ennustevirheen todennäköisyyttä. Tällaiset keinot ovat neuroverkkoagnostisia eli eivät ole riippuvaisia neuroverkon mallista tai syvyydestä. Huolimatta siitä, että todennäköisyyspohjaiset keinot ovat laajasti sovellettavissa, niiden hyödyllisyyttä rajoittaa usein takeiden tarkkuus ja vaadittu suuri otoskoko. Työssä käsitellään myös ennustetakei-den kestävyyden varmentamismenetelmiä häiriöisessä ympäristössä. Tällaiset menetelmät tarjoavat deterministisiä ennustetakeita. Työssä esitellään CROWN-menetelmä, jolla on kyky tuottaa ennusteiden luotettavuus-takeet tiettyjä aktivaatiofunktioita hyödyntäville neuroverkoille. PROVEN on puolestaan varmennusmenetelmä, joka osoittaa, kuinka deterministiset ennusteiden luotettavuusrajat voidaan muuntaa tiukemmiksi todennäköisyystakeiksi häiriöisessä ympäristössä. Työssä tarkastellaan myös Lipschitzin ehtoon perustuvia rajoja, joilla hallitaan neuroverkon ennusteiden herkkyyttä syötteen häiriöille. Lisäksi työssä tutkitaan menetelmiä, joilla pyritään rajoittamaan joko neuroverkkojen syötettä (engl. input), tuotosta (engl. output) tai molempia. Tällaiset menetelmät yleisesti jaetaan pehmeisiin ja koviin rajoitteisiin. Pehmeään rajoitteeseen perustuvaa menetelmää tässä työssä edustaa PINN-neuroverkot (engl. Physics-Informed Neural Networks, PINNs), jotka pakottavat osittaisdifferentiaaliyhtälöitä oppimisprosessin tappiofunktioon (engl. loss function). Kovaa rajoitetta hyödyntävää arkkitehtuuria edustaa HardNet, joka pakottaa tiukat ehdot neuroverkon syötteeseen. HardNet kuitenkin säilyttää neuroverkon toimintatehon.

Kandidaatintyössä esitellään ylätason vertaileva analyysi menetelmien oletuksista, soveltuvista neuroverkkoarkkitehtuureista, skaalautuvuudesta ja takeiden tarkkuudesta. Vertailevan analyysin lopputuloksena todetaan, ettei yksikään menetelmä pelkästään riitä täyttämään turvallisuuskriittisten käyttösovellusten ennusteta-keiden kestävyyttä. Sopivien menetelmien valinta vaatii huolellista tasapainottelua laskennallisen tehon, neuroverkko-oletusten ja halutun takeen tarkkuuden välillä. Jatkotutkimussuunnaksi kandidaatintyö ehdottaa eri menetelmien yhdistämistä, esimerkiksi liittämällä deterministiset takeet todennäköisyyspohjaisiin keinoihin.