Access Control and Machine Learning: Evasion and Defenses

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Doctoral thesis (article-based) | Defence date: 2019-08-19

Date

2019

Major/Subject

Mcode

Degree programme

Language

en

Pages

111 + app. 115

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 134/2019

Abstract

Machine learning (ML) and artificial intelligence (AI) systems have experienced significant proliferation during the recent years, for example in the new market of "machine learning as a service". ML is also increasingly being deployed in security-critical applications, such as access control systems. ML can be used to make security systems easier to use, or to defend against specific attacks, such as the "relay attack".  Such ML applications are particularly sensitive to the recent development of  "adversarial machine learning", where weaknesses in machine learning systems are exploited to undermine some security-critical property. For example, "evasion attacks" undermine a ML system's prediction integrity, while "model extraction attacks" undermine the system's confidentiality. It has become increasingly important to evaluate ML applications against such undesired behavior.  The work described in this dissertation is divided into three parts. In the first part, I evaluate how security properties in so-called transparent authentication systems can be improved using machine learning, and describe how to evaluate security against strong adversaries. In the second part, I present state-of-the-art evasion and model extraction attacks against image classification systems. In the third part, I evaluate state-of-the-art hate speech classifiers against evasion attacks, and present a method of artificially creating credible fake restaurant reviews. Finally, I present general observations and conclusions about both transparent authentication, and the feasibility of using ML for purposes such as moderation.

Koneoppimis- ja tekoälyjärjestelmät ovat kokeneet suunnatonta suosiota viime vuosina. Koneoppimispalvelujen ulkoistamisesta on tullut Googlen kaltaisten suurten teknologiajättien liiketoimintaetu. Koneoppimista on myös yhä enemmän sovellettu tietoturvallisuuskriittisiin sovelluksiin, kuten käyttöoikeuksien valtuuttamiseen. Koneoppimisella voidaan tehdä turvallisuusjärjestelmistä helppokäyttöisempiä, mutta myös turvata järjestelmiä tietyiltä haavoittuvuuksilta, kuten "linkkihyökkäykseltä" (eng. relay attack). Koneoppimisjärjestelmät ovat näissä käyttötarkoituksissa erityisen herkkiä viimeaikaiselle "vihamielisen koneoppimisen" (eng. adversarial machine learning) kehitykselle, jossa koneoppimisen heikkouksia hyödynnetään tiettyjen turvallisuuskriittisten ominaisuuksien heikentämiseen. Esimerkiksi "kiertohyökkäys" (eng. evasion) heikentää koneoppisjärjestelmän päätöksenteon eheyttä ja "louhintahyökkäys" (eng. model extraction) heikentää koneoppimisjärjestelmän luottamuksellisuutta. Tämänlaisten epätoivottujen käyttäytymisten arvioinnista on tullut yhä tärkeämpää koneoppimisjärjestelmissä.  Tämä väitöskirja on jaettu kolmeen osaan. Ensimmäisessä osassa esitän miten vaivattoman tietoturvan tietoturvaominaisuuksia voidaan edistää koneoppimisella ja esitän miten tälläisten järjestelmien tietoturvan tasoa pystytään arvioimaan. Toisessa osassa esitän alan tehokkaimpia kiertohyökkäyksiä ja louhintahyökkäyksiä kuvantunnistusalgoritmeja kohtaan. Kolmannessa osassa arvioin yksinkertaisten kiertohyökkäysten tehokkuutta vihapuheentunnistusalgoritmeja kohtaan ja esitän menetelmän, jolla voidaan keinoälyllisesti tuottaa uskottavan näköisiä valearvioita ravintoloille. Lopuksi esitän vielä yleisiä havaintojani ja päätelmiäni vaivattomasta tietoturvasta ja koneoppimisalgoritmien käytöstä muuan muassa moderointiin.

Description

Supervising professor

Asokan, N., Prof., Aalto University, Department of Computer Science, Finland

Keywords

access control, machine learning, evasion, defense, adversarial machine learning, käyttöoikeuksien valtuutus, koneoppiminen

Other note

Parts

  • [Publication 1]: Mika Juuti, Christian Vaas , Ivo Sluganovic, Hans Liljestrand, N. Asokan and Ivan Martinovic. STASH: Securing transparent authentication schemes using prover-side proximity verification. In IEEE International Conference on Sensing, Communication and Networking, SECON 2017, San Diego, USA, June 2017.
    DOI: 10.1109/SAHCN.2017.7964922 View at publisher
  • [Publication 2]: Otto Huhta, Prakash Shrestha, Swapnil Udar, Mika Juuti, Nitesh Saxena and N. Asokan. Pitfalls in Designing Zero-Effort Deauthentication: Opportunistic Human Observation Attacks. In The Network and Distributed System Security Symposium, NDSS 2016, San Diego, USA, February 2016.
    DOI: 10.14722/ndss.2016.23199 View at publisher
  • [Publication 3]: Christian Vaas, Mika Juuti, N. Asokan and Ivan Martinovic. Get-in-Line: Ongoing Co-presence Verification for Vehicle Platoons. In IEEE European Symposium on Security and Privacy, Euro S&P 2018, London, UK, April 2018.
    DOI: 10.1109/EuroSP.2018.00022 View at publisher
  • [Publication 4]: Mika Juuti, Sebastian Szyller, Samuel Marchal and N. Asokan. PRADA: Protecting Against DNN Model Stealing Attacks. In IEEE European Symposium on Security and Privacy, Euro S&P 2019 (accepted for publication), Stockholm, June 2019.
  • [Publication 5]: Mika Juuti, Buse Gul Atli and N. Asokan. Making targeted black-box evasion attacks effective and efficient. In submission, 2019.
  • [Publication 6]: Tommi Grondahl, Luca Pajola, Mika Juuti, Mauro Conti and N. Asokan. All You Need is “Love”: Evading Hate Speech Detection. In ACM Workshop on Artificial Intelligence and Security, AISec 2018, Toronto, October 2018.
    DOI: 10.1145/3270101.3270103 View at publisher
  • [Publication 7]: Mika Juuti, Bo Sun, Tatsuya Mori and N. Asokan. Stay On-Topic: Generating Context-specific Fake Restaurant Reviews. In The European Symposium on Research in Computer Security, ESORICS 2018, Barcelona, Spain, 9. 2018.
    DOI: 10.1007/978-3-319-99073-6_7 View at publisher
  • [Errata file]: Errata Mika Juuti DD-134/2019 Publication P4

Citation