Access Control and Machine Learning: Evasion and Defenses

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.authorJuuti, Mika
dc.contributor.departmentTietotekniikan laitosfi
dc.contributor.departmentDepartment of Computer Scienceen
dc.contributor.labSecure Systems Groupen
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.schoolSchool of Scienceen
dc.contributor.supervisorAsokan, N., Prof., Aalto University, Department of Computer Science, Finland
dc.date.accessioned2019-07-23T09:01:22Z
dc.date.available2019-07-23T09:01:22Z
dc.date.defence2019-08-19
dc.date.issued2019
dc.description.abstractMachine learning (ML) and artificial intelligence (AI) systems have experienced significant proliferation during the recent years, for example in the new market of "machine learning as a service". ML is also increasingly being deployed in security-critical applications, such as access control systems. ML can be used to make security systems easier to use, or to defend against specific attacks, such as the "relay attack".  Such ML applications are particularly sensitive to the recent development of  "adversarial machine learning", where weaknesses in machine learning systems are exploited to undermine some security-critical property. For example, "evasion attacks" undermine a ML system's prediction integrity, while "model extraction attacks" undermine the system's confidentiality. It has become increasingly important to evaluate ML applications against such undesired behavior.  The work described in this dissertation is divided into three parts. In the first part, I evaluate how security properties in so-called transparent authentication systems can be improved using machine learning, and describe how to evaluate security against strong adversaries. In the second part, I present state-of-the-art evasion and model extraction attacks against image classification systems. In the third part, I evaluate state-of-the-art hate speech classifiers against evasion attacks, and present a method of artificially creating credible fake restaurant reviews. Finally, I present general observations and conclusions about both transparent authentication, and the feasibility of using ML for purposes such as moderation.en
dc.description.abstractKoneoppimis- ja tekoälyjärjestelmät ovat kokeneet suunnatonta suosiota viime vuosina. Koneoppimispalvelujen ulkoistamisesta on tullut Googlen kaltaisten suurten teknologiajättien liiketoimintaetu. Koneoppimista on myös yhä enemmän sovellettu tietoturvallisuuskriittisiin sovelluksiin, kuten käyttöoikeuksien valtuuttamiseen. Koneoppimisella voidaan tehdä turvallisuusjärjestelmistä helppokäyttöisempiä, mutta myös turvata järjestelmiä tietyiltä haavoittuvuuksilta, kuten "linkkihyökkäykseltä" (eng. relay attack). Koneoppimisjärjestelmät ovat näissä käyttötarkoituksissa erityisen herkkiä viimeaikaiselle "vihamielisen koneoppimisen" (eng. adversarial machine learning) kehitykselle, jossa koneoppimisen heikkouksia hyödynnetään tiettyjen turvallisuuskriittisten ominaisuuksien heikentämiseen. Esimerkiksi "kiertohyökkäys" (eng. evasion) heikentää koneoppisjärjestelmän päätöksenteon eheyttä ja "louhintahyökkäys" (eng. model extraction) heikentää koneoppimisjärjestelmän luottamuksellisuutta. Tämänlaisten epätoivottujen käyttäytymisten arvioinnista on tullut yhä tärkeämpää koneoppimisjärjestelmissä.  Tämä väitöskirja on jaettu kolmeen osaan. Ensimmäisessä osassa esitän miten vaivattoman tietoturvan tietoturvaominaisuuksia voidaan edistää koneoppimisella ja esitän miten tälläisten järjestelmien tietoturvan tasoa pystytään arvioimaan. Toisessa osassa esitän alan tehokkaimpia kiertohyökkäyksiä ja louhintahyökkäyksiä kuvantunnistusalgoritmeja kohtaan. Kolmannessa osassa arvioin yksinkertaisten kiertohyökkäysten tehokkuutta vihapuheentunnistusalgoritmeja kohtaan ja esitän menetelmän, jolla voidaan keinoälyllisesti tuottaa uskottavan näköisiä valearvioita ravintoloille. Lopuksi esitän vielä yleisiä havaintojani ja päätelmiäni vaivattomasta tietoturvasta ja koneoppimisalgoritmien käytöstä muuan muassa moderointiin.fi
dc.format.extent111 + app. 115
dc.format.mimetypeapplication/pdfen
dc.identifier.isbn978-952-60-8651-4 (electronic)
dc.identifier.isbn978-952-60-8650-7 (printed)
dc.identifier.issn1799-4942 (electronic)
dc.identifier.issn1799-4934 (printed)
dc.identifier.issn1799-4934 (ISSN-L)
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/39370
dc.identifier.urnURN:ISBN:978-952-60-8651-4
dc.language.isoenen
dc.opnTatti, Nikolaj, Assoc. Prof., University of Helsinki, Finland
dc.publisherAalto Universityen
dc.publisherAalto-yliopistofi
dc.relation.haspart[Publication 1]: Mika Juuti, Christian Vaas , Ivo Sluganovic, Hans Liljestrand, N. Asokan and Ivan Martinovic. STASH: Securing transparent authentication schemes using prover-side proximity verification. In IEEE International Conference on Sensing, Communication and Networking, SECON 2017, San Diego, USA, June 2017. DOI: 10.1109/SAHCN.2017.7964922
dc.relation.haspart[Publication 2]: Otto Huhta, Prakash Shrestha, Swapnil Udar, Mika Juuti, Nitesh Saxena and N. Asokan. Pitfalls in Designing Zero-Effort Deauthentication: Opportunistic Human Observation Attacks. In The Network and Distributed System Security Symposium, NDSS 2016, San Diego, USA, February 2016. DOI: 10.14722/ndss.2016.23199
dc.relation.haspart[Publication 3]: Christian Vaas, Mika Juuti, N. Asokan and Ivan Martinovic. Get-in-Line: Ongoing Co-presence Verification for Vehicle Platoons. In IEEE European Symposium on Security and Privacy, Euro S&P 2018, London, UK, April 2018. DOI: 10.1109/EuroSP.2018.00022
dc.relation.haspart[Publication 4]: Mika Juuti, Sebastian Szyller, Samuel Marchal and N. Asokan. PRADA: Protecting Against DNN Model Stealing Attacks. In IEEE European Symposium on Security and Privacy, Euro S&P 2019 (accepted for publication), Stockholm, June 2019.
dc.relation.haspart[Publication 5]: Mika Juuti, Buse Gul Atli and N. Asokan. Making targeted black-box evasion attacks effective and efficient. In submission, 2019.
dc.relation.haspart[Publication 6]: Tommi Grondahl, Luca Pajola, Mika Juuti, Mauro Conti and N. Asokan. All You Need is “Love”: Evading Hate Speech Detection. In ACM Workshop on Artificial Intelligence and Security, AISec 2018, Toronto, October 2018. DOI: 10.1145/3270101.3270103
dc.relation.haspart[Publication 7]: Mika Juuti, Bo Sun, Tatsuya Mori and N. Asokan. Stay On-Topic: Generating Context-specific Fake Restaurant Reviews. In The European Symposium on Research in Computer Security, ESORICS 2018, Barcelona, Spain, 9. 2018. DOI: 10.1007/978-3-319-99073-6_7
dc.relation.haspart[Errata file]: Errata Mika Juuti DD-134/2019 Publication P4
dc.relation.ispartofseriesAalto University publication series DOCTORAL DISSERTATIONSen
dc.relation.ispartofseries134/2019
dc.revRieck, Konrad, Prof., TU Braunschweig, Germany
dc.revLi, Qi, Assoc. Prof., Tsinghua University, China
dc.subject.keywordaccess controlen
dc.subject.keywordmachine learningen
dc.subject.keywordevasionen
dc.subject.keyworddefenseen
dc.subject.keywordadversarial machine learningen
dc.subject.keywordkäyttöoikeuksien valtuutusfi
dc.subject.keywordkoneoppiminenfi
dc.subject.otherComputer scienceen
dc.titleAccess Control and Machine Learning: Evasion and Defensesen
dc.typeG5 Artikkeliväitöskirjafi
dc.type.dcmitypetexten
dc.type.ontasotDoctoral dissertation (article-based)en
dc.type.ontasotVäitöskirja (artikkeli)fi
local.aalto.acrisexportstatuschecked 2019-10-05_1715
local.aalto.archiveyes
local.aalto.formfolder2019_07_23_klo_11_50
local.aalto.infraScience-IT
Files
Original bundle
Now showing 1 - 2 of 2
No Thumbnail Available
Name:
isbn9789526086514.pdf
Size:
3.79 MB
Format:
Adobe Portable Document Format
No Thumbnail Available
Name:
Errata_juuti_mika_DD_134_2019_Publication_P4.pdf
Size:
88.67 KB
Format:
Adobe Portable Document Format
Description:
Errata Mika Juuti DD-134/2019 Publication P4