3DPure: A 3D modeling approach to adversarial defense

Thumbnail Image

Files

master_Päivänsalo_Axel_2025.pdf (7.13 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-05-17

Department

Major/Subject

Machine Learning, Data Science and Artificial Intelligence

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences

Language

en

Pages

43

Series

Abstract

Deep neural networks have achieved remarkable success in image classification tasks, powering a wide range of modern applications from facial recognition and content moderation to medical diagnostics and autonomous driving. However, despite their performance, these models are notoriously vulnerable to adversarial examples. This vulnerability poses serious risks, particularly in safety-critical systems such as autonomous navigation, surveillance, and healthcare, where incorrect decisions based on manipulated visual input can result in financial loss, security breaches, or even harm to human life. As deep learning continues to expand into real-world infrastructure, enhancing the robustness of vision systems against adversarial threats has become a pressing societal and engineering challenge. This thesis introduces 3DPure, a novel defense mechanism rooted in 3D reconstruction. Rather than relying solely on 2D input, which is easily manipulated by pixel-wise perturbations, 3DPure reconstructs a three-dimensional representation of the input scene and then re-renders it into a 2D image. This transformation enforces a level of physical and geometric consistency, effectively removing perturbations that do not align with plausible 3D structure. By grounding the defense in the physical space, 3DPure aims to emulate a key aspect of human visual perception---our innate ability to infer 3D structure and disregard implausible signals. Our results show that 3DPure significantly improves robustness against patch-based attacks, outperforming traditional defenses in scenarios where localized adversarial noise is introduced. It also demonstrates competitive performance under strong pixel-wise attacks such as PGD, even when the attack mimics the preprocessing pipeline of the defense system. However, these gains come with a trade-off: 3DPure reduces classification accuracy on clean inputs due to texture loss introduced during the reconstruction and rendering process. This suggests that 3DPure is particularly well-suited for applications where robustness is prioritized over absolute accuracy, such as security, industrial automation, and forensic analysis.

Djupa neurala nätverk har resulterat i betydande och uppmärksammade framsteg inom bildklassificering och utgör numera kärnan i ett stort antal nutida tekniska användningsområden, från ansiktsigenkänning och innehållsmoderering till medicinsk diagnostik och autonom körning. Trots sin höga prestanda är dessa modeller dock ökända för att vara sårbara mot adversiella exempel. Denna sårbarhet utgör betydande och potentiellt katastrofala säkerhetsrisker, särskilt i säkerhetskritiska system som autonom navigering, övervakning och sjukvård, där beslut grundade på vilseledande eller felaktigt tolkad information kan leda till ekonomiska förluster, säkerhetsintrång eller till och med fara för människoliv. I takt med att djupinlärning integreras allt mer i verklig infrastruktur har det blivit ett alltmer brådskande problemområde inom både samhällelig debatt och teknisk utveckling att förbättra robustheten hos visuella system mot adversiella hot. Denna avhandling introducerar 3DPure, en ny försvarsmekanism baserad på 3D-rekonstruktion. Istället för att enbart förlita sig på tvådimensionell input, som lätt kan manipuleras med pixelvisa störningar, återskapar 3DPure en tredimensionell representation av den visuella scenen och renderar sedan om den till en 2D-bild. Denna transformation upprätthåller fysisk och geometrisk konsistens och filtrerar därmed bort störningar som inte överensstämmer med en rimlig 3D-struktur. Genom att förankra försvaret i den fysiska världen imiterar 3DPure en central komponent i hur människan naturligt tolkar och bearbetar visuella stimuli. Våra resultat visar att 3DPure avsevärt förbättrar robustheten mot patch-baserade attacker och överträffar traditionella försvar i scenarier där lokaliserat adversiellt oljud används. Den uppvisar också jämförbar eller överlägsen prestanda i relation till befintliga lösningar vid starka pixelvisa attacker såsom PGD, även när attacken efterliknar försvarssystemets förbehandlingspipeline. Dessa förbättringar kommer dock med en kompromiss: 3DPure minskar klassificeringsnoggrannheten på ren data på grund av texturförlust som uppstår vid rekonstruktion och rendering. Detta tyder på att 3DPure lämpar sig särskilt väl för tillämpningar där robusthet prioriteras över absolut noggrannhet, såsom säkerhet, industriell automation och forensisk analys.

Description

Supervisor

Kannala, Juho

Thesis advisor

Ching-Chun, Chang

Keywords

adversarial examples, adversarial robustness, 3D reconstruction, image purification, deep learning, computer vision

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202506174862

Collections

[dipl] Perustieteiden korkeakoulu / SCI