A robust optimization approach against adversarial attacks on medical images

Abstract

Adversarial attacks have been identified as a vulnerability in the medical artificial intelligence field. According to studies, adversarial attacks may be used to conduct fraud within the medical field for obtaining financial benefit. In order to provide neural networks robustness against adversarial attacks one needs to solve a min-max or saddle point problem, where one tries to minimize the loss with respect to the weights, while simultaneously maximizing the loss with respect to a perturbation on each input sample. This problem is in general unsolvable in closed form, and even numerically.

Current practical methods for providing robustness to neural networks against adversarial attacks have been mostly based on computationally expensive adversarial training, where the idea is to train a neural network on a dataset of adversarial examples. Methods for specifically tailored architectures, which guarantee certain level of robustness, have been proposed, but these methods are not practical and generalizable for all architectures. A recently developed method called the Approximate Robust Upper Bound (aRUB) utilizes methods from robust optimization in an effort to transfer the saddle point problem via its robust counterpart. The aRUB provides an approximate upper bound to the original saddle point problem resulting in a tractable minimization problem.

In this work, robustness of aRUB is tested in practice against two different adversarial attacks, the Fast Gradient Sign Method (FGSM) and the Projected Gradient Descent (PGD), on three different medical image datasets. A common pre-trained ResNet-18 architecture is used as the underlying model. Also, the adversarial training method is tested for benchmarking the performance of the aRUB. Both aRUB and adversarial training is viewed through the lens of robust optimization. The aRUB shows competitive results compared to adversarial training.

Fientliga attacker (eng. adversarial attacks) har identifierats som ett potentiellt hot mot neuronnät i medicinska applikationer och enligt forskning kan fientliga attacker användas för att ingå bedrägeri. För att skydda neuronnät mot fientliga attacker måste man lösa ett min-max-problem eller ett sadelpunktsproblem genom att minimiera förlustfunktionen med avseende på modellparametrarna och samtidigt maximera förlustfunktionen med avseende på störningen i dataexemplen. Detta problem kan inte lösas i sluten form eller numeriskt.

De nuvarande praktiska metoderna för att robustifiera neuronnät har varit för det mesta fientlig exempelträning (eng. adversarial training) där idén är att träna neuronnätet med fientliga exempel. Fientlig exempelträning är beräkningsmässigt kostsamt. Andra metoder har utvecklats som garanterar en viss robusthet för specifika neuronnäts arkitekturer men metoderna är inte praktiska eller generaliserar inte för alla arkitekturer. En nyligen utvecklad metod som heter approximativ robust övre gräns (eng. Approximate Robust Upper Bound, förkortas aRUB), utnyttjar metoder från robust optimering för att omvandla det originala sadelpunktsproblemet till en robust motpart (eng. robust counterpart). Den approximativa robusta övre gränsen omvandlar det originala sadelpunktsproblemet till ett lösbart minimeringsproblem.

I detta forskningsarbete undersöks om aRUB fungerar i praktiken mot två olika attacker, nämligen snabba gradientmetoden (eng. Fast Gradient Sign Method, förkortas FGSM) och projicerade gradientmetoden (eng. Projected Gradient Descent, förkortas PGD), på tre olika medicinska dataset. Som neuronnätsarkitektur används den vanliga ResNet-18 arkitekturen. Fientlig exempelträning testas också mot fientliga attacker för att jämföra med aRUBs prestanda. Båda metoderna presenteras och undersöks från en robust optimeringssynvinkel. Den nya aRUB metoden visar lovande konkurrenskraftiga resultat jämfört med fientlig exempelträning.