Unsupervised Discovery of Interpretable GAN Controls
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2020-10-20
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
80
Series
Abstract
This thesis presents GANSpace, a simple technique for analyzing Generative Adversarial Networks (GANs) and creating interpretable controls for image synthesis, such as change of viewpoint, aging, lighting, and time of day. We identify important latent directions based on Principal Component Analysis (PCA) applied in latent space or activation space. Then, we show that interpretable edits can be defined based on layer-wise application of these edit directions. Moreover, we show that BigGAN can be controlled with layer-wise inputs in a StyleGAN-like manner. A user may identify a large number of interpretable controls with these mechanisms. We demonstrate results on GANs from various datasets, and showcase discoveries and projects made with our technique by the community. Furthermore, we outline several interesting properties of GANs and PCA bases.I detta diplomarbete presenteras GANSpace, en enkel teknik för analys av Generativa Motståndarnätverk (GANs), som möjliggör styrbar bildsyntes med kontroll över exempelvis synvinkel, ålder, belysning samt tid på dygnet. Vi upptäcker viktiga riktningar i nätverkets inputvektorrum genom att utföra principalkomponentanalys (PCA) på inputrummet eller på nätverkets interna aktiveringar. Därefter visar vi hur tolkningsbar kontroll uppstår genom att applicera de identifierade riktningarna separat på de interna skikten i generatornätverket. Vi demonstrerar därtill en modifikation av BigGAN som möjliggör kontroll över stil och innehåll i de genererade bilderna, likt kontrollen i StyleGAN. Vår teknik kan användas för att identifiera stora mängder betydelsefulla kontrollmekanismer. Vi visar resultat för ett flertal GANs som tränats på olika dataset. Därutöver presenterar vi upptäckter och projekt som verkställts av tredje parter med hjälp av vår teknik. Vi framvisar också intressanta egenskaper av GANs och PCA-baser.Description
Supervisor
Lehtinen, JaakkoThesis advisor
Lehtinen, JaakkoKeywords
GAN, generative model, PCA, interpretability, editability, deep learning