Deep convolutional Gaussian processes

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorHeinonen, Markus
dc.contributor.authorBlomqvist, Kenneth
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.supervisorKaski, Samuel
dc.date.accessioned2019-03-17T16:05:11Z
dc.date.available2019-03-17T16:05:11Z
dc.date.issued2019-03-11
dc.description.abstractConvolutional neural networks have achieved unparalleled results on various machine learning tasks such as image classification, speech recognition, image segmentation, machine translation and many others. Modern neural network architectures have millions of parameters. This makes them prone to overfitting and sensitive to out-of-sample noise. As they are relatively practical to train, these issues can often be counteracted using massive amounts of training data. They have also been found to be prone to adversarial attacks. Developing methods which are well-regularized and could learn complicated functions without using massive amounts of data could enable us to deploy machine learning methods in settings where heaps of data are not available. Gaussian processes are known as a well-regularized statistical method which works beautifully for simple regression and classification tasks with a small number of training examples. Achieving such properties in deep models would be greatly beneficial. In this thesis we develop a deep Gaussian process model with convolutional structure which we call the deep convolutional Gaussian process. It is a method for modelling hierarchical combination of local features using Gaussian process mappings structured in a hierarchical manner. We compare our method on the MNIST and CIFAR-10 image classification tasks against other successful approaches. On the CIFAR-10 dataset, we achieve a more than 10\% improvement in test classification accuracy over other Gaussian process based methods.en
dc.description.abstractSyvät konvolutionaaliset neuroverkot ovat saavuttaneet häkellyttäviä tuloksia erilaisissa koneoppimisongelmissa kuten kuvien luokittelussa, puheentunnistuksessa, kuvien segmentoinnissa, automaattisessa kielenkääntämisessä ja lukuisissa muissa tehtävissä. Moderneissa neuroverkoissa on valtava määrä parametrejä, minkä takia ne helposti ylisovittuvat oppimisongelmaan ja ne ovat herkkiä testivaiheen kohinalle. Näitä ongelmia voidaan lieventää käyttämällä valtavia määriä koulutusesimerkkejä. Jos pystyisimme kehittämään menetelmiä, jotka ovat hyvin regularisoituja, ja jotka pystyisivät oppimaan monimutkaisiakin funktioita vaatimatta valtavia esimerkkimääriä, niin voisimme hyödyntää koneoppimismenetelmiä sovelluksissa, joissa näitä valtavia tietomääriä ei ole käytettävissä. Gaussiset prosessit ovat tunnettuja hyvin regularisoituina malleina, jotka toimivat hyvin yksinkertaisissa regressio- ja luokittelutehtävissä, joissa on pieni määrä koulutusesimerkkejä. Näiden ominaisuuksien saavuttaminen syvissä malleissa olisi edullista. Tässä opinnäytetyössä esittelemme syvän Gaussisen prosessin, jossa hyödynnetään konvolutionaalista rakennetta. Menetelmä on suunniteltu hierarkisesti tunnistamaan yhdistelmiä paikallisista piirteistä datassa. Testaamme menetelmäämme yleisesti käytössä olevilla kuvienluokittelutehtävissä: MNIST ja CIFAR-10 kuvakokoelmilla. CIFAR-10 tehtävässä saavutamme yli kymmenen prosentin parannuksen luokittelutarkkuudessa verrattuna muihin gausissiin prosesseihin perustuviin malleihin.fi
dc.format.extent37
dc.format.mimetypeapplication/pdfen
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/37155
dc.identifier.urnURN:NBN:fi:aalto-201903172295
dc.language.isoenen
dc.programmeMaster’s Programme in Computer, Communication and Information Sciencesfi
dc.programme.majorMachine learning and data miningfi
dc.programme.mcodeSCI3044fi
dc.subject.keywordbayesian machine learningen
dc.subject.keyworddeep learningen
dc.subject.keywordGaussian processen
dc.subject.keywordimage classificationen
dc.titleDeep convolutional Gaussian processesen
dc.titleSyvät konvolutionaaliset gaussiset prosessitfi
dc.typeG2 Pro gradu, diplomityöfi
dc.type.ontasotMaster's thesisen
dc.type.ontasotDiplomityöfi
local.aalto.electroniconlyyes
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
master_Blomqvist_Kenneth_2019.pdf
Size:
1.89 MB
Format:
Adobe Portable Document Format