Accelerating Bayesian Optimization Structure Search with Transfer Learning

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorTodorović, Milica
dc.contributor.advisorRemes, Ulpu
dc.contributor.authorSten, Nuutti
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.supervisorRinke, Patrick
dc.date.accessioned2021-01-31T18:01:09Z
dc.date.available2021-01-31T18:01:09Z
dc.date.issued2021-01-25
dc.description.abstractIn this thesis I studied the use of transfer learning for reducing the computational cost of Bayesian optimization structure search (BOSS). BOSS combines Gaussian process surrogate models and first principle simulations to model the potential energy surface of atomistic structures. The aim is to find the global minimum of the surface at highest possible accuracy while minimizing consumed resources. BOSS can provide accurate results with limited number of simulations. However, significant number of simulations are still required for studying many-atom structures. I studied whether transfer learning can reduce the number of expensive, high fidelity simulations in BOSS without compromising the accuracy of the global minimum estimate. In transfer learning, output from a machine learning problem is used to initialize another one. The idea in this work was to take low fidelity simulation data and use it to initialize BOSS on high fidelity search. I studied a particular transfer learning solution for Gaussian processes implemented in BOSS in my earlier work. In this thesis I refined and evaluated the application of the method in BOSS with a series of computational tests. I found that the method can significantly reduce the computational costs of finding the potential energy minimum of a high fidelity task.en
dc.description.abstractDiplomityössäni tutkin, voidaanko siirto-oppimisella vähentää laskentaresurssien tarvetta aineen rakenteen laskennallisessa tutkimuksessa, kun tavoitteena on määrittää alhaisimman potentiaalienergian omaava rakenne mahdollisimman tarkkoja simulaatioita käyttäen. Bayesilaiseen optimointiin perustuvassa menetelmässä rakennemuuttujien vaikutusta tutkittavan aineen potentiaalienergiaan mallinnetaan simulaatioiden perusteella muodostettavalla surrogaattimallilla. Menetelmä on osoittautunut hyvin tehokkaaksi. Jokainen mallinnettu rakennemuuttuja lisää uuden ulottuvuuden hakuavaruuteen, mikä tekee simulaatioista raskaampia, kasvattaa tarvittavien simulaatioiden määrää, ja tekee mallin sovittamisesta haasteellisempaa. Tarkimpien simulaatiomenetelmien käyttö moniatomisten rakenteiden tutkimisessa vaatii edelleen liikaa laskentaresursseja, mikä asettaa rajoitteita mahdollisille tutkimusasetelmille. Työssäni tutkin siirto-oppimista ratkaisuna tähän ongelmaan. Siirto-oppimisessa koneoppimiskokeen tuloksia hyödynnetään toisen kokeen alustamisessa. Tässä työssä ajatuksena oli käyttää matalan tarkkuuden simulaatioita bayesilaisen optimoinnin alustamiseen korkean tarkkuuden rakennehaussa. Tutkin tarkemmin tiettyä Gaussin prosesseihin soveltuvaa siirto-oppimismenetelmää. Tutkimukseni osoittaa, että siirto-oppimisella voidaan merkittävästi vähentää tarvittavien laskentaresurssien määrää aineen rakenteen laskennallisessa tutkimuksessa.fi
dc.format.extent76+6
dc.format.mimetypeapplication/pdfen
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/102412
dc.identifier.urnURN:NBN:fi:aalto-202101311714
dc.language.isoenen
dc.programmeMaster’s Programme in Life Science Technologiesfi
dc.programme.majorComplex Systemsfi
dc.programme.mcodeSCI3060fi
dc.subject.keywordGaussian process regressionen
dc.subject.keywordtransfer learningen
dc.subject.keywordBayesian optimization structure searchen
dc.subject.keywordlinear model of coregionalizationen
dc.titleAccelerating Bayesian Optimization Structure Search with Transfer Learningen
dc.titleBayesiläisen optimoinnin nopeuttaminen siirto-oppimisella aineen rakenteen laskennallisessa tutkimuksessafi
dc.typeG2 Pro gradu, diplomityöfi
dc.type.ontasotMaster's thesisen
dc.type.ontasotDiplomityöfi
local.aalto.electroniconlyyes
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
master_Sten_Nuutti_2021.pdf
Size:
2.53 MB
Format:
Adobe Portable Document Format