Accelerating Bayesian Optimization Structure Search with Transfer Learning

Abstract

In this thesis I studied the use of transfer learning for reducing the computational cost of Bayesian optimization structure search (BOSS). BOSS combines Gaussian process surrogate models and first principle simulations to model the potential energy surface of atomistic structures. The aim is to find the global minimum of the surface at highest possible accuracy while minimizing consumed resources. BOSS can provide accurate results with limited number of simulations. However, significant number of simulations are still required for studying many-atom structures. I studied whether transfer learning can reduce the number of expensive, high fidelity simulations in BOSS without compromising the accuracy of the global minimum estimate. In transfer learning, output from a machine learning problem is used to initialize another one. The idea in this work was to take low fidelity simulation data and use it to initialize BOSS on high fidelity search. I studied a particular transfer learning solution for Gaussian processes implemented in BOSS in my earlier work. In this thesis I refined and evaluated the application of the method in BOSS with a series of computational tests. I found that the method can significantly reduce the computational costs of finding the potential energy minimum of a high fidelity task.

Diplomityössäni tutkin, voidaanko siirto-oppimisella vähentää laskentaresurssien tarvetta aineen rakenteen laskennallisessa tutkimuksessa, kun tavoitteena on määrittää alhaisimman potentiaalienergian omaava rakenne mahdollisimman tarkkoja simulaatioita käyttäen. Bayesilaiseen optimointiin perustuvassa menetelmässä rakennemuuttujien vaikutusta tutkittavan aineen potentiaalienergiaan mallinnetaan simulaatioiden perusteella muodostettavalla surrogaattimallilla. Menetelmä on osoittautunut hyvin tehokkaaksi. Jokainen mallinnettu rakennemuuttuja lisää uuden ulottuvuuden hakuavaruuteen, mikä tekee simulaatioista raskaampia, kasvattaa tarvittavien simulaatioiden määrää, ja tekee mallin sovittamisesta haasteellisempaa. Tarkimpien simulaatiomenetelmien käyttö moniatomisten rakenteiden tutkimisessa vaatii edelleen liikaa laskentaresursseja, mikä asettaa rajoitteita mahdollisille tutkimusasetelmille. Työssäni tutkin siirto-oppimista ratkaisuna tähän ongelmaan. Siirto-oppimisessa koneoppimiskokeen tuloksia hyödynnetään toisen kokeen alustamisessa. Tässä työssä ajatuksena oli käyttää matalan tarkkuuden simulaatioita bayesilaisen optimoinnin alustamiseen korkean tarkkuuden rakennehaussa. Tutkin tarkemmin tiettyä Gaussin prosesseihin soveltuvaa siirto-oppimismenetelmää. Tutkimukseni osoittaa, että siirto-oppimisella voidaan merkittävästi vähentää tarvittavien laskentaresurssien määrää aineen rakenteen laskennallisessa tutkimuksessa.