Bayesian optimization with discrete variables for materials

Abstract

A frequently encountered problem in material science is the global optimization of expensive black-box functions. Many of them contain discrete variables, either in the form of categorical or integer values. An iterative machine learning method known as Bayesian optimization is suited for optimizing such complex black-box functions. However, this strength comes with a significant limitation as Bayesian optimization struggles with discrete variables. This limitation comes from the use of continuous Gaussian processes to model the objective function.

To solve this problem this thesis investigates three distinct rounding methods designed to adapt Bayesian optimization to better align with the actual objective function. In this thesis we focus on ordered discrete variables ignoring categorical ones. These rounding methods have been combined with a tailor-made optimization algorithm that is suitable for mixed-variable optimization. As part of my work, these methods have been implemented into the Aalto BOSS code for Bayesian optimization. The strategies proposed in this thesis have been tested on two carefully selected benchmark functions and a material science problem.

Here we find that a rounding transformation applied to the kernel significantly improves the efficiency and accuracy of Bayesian Optimization in handling mixed-variable benchmarks. These improvements are most noticeable when the number of values assumed by the discrete variables are small. The choice of acquisition function is also shown to be important as the ELCB acquisition function outperformed LCB in most benchmarks. The findings from this thesis are expected to be widely applicable to optimization problems in material science. In particular, we provide a description of how these methods can be effectively applied to the optimization of nylon actuators with a focus on maximizing their actuation length.

Tyypillinen ongelma materiaalitieteessä on mustien laatikoiden globaali optimointi. Monet näistä funktioista sisältävät diskreettejä muuttujia, jotka voivat olla joko kategorisia tai kokonaislukumuuttujia. Mustien laatikoiden optimointiin voidaan käyttää Baysialaista optimointintia, joka on iteratiivinen koneoppimismenetelmä. Menetelmän tehokkuudesta huolimatta ongelmaksi on osoittautunut se, että menetelmä ei kykene käsitelemään diskreettejä muuttujia, koska muuttujia käsitellään jatkuvina.

Ongelman ratkaisemiseksi tämä opinnäytetyö esittelee kolme pyöristysmenetelmää, jotka on suunnilteltu parantamaan Bayesialaista optimointia paremmin vastaamaan todellista tavoitefunktiota. Opinnäytetyössä keskitytään ainoastaan järjestyksellisiin muuttujiin, joita optimoidaan. Nämä kolme pyöristysmenetelmää on yhdistetty räätälöityyn optimointialgoritimiin, joka soveltuu sekamuuttujien optiminointiin. Pyöristysmenelmät ja optimointialgoritmi on lisätty BOSS aalto-kirjastoon osana työssä toteutettua kokeellista työtä. Opinnäytetyössä ehdotettuja strategioita on testattu kahdella huolella valitulla testifunktiolla ja materiaalitieteen ongelmalla.

Optimointi tulokset osoittivat, että kerneliin lisätty pyöristystransformaatio merkittävästi paransi Bayesialaisen optimoinnin tarkuutta ja tehokkuutta sekamuuttuja ongelmien optimoinnissa. Kyseiset parannukset ovat erityisen merkittäviä hyvin leveillä askelpituuksilla, mikä oli tutkimuksen tavoite. Hankintafunktion valinta osoittautui myös tärkeäksi, koska ELCB suoriutui LCB:tä paremmin useimmissa vertailuarvoissa. Tulokset ovat sovellettavissa laajasti materiaalieteen optimointiongelmiin. Opinnäytetyössä kuvataan yksityiskohtaisesti, kuinka näitä menetelmiä voidaan soveltaa nyloniaktuaattoreiden optimointiin, keskittyen niiden toimintapituuden maksimointiin.