Bayesian optimization with discrete variables for materials

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2023-12-21

Department

Major/Subject

teknillinen fysiikka

Mcode

SCI3028

Degree programme

Teknistieteellinen kandidaattiohjelma

Language

en

Pages

41

Series

Abstract

A frequently encountered problem in material science is the global optimization of expensive black-box functions. Many of them contain discrete variables, either in the form of categorical or integer values. An iterative machine learning method known as Bayesian optimization is suited for optimizing such complex black-box functions. However, this strength comes with a significant limitation as Bayesian optimization struggles with discrete variables. This limitation comes from the use of continuous Gaussian processes to model the objective function. To solve this problem this thesis investigates three distinct rounding methods designed to adapt Bayesian optimization to better align with the actual objective function. In this thesis we focus on ordered discrete variables ignoring categorical ones. These rounding methods have been combined with a tailor-made optimization algorithm that is suitable for mixed-variable optimization. As part of my work, these methods have been implemented into the Aalto BOSS code for Bayesian optimization. The strategies proposed in this thesis have been tested on two carefully selected benchmark functions and a material science problem. Here we find that a rounding transformation applied to the kernel significantly improves the efficiency and accuracy of Bayesian Optimization in handling mixed-variable benchmarks. These improvements are most noticeable when the number of values assumed by the discrete variables are small. The choice of acquisition function is also shown to be important as the ELCB acquisition function outperformed LCB in most benchmarks. The findings from this thesis are expected to be widely applicable to optimization problems in material science. In particular, we provide a description of how these methods can be effectively applied to the optimization of nylon actuators with a focus on maximizing their actuation length.

Tyypillinen ongelma materiaalitieteessä on mustien laatikoiden globaali optimointi. Monet näistä funktioista sisältävät diskreettejä muuttujia, jotka voivat olla joko kategorisia tai kokonaislukumuuttujia. Mustien laatikoiden optimointiin voidaan käyttää Baysialaista optimointintia, joka on iteratiivinen koneoppimismenetelmä. Menetelmän tehokkuudesta huolimatta ongelmaksi on osoittautunut se, että menetelmä ei kykene käsitelemään diskreettejä muuttujia, koska muuttujia käsitellään jatkuvina. Ongelman ratkaisemiseksi tämä opinnäytetyö esittelee kolme pyöristysmenetelmää, jotka on suunnilteltu parantamaan Bayesialaista optimointia paremmin vastaamaan todellista tavoitefunktiota. Opinnäytetyössä keskitytään ainoastaan järjestyksellisiin muuttujiin, joita optimoidaan. Nämä kolme pyöristysmenetelmää on yhdistetty räätälöityyn optimointialgoritimiin, joka soveltuu sekamuuttujien optiminointiin. Pyöristysmenelmät ja optimointialgoritmi on lisätty BOSS aalto-kirjastoon osana työssä toteutettua kokeellista työtä. Opinnäytetyössä ehdotettuja strategioita on testattu kahdella huolella valitulla testifunktiolla ja materiaalitieteen ongelmalla. Optimointi tulokset osoittivat, että kerneliin lisätty pyöristystransformaatio merkittävästi paransi Bayesialaisen optimoinnin tarkuutta ja tehokkuutta sekamuuttuja ongelmien optimoinnissa. Kyseiset parannukset ovat erityisen merkittäviä hyvin leveillä askelpituuksilla, mikä oli tutkimuksen tavoite. Hankintafunktion valinta osoittautui myös tärkeäksi, koska ELCB suoriutui LCB:tä paremmin useimmissa vertailuarvoissa. Tulokset ovat sovellettavissa laajasti materiaalieteen optimointiongelmiin. Opinnäytetyössä kuvataan yksityiskohtaisesti, kuinka näitä menetelmiä voidaan soveltaa nyloniaktuaattoreiden optimointiin, keskittyen niiden toimintapituuden maksimointiin.

Description

Supervisor

Rinke, Patrick

Thesis advisor

Löfgren, Joakim

Keywords

acquisition function, surrogate model, Bayesian optimization, discrete variable

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202403052490

Collections

[kand] Perustieteiden korkeakoulu / SCI