Automating high-resolution atomic force microscopy image interpretation
Loading...
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2023-12-08
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2023
Major/Subject
Mcode
Degree programme
Language
en
Pages
131 + app. 51
Series
Aalto University publication series DOCTORAL THESES, 213/2023
Abstract
Atomic force microscopy (AFM) has become an important tool in nanoscale studies of matter, imaging and characterizing its properties, reaching from micrometer scale down to the sub-nanometer scale. In particular, high-resolution AFM performed in ultra-high vacuum with functionalized tips has achieved a resolution capable of identifying individual atoms in single molecules adsorbed on surfaces. However, applications so far have been mostly limited to simple planar molecules due to the difficult interpretability of the obtained images for more complicated sample molecules. At the same time, fast and accurate simulations of high-resolution AFM images have become available in the form of the Probe Particle Model (PPM). The PPM simulations make it easy to go from an atomic structure into an AFM image, but the reverse process is not as easy, often requiring a lot of manual labour with testing different candidate molecule geometries. An automated approach for solving this inverse problem would be a major benefit for the wider applicability AFM into imaging atomic scale systems. To this end, one can note the recent emergence of large-scale machine learning (ML) models, especially deep neural networks, enabling major progress in many fields of science. Utilizing a very large dataset, it is possible to train an ML model to perform a task where no known algorithmic approach works. Given the rapid data-generation capability of the PPM simulations, it should be possible to train an ML model to perform the inverse-imaging task in AFM, going from an AFM image into a molecule geometry or some other property of interest. The work in this thesis utilizes the PPM to generate simulations for a large database of molecules, and uses those simulations to train neural networks for predicting the molecule geometry as well as the electrostatic field from AFM images. The trained models are subsequently tested also on experimental AFM images, where generally good results are found, but in some cases differences in the details between the simulation and the real experiment make the predictions incorrect or ambiguous. At this stage full general automation of the AFM image interpretation process is not yet possible, but the results here present the first steps in this direction. Additionally, an ML method for automatizing the tip functionalization part of the AFM measurement preparation is presented.Atomivoimamikroskoopilla (engl. Atomic force microscopy, AFM) voidaan tutkia ja kuvantaa aineen rakennetta ja ominaisuuksia atomitason mittakaavassa. Kun mittaus suoritetaan tyhjiössä lähellä absoluuttista nollapistettä, ja AFM-laitteen neulankärki funktionalisoidaan liittämällä siihen ylimääräinen hiukkanen kuten CO-molekyyli, voidaan saaduista AFM-kuvista tunnistaa ja paikantaa jopa yksittäisiä atomeja yksittäisissä molekyyleissä. Tämän mittausmenetelmän sovellukset ovat kuitenkin enimmäkseen rajoittuneet yksinkertaisten tasomaisten molekyylien kuvantamiseen, koska kuvien tulkitsemisesta tulee erittäin vaikeaa monimutkasempien molekyylien tapauksessa. Atomivoimamikroskoopilla (engl. Atomic force microscopy, AFM) voidaan tutkia ja kuvantaa aineen rakennetta ja ominaisuuksia atomitason mittakaavassa. Kun mittaus suoritetaan tyhjiössä lähellä absoluuttista nollapistettä, ja AFM-laitteen neulankärki funktionalisoidaan liittämällä siihen ylimääräinen hiukkanen kuten CO-molekyyli, voidaan saaduista AFM-kuvista tunnistaa ja paikantaa jopa yksittäisiä atomeja yksittäisissä molekyyleissä. Tämän mittausmenetelmän sovellukset ovat kuitenkin enimmäkseen rajoittuneet yksinkertaisten tasomaisten molekyylien kuvantamiseen, koska kuvien tulkitsemisesta tulee erittäin vaikeaa monimutkasempien molekyylien tapauksessa. Korkean resoluution AFM-kuvien simulointi on kuitenkin varsin helppoa käytämällä probe particle model (PPM) -simulaatiomallia, jonka avulla on mahdollista tuottaa hyvin nopeasti tarkkoja AFM-simulaatiokuvia mistä tahansa molekyylista. PPM-simulaatioden mahdollistama suuri aineistomäärä soveltuu hyvin myös koneoppimismallien kouluttamiseen. Koneoppimismenetelmillä on mahdollista laajan aineiston avulla kehittää tilastollisia malleja, jotka pystyvät ratkaisemaan ongelmia missä mikään tunnettu algoritminen menetelmä ei toimi. Erityisesti neuroverkkoja on sovellettu moniin ongelmiin useissa eri tieteen aloissa. Tässä väitöskirjassa sovelletaan neuroverkkoja AFM-kuvien tulkitsemiseen, tavoitteena automatisoida tämä prosessi ja mahdollistaa AFM-mittausmenetelmän laajempi käyttö aineen rakenteen tutkimisessa. Neuroverkot ensin koulutetaan PPM-simulaatiodatalla, ja koulutettuja neuroverkkoja sitten testataan oikeilla AFM-kuvilla. Tulosten perusteella neuroverkoilla on mahdollista ennustaa näytemolekyylin atomirakenne sekä sähkökenttä. Kuitenkin joissain tapauksissa simulaation ja oikeiden kuvien erosta johtuen ennusteet eivät ole täysin luotettavia, joten prosessin täysi automaatio ei vielä ole mahdollista. Tämän lisäksi väitöskirjassa esitellään koneoppimiseen perustuva automaatiomenetelmä AFM-kärjen funktionalisoimiseen.Description
Supervising professor
Foster, Adam S., Prof., Aalto University, Department of Applied Physics, FinlandThesis advisor
Urtev, Fedor, Dr., Aalto University, FinlandKeywords
atomic force microscopy, scanning probe microscopy, machine learning, deep learning, atomivoimamikroskopia, koneoppiminen, syväoppiminen
Other note
Parts
-
[Publication 1]: Benjamin Alldritt, Prokop Hapala, Niko Oinonen, Fedor Urtev, Ondřej Krejčí, Filippo Federici Canova, Juho Kannala, Fabian Schulz, Peter Liljeroth, and Adam S. Foster. Automated structure discovery in atomic force microscopy. Science Advances, 26;6(9):eaay6913, Feb 2020.
DOI: 10.1126/sciadv.aay6913 View at publisher
-
[Publication 2]: Niko Oinonen, Chen Xu, Benjamin Alldritt, Prokop Hapala, Filippo Federici Canova, Fedor Urtev, Shuning Cai, Ondřej Krejčí, Juho Kannala, Peter Liljeroth, and Adam S. Foster. Electrostatic Discovery Atomic Force Microscopy. ACS Nano, 16(1), 89-97, Jan 2022.
DOI: 10.1021/acsnano.1c06840 View at publisher
-
[Publication 3]: Niko Oinonen, Lauri Kurki, Alexander Ilin, and Adam S. Foster. Molecule graph reconstruction from atomic force microscope images with machine learning. MRS Bulletin, 47(9), 895–905, Sep 2022.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202211236584DOI: 10.1557/s43577-022-00324-3 View at publisher
-
[Publication 4]: Benjamin Alldritt, Fedor Urtev, Niko Oinonen, Markus Aapro, Juho Kannala, Peter Liljeroth, and Adam S. Foster. Automated tip functionalization via machine learning in scanning probe microscopy. Computer Physics Communications, 273, 108258, Apr 2022.
DOI: 10.1016/j.cpc.2021.108258 View at publisher
