Hilbert Space Projection Methods for Numerical Integration and State Estimation

Thumbnail Image
Files
isbn9789526419855.pdf (1.18 MB)
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering | Doctoral thesis (article-based) | Defence date: 2024-09-27
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2024
Department
Sähkötekniikan ja automaation laitos
Department of Electrical Engineering and Automation
Major/Subject
Mcode
Degree programme
Language
en
Pages
63 + app. 101
Series
Aalto University publication series DOCTORAL THESES, 174/2024
Abstract
The aim of this thesis is to develop Hilbert space methods for approximation of integrals appearing in filtering and smoothing of nonlinear state-space models. State-space models have many applications in real-world problems and have been studied extensively for almost a century. In filtering, the state is estimated at a given time instant based on measurements up to the time instant. In smoothing, measurements after the given time instant are used as well. The used state-space models are stochastic and hence need to be estimated in probabilistic terms, which requires solving probability integrals. We consider two kinds of state-space models: discrete-time and continuous-discrete-time ones. In the latter case, the dynamics model is continuous time the measurements are obtained in discrete time instants. In linear state-space models with additive Gaussian noise, closed-form solutions are known for both filtering and smoothing problems. In a nonlinear case, we can use Gaussian approximations, which means that we approximate the probability distributions with Gaussian distributions. We study how to use Fourier–Hermite series for smoothing and filtering with Gaussian approximations. For computing terms of the Fourier–Hermite series, we develop a new method that uses partial differentials of a Weierstrass transform of a nonlinear function. Even with the simplifying Gaussian approximation, in general, we cannot solve the resulting Gaussian integrals in closed form, but we need numerical approximations instead. We develop a new numerical integration method based on an approximation of a multiplication operator with a finite matrix, and it is not only applicable to Gaussian integrals but can be used for more general numerical integration. This new numerical integration method generalises Gaussian quadrature and has many similar properties, which are analysed using the theory of linear operators in Hilbert space. Specifically, we prove convergence for a large class of functions. In the case of independent variables, it is possible to compute multidimensional integrals by product rule of unidimensional numerical integrals. With the new numerical integration method, we can generalise the product rule for non-independent variables. We apply this generalised product rule to filtering with arbitrary order moments.

Tässä väitöstyössä on kehitetty Hilbertin avaruus -menetelmiä epälineaaristen tila-avaruusmallien suodatuksessa ja silotuksessa tarvittavien integraalien likimääräiseen laskentaan. Tila-avaruusmalleja voidaan soveltaa moniin reaalimaailman ongelmiin, ja niiden tutkimushistoria on miltei vuosisadan mittainen. Suodatuksessa tila tietyllä ajan hetkellä estimoidaan siihen hetkeen mennessä saatujen mittausten perusteella. Silotuksessa käytetään lisäksi myöhemmin saatuja mittauksia. Tässä työssä käsiteltävät tila-avaruusmallit ovat stokastisia, minkä vuoksi niitä voidaan estimoida ainoastaan todennäköisyyksin, mikä vuorostaan edellyttää todennäköisyysintegraalien ratkaisemista. Työsssä käsitellään kahdenlaisia tila-avaruusmalleja: diskreettiaikaisia ja jatkuvadiskreettiaikaisia. Jälkimmäisessä dynaaminen malli on jatkuva-aikainen, ja mittaustulokset ovat diskreettiaikaisia. Lineaariselle tila-avaruusmallille, jossa kohina on additiivista ja normaalijakautunutta, suodatusja silotusongelmille tunnetaan valmiit suljetun muodon ratkaisut. Epälineaarisessa tapauksessa voidaan käyttää Gaussisia approksimaatioita, mikä tarkoittaa todennäköisyysjakaumien approksimointia normaalijakaumilla. Tässä työssä tutkitaan, kuinka Fourier–Hermite-sarjaa voidaan käyttää suodatuksen ja silotuksen Gaussisissa approksimaatioissa. Lisäksi kehitetään menetelmä tämän sarjan termien laskentaan epälineaarisen funktion Weierstrass-muunnoksen osittaisderivaatoista. Gaussisen approksimaation suomasta yksinkertaistuksesta huolimatta yleisessä tapauksessa vaadittavia Gaussisia integraaleja ei voida ratkaista suljetussa muodossa, vaan ratkaisuihin tarvitaan vielä lisäksi likimääräistä numeerista integrointia. Tässä työssä kehitetään myös uusi numeerinen integrointimenetelmä, joka perustuu kertolaskuoperaattorin likiarvoon äärellisenä matriisina, eikä rajoitu pelkästään Gaussisiin integraaleihin, vaan soveltuu myös muihin yleisempiin integraaleihin. Tämä uusi numeerinen integrointimenetelmä on yleistys Gaussin kvadratuurista ja sillä on monia samanlaisia ominaisuuksia, joita analysoidaan Hilbertin avaruuden lineaaristen operaattoreiden teorian avulla. Erityisesti uuden menetelmän suppeneminen todistetaan useille erilaisille funktioille. Riippumattomille muuttujille voidaan laskea numeerinen integraali yksiulotteisten muuttujien numeeristen integrointisääntöjen tulona. Uudella numeerisen integroinnin menetelmällä tämä tulos ääntö voidaan yleistää myös toisistaan riippuvien muuttujien tapauksessa. Uutta numeerista integrointimenetelmää sovelletaan suodatukseen käyttäen rajoittamattoman kertaluvun momentteja.
Description
Supervising professor
Särkkä, Simo, Prof., Aalto University, Department of Electrical Engineering and Automation, Finland
Thesis advisor
Särkkä, Simo, Prof., Aalto University, Department of Electrical Engineering and Automation, Finland
Keywords
Fourier–Hermite series, numerical integration as a multiplication operator, stochastic filtering and smoothing, Hilbert space, Fourier–Hermite-sarja, numeerinen integrointi kertolaskuoperaattorilla, stokastinen suodatus ja silotus, Hilbertin avaruus
Other note
Parts
  • [Publication 1]: Juha Sarmavuori and Simo Särkkä. Numerical integration as a finite matrix approximation to multiplication operator. Journal of Computational and Applied Mathematics, 353: 283–291, June 2019.
    DOI: 10.1016/j.cam.2018.12.031 View at publisher
  • [Publication 2]: Juha Sarmavuori and Simo Särkkä. On the convergence of numerical integration as a finite matrix approximation to multiplication operator.
    Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202305032929
    DOI: 10.1007/s10092-023-00518-4 View at publisher
  • [Publication 3]: Juha Sarmavuori and Simo Särkkä. Fourier–Hermite Kalman filter. IEEE Transactions on Automatic Control, 57(6): 1511–1515, June 2012.
    DOI: 10.1109/TAC.2011.2174667 View at publisher
  • [Publication 4]: Juha Sarmavuori and Simo Särkkä. Fourier–Hermite Rauch–Tung–Striebel smoother. In Proceedings of EUSIPCO 2012, Bucharest, Romania, 2109–2113, August 2012
  • [Publication 5]: Zheng Zhao and Juha Sarmavuori. Stochastic filtering with moment representation. Submitted to SIAM Journal on Scientific Computing, March 2023.
    DOI: 10.48550/arXiv.2303.13895 View at publisher
Citation
Permanent link to this item
https://urn.fi/URN:ISBN:978-952-64-1985-5
Collections
[diss] Sähkötekniikan korkeakoulu / ELEC