Gaussian filtering and smoothing based parameter estimation in nonlinear models for sequential data

Abstract

State space modeling is a widely used statistical approach for sequential data. The resulting models can be considered to contain two interconnected estimation problems: that of the dynamic states and that of the static parameters. The difficulty of these problems depends critically on the linearity of the model, with respect to the states, the parameters or both. In this thesis we show how to obtain maximum likelihood and maximum a posteriori estimates for the static parameters. Two methods are considered: gradient based nonlinear optimization of the marginal log-likelihood and expectation maximization. The former requires the filtering distributions and the latter both the filtering and the smoothing distributions. When closed form solutions to these distributions are unavailable, we apply efficient Gaussian filtering based methods to obtain approximations. The resulting parameter estimation algorithms are demonstrated by a linear target-tracking model with simulated data and a nonlinear stochastic resonator model with photoplethysmograph data.

Tila-avaruusmallinnus on eräs laajalti käytetty aikasarjojen mallinnusmenetelmä. Tila-avaruusmallin voidaan ajatella sisältävän kaksi keskenään vuorovaikkuteista estimointiongelmaa: dynaamisten tilojen estimointi sekä staattisten parametrien estimointi. Näiden estimointiongelmien vaikeuteen vaikuttaa erityisen paljon mallin lineaarisuus - sekä tilojen että parametrien suhteen. Tässä diplomityössä näytämme, kuinka staattisia parametrejä voidaan estimoida suurimman uskottavuuden estimaattorilla tai posteriorijakauman maksimoivalla estimaattorilla. Analysoimme kahta eri menetelmää: uskottavuusfunktion gradienttipohjaista epälineerista optimointia sekä expectation maximization algoritmiä. Näistä ensimmäinen vaatii suodinjakaumien ja jälkimmäinen sekä suodin- että siloitusjakaumien ratkaisemista. Mikäli näitä jakaumia ei voida ratkaista suljetussa muodossa, käytämme tehokkaita Gaussiseen suodatukseen perustuvia menetelmiä niiden likimääräiseen ratkaisemiseen. Lopputuloksina saatuja parametriestimointimenetelmiä sovelletaan ensin lineaarisessa kohteenseurantamallissa simuloidulla datalla ja sen jälkeen epälineaarisessa stokastisessa resonaattorimallissa fotopletysmografidatalla.