Data-Driven Sequential Monte Carlo Motion Synthesis

Abstract

Animation in video games is composed of motion segments created by animators, and of motion synthesis methods, which combine and extend the motion segments for emerging gameplay situations. Current video games typically synthesize motion kinematically with no regard to dynamics, causing immersion-breaking motion artifacts. By contrast, physically-based methods synthesize motions by simulating physics, which ensures physical correctness.

This thesis extends sequential Monte Carlo motion synthesis, a physically-based method, to use animator-authored reference animations for guiding the synthesis. An offline component is developed, which robustly tracks various types of kinematic reference animations by controlling a simulated physical character. The tracking results are gathered as a training set for a machine learning component, which directs the sequential Monte Carlo sampling used for online motion synthesis.

For machine learning, the approximate nearest neighbors, locally weighted regression, mixture of regressors, and self-organizing map methods are implemented and compared. A product distribution sampling scheme is developed to efficiently combine machine learning with optimization. Additionally, a factorized formulation of the learning problem is presented and implemented.

The system is evaluated with an interactive locomotion test case. Given a single kinematic reference animation depicting running in a straight line, the system is able to synthesize physically-valid motion for turning and running on uneven terrain.

Videopelien animaatio muodostuu animaattoreiden luomista animaatioista, sekä liikesynteesimenetelmistä, jotka yhdistävät ja laajentavat luotuja animaatioita pelissä syntyviin uusiin tilanteisiin. Nykyiset videopelit käyttävät pääsääntöisesti menetelmiä, jotka syntetisoivat liikettä kinemaattisesti huomioimatta dynamiikkaa, mikä johtaa immersiota heikentäviin virheisiin. Vaihtoehtoisesti liikesynteesiin voidaan käyttää fysiikkaan perustuvia menetelmiä, joissa fysiikan simuloinnilla varmistetaan liikkeiden fysikaalinen toteutettavuus.

Tämä diplomityö laajentaa fysiikkaan perustuvaa sekventiaalista Monte Carlo -liikesynteesimenetelmää ohjaamalla synteesiä animaattoreiden luomilla referenssianimaatioilla. Työssä kehitetään erillinen komponentti, joka kykenee seuraamaan monenlaisia kinemaattisia referenssianimaatioita kontrolloimalla simuloitua fysikaalista hahmomallia. Seurannan tulokset kootaan opetusdataksi koneoppimiskomponentissa, joka ohjaa interaktiiviseen liikesynteesiin käytettävää sekventiaalista Monte Carlo -otantaa.

Koneoppimiseen sovelletaan approksimatiivista lähimmän naapurin menetelmää, paikallisesti painotettua regressiota, regressorisekoitemallia ja itseorganisoituvaa karttaa. Koneoppiminen yhdistetään tehokkaasti optimointiin käyttämällä otantaa todennäköisyysjakaumien tulosta. Oppimisongelmaan sovelletaan myös tekijöihin jaettua muotoa.

Järjestelmää arvioidaan interaktiivisella demonstraatiolla, jossa käytetään yksittäistä suoraa juoksua esittävää kinemaattista referenssianimaatiota. Järjestelmä kykenee syntetisoimaan referenssin avulla käännöksiä ja juoksua epätasaisella pinnalla.