Transition synthesis for skeletal animations using optimization and simulated physics

Abstract

Despite the large advances in digital animation and 3D modelling techniques, producing digital 3D animation is still a labour-intensive task and therefore expensive, even when using motion capture technologies. These high costs can be especially prohibitive for small gaming studios, many of which have emerged as smartphones have become common. High-quality animations are sold in several online marketplaces, such as Mixamo, but transitions from one animation to another still need to be created separately. Commonly used transition methods require that the source and destination animations of the transition can be blended together procedurally, which may not be the case with animations sold in a shop. Therefore the results may look highly unrealistic.

Automatic motion generation and transition synthesis have been studied for decades. Even so, only the recent methods have not been either limited to specific kinds of animations, such as walking, or limited to highly simplified physical models which are unsuitable for modelling humans. The present methods still do not produce as natural looking motion as motion capture or hand-made animation. They also require tuning of several control parameters, which may not be intuitive for the user. After the control parameters have been changed, the generation process has to be run again, which may take a long time, from minutes up to several hours. Many of the methods are also not easily parallelized for performance gain. Besides, it is common that they may not find the most optimal solution.

In this thesis, generating transition animations between arbitrary source and destination animations using space time optimization methods has been studied. In order to speed up the motion generation and to allow the user to quickly try different control parameter values, a sequential importance sampling based optimization method is used for solving the space time optimization problem. To further increase the performance, the system is also highly parallelized to utilize the multiple cores in modern computers. Finally the benefit of using a sequential sampler over a non-sequential one for faster control parameter tuning is evaluated.

Vaikka 3D-animaatio- ja mallinnustekniikat ovat kehittyneet huomattavasti, 3D-animaatioiden luominen vaatii edelleen huomattavasti ihmistyötä ja on siksi kallista, vaikka käytettäisiin liikkeenkaappaustekniikkaa. Kustannukset voivat olla ennen kaikkea kohtuuttomat pienille pelialan yrityksille, joita on syntynyt paljon älypuhelinten yleistymisen myötä. Korkealaatuisia animaatioita myydään useissa internet-kaupoissa kuten Mixamossa, mutta siirtymät animaatiosta toiseen täytyy silti luoda erikseen. Yleisesti käytetyt siirtymäanimaatiomenetelmät vaativat, että lähde- ja kohdeanimaatiot voidaan sulauttaa yhteen ohjelmallisesti, mikä ei ole välttämättä mahdollista kaupasta ostettujen animaatioiden kohdalla. Lopputuloksena voi olla erittäin epäluonnollisen näköinen animaatio.

Automaattista liikkeen ja siirtymäanimaatioiden tuottamista on tutkittu vuosikymmenten ajan. Silti vasta viimeaikoina on julkaistu menetelmiä, jotka eivät ole rajoittuneet tietyn tyyppisiin animaatioihin, kuten kävelyyn, tai jotka eivät käytä erittäin yksinkertaistettuja fysiikkamalleja jotka eivät sovellu ihmisten mallintamiseen. Nykyiset metodit eivät edelleenkään tuota yhtä luonnollista animaatiota kuin liikkeenkaappaus tai käsin animoiminen. Ne vaativat myös useiden ja mahdollisesti käyttäjälle epäintuitiivisten kontrolliparametrien säätämistä. Kontrolliparametrien muuttamisen jälkeen liikkeentuottamisprosessi täytyy ajaa uudelleen, mikä voi kestää kauan, muutamista minuuteista jopa tunteihin. Monet menetelmistä ovat myös vaikeita rinnakkaistaa, mikä heikentää niiden tehokkuutta. Sen lisäksi ne eivät välttämättä löydä optimaalisinta ratkaisua.

Tässä diplomityössä on tutkittu siirtymäanimaatioiden automaattista tuottamista vapaasti valittavien lähde- ja kohdeanimaatioiden välillä spacetime optimization -menetelmän avulla. Liikkeen tuottamisen nopeuttamiseksi ja jotta käyttäjä voisi nopeasti kokeilla eri kontrolliparametreja, sekventaaliseen importance sampling -menetelmään perustuvaa optimointimenetelmää on käytetty spacetime optimization -ongelman ratkaisemiseksi. Järjestelmän tehokkuutta on pyritty kasvattamaan rinnakkaistamalla järjestelmän toimintaa huomattavasti, jotta saataisiin suurin hyöty nykyisten prosessorien useista ytimistä. Lopuksi on arvioitu sekventaalisen samplerin hyötyjä kontrolliparametrien hienosäätämisessä.