From motion capture to performance synthesis: A data based approach on full-body animation

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Takala, Tapio, Prof., Aalto University, Department of Computer Science, Finland
dc.contributor.author Förger, Klaus
dc.date.accessioned 2015-09-22T09:01:23Z
dc.date.available 2015-09-22T09:01:23Z
dc.date.issued 2015
dc.identifier.isbn 978-952-60-6351-5 (electronic)
dc.identifier.isbn 978-952-60-6350-8 (printed)
dc.identifier.issn 1799-4942 (electronic)
dc.identifier.issn 1799-4934 (printed)
dc.identifier.issn 1799-4934 (ISSN-L)
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/17857
dc.description.abstract Human motions such as walking or waving a hand can be performed in many different styles. The way the perceived styles are interpreted can vary depending on the context of the motions. The styles can be described as emotional states such as aggressiveness or sadness, or as physical attributes such as being tense or slow. This thesis studies synthesis of expressive styles and real-time interaction between autonomous characters in order to enable controllable performance synthesis. Presented research relies on motion capture as it enables reproduction of realistic human motion in off-line animations, and recording expressive performances with talented actors. The captured motions can then be used as inputs for several motion synthesis methods that enable real-time animations with actions that can adapt to changing surroundings. While the main field of this thesis is computer animation, building an understanding of motion style is also related to fields of perception, psychology and semantics. Furthermore, to recognize and to enable control of created styles, methodology from the field of pattern recognition has been used. In practice, the research includes implementations and evaluations of proof-of-concept systems, and questionnaires where varying motion styles have been rated and described. Both quantitative analysis of answers of the questionnaires, and visualizations of the data have been made to form a qualitative understanding of motion style.In the context of single character motion, the main result is in enabling accurate verbal control of motion styles. This was found to be possible when the styles are modeled as continuous attributes that are allowed to vary independently, and when individual styles are numerically defined through comparisons between motions. In the context of expressive interaction between characters, the research builds on the observation that motions can be interpreted as expressive behaviors when portrayed as reactions to an action. The main contribution here is a new method for authoring expressive interaction through recorded actions and reactions. The results of the dissertation are useful for development of virtual characters as many existing systems do not take full advantage of bodily motions as an expressive medium. More specifically, the presented methods enable creating characters that can interact fluidly while still allowing the expressiveness to be controlled. en
dc.description.abstract Ihmisen liikkeitä kuten kävelyä tai käden heilutusta voi esittää monella tyylillä, joiden tulkinta voi vaihdella riippuen siitä millaisessa tilanteessa liikkeet esitetään. Liikkeiden tyylit voidaan tulkita tunnetiloina, kuten aggressiivisuutena tai surullisuutena, tai fyysisinä ominaisuuksina, kuten jäykkyytenä tai hitautena. Tässä väitöksessä on tutkittu liikkeiden tuottamista ja reaaliaikaista vuorovaikutusta autonomisten hahmojen välillä, jotta voidaan luoda ilmeikkäitä kehollisia esityksiä. Esitetty tutkimus hyödyntää liikkeenkaappausta, koska se mahdollistaa todenmukaisten liikkeiden toistamisen animaatioelokuvissa, ja ilmeikkäiden esitysten tallentamisen. Kaapattuja liikkeitä voidaan käyttää lähtömateriaalina liikesynteesimetodeille, jotka mahdollistavat reaaliaikaisen animaation ja liikkeiden mukautumisen muuttuvaan ympäristöön. Väitöksen päätutkimusala on tietokoneanimaatio, mutta tyylien ymmärtämiseksi on käytetty menetelmiä myös havaintotutkimuksen, psykologian ja semantiikan aloilta. Tyylien tunnistamiseksi ja säädeltävyyden mahdollistamiseksi käytössä on myös menetelmiä, jotka liittyvät hahmontunnistukseen. Käytännössä tutkimus sisältää esimerkkijärjestelmien toteuttamista ja arviointia. Lisäksi on tehty kyselyitä, joissa osallistujat ovat arvioineet tyylejä ja kuvailleet niitä omin sanoin. Kyselyiden vastauksia on analysoitu määrällisesti, ja dataa on visualisoitu laadullisen kuvan luomiseksi tyyleistä. Yksittäisen hahmon tapauksessa päätulos on, että on mahdollista säätää tyylejä kielellisten kuvausten perusteella, kun eri tyylejä käsitellään jatkuvina ominaisuuksina, joiden annetaan vaihdella toisistaan riippumattomasti, ja kun yksittäiset tyylit määritellään numeerisesti liikkeiden vertailuihin pohjautuen. Hahmojen vuorovaikutuksen tapauksessa liike voidaan tulkita ilmeikkääksi, jos se esitetään vastauksena tiettyyn toimintaan. Päätulos tässä yhteydessä on uusi menetelmä luoda ilmeikästä vuorovaikutusta näyteltyjen liikkeiden ja niiden herättämien reaktioiden pohjalta. Väitöksen tuloksia voidaan käyttää hyväksi kehitettäessä animaatiohahmoja ilmaisuvoimaisemmiksi kehollisten tyylien avulla, mihin useat olemassa olevat järjestelmät eivät anna tukea. Esitetyillä menetelmillä voi tuottaa hahmoja, jotka voivat olla sujuvassa vuorovaikutuksessa samalla kun niiden ilmeikkyyttä säädellään. fi
dc.format.extent 75 + app. 64
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.ispartofseries Aalto University publication series DOCTORAL DISSERTATIONS en
dc.relation.ispartofseries 90/2015
dc.relation.haspart [Publication 1]: Klaus Lehtonen and Tapio Takala. Evaluating Emotional Content of Acted and Algorithmically Modified Motions. In 24th International Conference on Computer Animation and Social Agents (CASA 2011), Chengdu, China, Transactions on Edutainment VI, Lecture Notes in Computer Science, Volume 6758, pages 144-153, May 2011. DOI: 10.1007/978-3-642-22639-7_15
dc.relation.haspart [Publication 2]: Roberto Pugliese and Klaus Lehtonen. A Framework for Motion Based Bodily Enaction with Virtual Characters. In 11th International Conference on Intelligent Virtual Agents (IVA 2011), Reykjavik, Iceland, Lecture Notes in Computer Science, Volume 6895, pages 162-168, September 2011. DOI: 10.1007/978-3-642-23974-8_18
dc.relation.haspart [Publication 3]: Klaus Förger, Tapio Takala and Roberto Pugliese. Authoring Rules for Bodily Interaction: From Example Clips to Continuous Motions. In 12th International Conference on Intelligent Virtual Agents (IVA 2012), Santa Cruz, USA, Lecture Notes in Computer Science, Volume 7502, pages 341-354, September 2012. DOI: 10.1007/978-3-642-33197-8_35
dc.relation.haspart [Publication 4]: Klaus Förger, Timo Honkela and Tapio Takala. Impact of Varying Vocabularies on Controlling Motion of a Virtual Actor. In 13th International Conference on Intelligent Virtual Agents (IVA 2013), Edinburgh, UK, Lecture Notes in Computer Science, Volume 8108, pages 239-248, August 2013. DOI: 10.1007/978-3-642-40415-3_21
dc.relation.haspart [Publication 5]: Klaus Förger and Tapio Takala. Animating with Style: Defining Expressive Semantics of Motion. The Visual Computer, Online First Articles, February 2015. DOI: 10.1007/s00371-015-1064-4
dc.relation.haspart [Errata file]: Errata Klaus Förger DD-90/2015 publication P1
dc.subject.other Computer science en
dc.subject.other New media en
dc.title From motion capture to performance synthesis: A data based approach on full-body animation en
dc.title Ilmaisuvoimaisten koko kehon animaatioiden tuottaminen liikekaappauksen avulla fi
dc.type G5 Artikkeliväitöskirja fi
dc.contributor.school Perustieteiden korkeakoulu fi
dc.contributor.school School of Science en
dc.contributor.department Tietotekniikan laitos fi
dc.contributor.department Department of Computer Science en
dc.subject.keyword computer animation en
dc.subject.keyword motion capture en
dc.subject.keyword human motion en
dc.subject.keyword motion style en
dc.subject.keyword tietokoneanimaatio fi
dc.subject.keyword liikekaappaus fi
dc.subject.keyword ihmisen liike fi
dc.subject.keyword liikkeen tyyli fi
dc.identifier.urn URN:ISBN:978-952-60-6351-5
dc.type.dcmitype text en
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.contributor.supervisor Takala, Tapio, Prof., Aalto University, Department of Computer Science, Finland
dc.opn Högni, Hannes, Assoc. Prof., Vilhjálmsson, Reykjavík University, Iceland
dc.rev Poppe, Ronald, Assoc. Prof., Utrecht University, Netherlands
dc.rev Pulli, Kari, Dr., Light (https://light.co/), USA
dc.date.defence 2015-10-09


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account