Blending and Exaggeration of Animated Facial Expressions of Emotion

Thumbnail Image

Files

isbn9789526088136.pdf (3.82 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Doctoral thesis (article-based) | Defence date: 2019-11-26
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2019

Department

Tietotekniikan laitos
Department of Computer Science

Major/Subject

Mcode

Degree programme

Language

en

Pages

60 + app. 48

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 208/2019

Abstract

Facial expressions have a very important role in social communication. As the development of technology enables more and more realistic virtual humans, they may become much more common in our everyday lives, and believable facial behavior is crucial for the success of a virtual character. This thesis states that the facial expressions of virtual characters should be designed so that they would be able to express a rich variety of different emotions and emotional intensities, and that blending and exaggerating facial expressions can be used to bring variety to facial expressions. This thesis also considers the uncanny valley phenomenon, which implies that even though increasing realism increases familiarity and likability of cartoony characters, very realistic characters can appear eerie, disgusting and horrifying instead. This thesis explores the possibility to express complex emotions by blending the expressions of basic emotions: anger, disgust, fear, joy, sadness and surprise. The thesis introduces a physically-based facial model and a method of producing anatomically correct basic emotion blends. Using a series of questionnaires, it was found that while some of the blends were perceived as pure basic emotions or combinations of two basic emotions, some blends induced perceptions of complex emotions, such as shame or malicious joy. It is generally believed in the animation community that the expressions and movements of less realistic characters should be exaggerated to convey sufficient emotional intensity, but exaggerating highly realistic characters can lead to a strange appearance. This belief was supported by a study using a questionnaire to measure how people perceive the same facial expressions on different levels of realism and with different levels of exaggeration. Moreover, it was found that the maximum emotional intensity that can be reached without a strange appearance appears to be roughly the same on all levels of realism. In the uncanny valley literature, it is usually assumed that perceived strangeness is primarily associated with a negative emotional response, such as fear and disgust. This thesis introduces a study where emotional reactions to facial images were studied using facial electromyography and a self-assessment questionnaire. It was found that the primary emotional reaction to strangeness was amusement, instead of negative emotions. This thesis provides insight into how blending and exaggeration can be used to create believable facial animation with expressions of various emotions on various intensities. Furthermore, this thesis advances the understanding of perception of facial expressions in general, as well as the uncanny valley phenomenon.

Kasvonilmeillä on suuri merkitys sosiaalisessa vuorovaikutuksessa. Teknologian mahdollistaessa yhä realistisempien virtuaalisten ihmishahmojen luomisen niiden läsnäolo arjessamme voi lisääntyä, ja virtuaalisen hahmon onnistumisen kannalta sen kasvonilmeiden uskottavuus on olennaisen tärkeää. Tämä väitöskirja esittää, että virtuaalihahmojen kasvonilmeet pitäisi suunnitella niin, että ne kykenisivät ilmaisemaan laajasti erilaisia tunteita ja tunteiden voimakkuuksia, ja että ilmeiden yhdistelyä ja liioittelua voidaan käyttää ilmaistun tunneskaalan laajentamiseen. Tässä väitöskirjassa käsitellään myös outo laakso -ilmiötä, joka tarkoittaa sitä, että vaikka piirrosmaisilla hahmoilla korkeampi realismin taso lisää hahmon miellyttävyyttä ja tuttuutta, hyvin realistiset ihmishahmot voivat kuitenkin vaikuttaa pikemminkin oudoilta, inhottavilta tai kauhistuttavilta. Tässä väitöskirjassa tutkitaan mahdollisuutta ilmaista monipuolisempia tunteita yhdistelemällä kasvonilmeitä, joilla ilmaistaan perustunteita ilo, suru, viha, inho, pelko ja yllätys. Väitöskirjassa esitellään fysiikkaperusteinen kasvomalli ja menetelmä anatomisesti oikeaoppisten yhdistelmäilmeiden luomiseksi. Kyselyjen avulla selvitettiin, miten ihmiset havaitsevat näitä ilmeitä. Vaikka osa yhdistelmäilmeistä havaittiin yksittäisenä perustunteena tai kahden perustunteen yhdistelmänä, osa yhdistelmistä tuotti havainnon monipuolisemmasta tunteesta, kuten häpeä tai vahingonilo. Animaatioyhteisössä uskotaan yleisesti, että vähemmän realististen hahmojen liikkeitä ja ilmeitä tulee liioitella riittävän voimakkaan tunneilmaisun saavuttamiseksi, mutta hyvin realististen hahmojen liioittelu sen sijaan voi johtaa outoon lopputulokseen. Kyselyssä, jossa mitattiin, miten sama kasvonilme havaitaan eri realismin ja liioittelun tasoilla, löydettiin tukea tälle uskomukselle. Lisäksi huomattiin, että korkein tunteen voimakkuus, joka liioittelulla voidaan saavuttaa, on suunnilleen sama kaikilla realismin tasoilla. Aikaisemmassa kirjallisuudessa on usein oletettu, että outo laakso -ilmiössä havaittuun outouteen liittyvä tunnereaktio sisältää ensisijaisesti kielteisiä tunteita, kuten pelkoa ja vihaa. Tässä väitöskirjassa esitellään tutkimus, jossa kasvokuvien aiheuttamia tunnereaktioita tutkittiin kasvolihasten lihassähkökäyrän ja itsearviointikyselyn avulla. Tutkimuksessa todettiin, että kielteisten tunteiden sijasta ensisijainen tunnereaktio outouden yhteydessä oli huvittuneisuus. Tämä väitöskirja antaa tietoa siitä, miten ilmeiden yhdistelyä ja liioittelua voi käyttää hyväksi uskottavan kasvoanimaation luomiseksi niin, että tunteita ilmaistaan laajalla skaalalla niin tunteiden määrän kuin tunteiden voimakkuuksienkin suhteen. Lisäksi tämä väitöskirja edistää ymmärrystä kasvonilmeiden havaitsemisesta yleisesti sekä outo laakso -ilmiöstä.

Description

Supervising professor

Takala, Tapio, Prof., Aalto University, Department of Computer Science, Finland

Thesis advisor

Takala, Tapio, Prof., Aalto University, Department of Computer Science, Finland

Keywords

facial animation, virtual characters, facial expressions, uncanny valley, kasvoanimaatio, virtuaalihahmot, kasvonilmeet, outo laakso

Other note

Parts

  • [Publication 1]: Meeri Mäkäräinen, Tapio Takala. An approach for creating and blending synthetic facial expressions of emotion. In 9th International Conference on Intelligent Virtual Agents (IVA2009), Amsterdam, TheNetherlands, Lecture Notes in Computer Science, Volume 5773, pp. 243–249, September 2009.
    DOI: 10.1007/978-3-642-04380-2_27 View at publisher
  • [Publication 2]: Meeri Mäkäräinen, Jari Kätsyri, Tapio Takala. Perception of basic emotion blends from facial expressions of virtual characters: pure, mixed or complex? In 26. International Conference in Central Europeon Computer Graphics, Visualization and Computer Vision 2018 (WSCG 2018), Plzen, Czech Republic, pp. 135–142, May/June 2018.
    DOI: 10.24132/CSRN.2018.2802.17 View at publisher
  • [Publication 3]: Meeri Mäkäräinen, Jari Kätsyri, Tapio Takala. Exaggerating facial expressions: A way to intensify emotion or a way to the uncanny valley? Cognitive Computation, 2014, vol. 6, no. 4, pp. 708–721.
    DOI: 10.1007/s12559-014-9273-0 View at publisher
  • [Publication 4]: Meeri Mäkäräinen, Jari Kätsyri, Klaus Förger, Tapio Takala. The funcanny valley: A study of positive emotional reactions to strangeness. In 19th International Academic Mindtrek Conference, Tampere, Finland, pp. 175–181, September 2015.
    DOI: 10.1145/2818187.2818292 View at publisher

Citation

Permanent link to this item

https://urn.fi/URN:ISBN:978-952-60-8813-6

Collections

[diss] Perustieteiden korkeakoulu / SCI