Blending and Exaggeration of Animated Facial Expressions of Emotion

Abstract

Facial expressions have a very important role in social communication. As the development of technology enables more and more realistic virtual humans, they may become much more common in our everyday lives, and believable facial behavior is crucial for the success of a virtual character. This thesis states that the facial expressions of virtual characters should be designed so that they would be able to express a rich variety of different emotions and emotional intensities, and that blending and exaggerating facial expressions can be used to bring variety to facial expressions. This thesis also considers the uncanny valley phenomenon, which implies that even though increasing realism increases familiarity and likability of cartoony characters, very realistic characters can appear eerie, disgusting and horrifying instead. This thesis explores the possibility to express complex emotions by blending the expressions of basic emotions: anger, disgust, fear, joy, sadness and surprise. The thesis introduces a physically-based facial model and a method of producing anatomically correct basic emotion blends. Using a series of questionnaires, it was found that while some of the blends were perceived as pure basic emotions or combinations of two basic emotions, some blends induced perceptions of complex emotions, such as shame or malicious joy. It is generally believed in the animation community that the expressions and movements of less realistic characters should be exaggerated to convey sufficient emotional intensity, but exaggerating highly realistic characters can lead to a strange appearance. This belief was supported by a study using a questionnaire to measure how people perceive the same facial expressions on different levels of realism and with different levels of exaggeration. Moreover, it was found that the maximum emotional intensity that can be reached without a strange appearance appears to be roughly the same on all levels of realism. In the uncanny valley literature, it is usually assumed that perceived strangeness is primarily associated with a negative emotional response, such as fear and disgust. This thesis introduces a study where emotional reactions to facial images were studied using facial electromyography and a self-assessment questionnaire. It was found that the primary emotional reaction to strangeness was amusement, instead of negative emotions. This thesis provides insight into how blending and exaggeration can be used to create believable facial animation with expressions of various emotions on various intensities. Furthermore, this thesis advances the understanding of perception of facial expressions in general, as well as the uncanny valley phenomenon.

Kasvonilmeillä on suuri merkitys sosiaalisessa vuorovaikutuksessa. Teknologian mahdollistaessa yhä realistisempien virtuaalisten ihmishahmojen luomisen niiden läsnäolo arjessamme voi lisääntyä, ja virtuaalisen hahmon onnistumisen kannalta sen kasvonilmeiden uskottavuus on olennaisen tärkeää. Tämä väitöskirja esittää, että virtuaalihahmojen kasvonilmeet pitäisi suunnitella niin, että ne kykenisivät ilmaisemaan laajasti erilaisia tunteita ja tunteiden voimakkuuksia, ja että ilmeiden yhdistelyä ja liioittelua voidaan käyttää ilmaistun tunneskaalan laajentamiseen. Tässä väitöskirjassa käsitellään myös outo laakso -ilmiötä, joka tarkoittaa sitä, että vaikka piirrosmaisilla hahmoilla korkeampi realismin taso lisää hahmon miellyttävyyttä ja tuttuutta, hyvin realistiset ihmishahmot voivat kuitenkin vaikuttaa pikemminkin oudoilta, inhottavilta tai kauhistuttavilta. Tässä väitöskirjassa tutkitaan mahdollisuutta ilmaista monipuolisempia tunteita yhdistelemällä kasvonilmeitä, joilla ilmaistaan perustunteita ilo, suru, viha, inho, pelko ja yllätys. Väitöskirjassa esitellään fysiikkaperusteinen kasvomalli ja menetelmä anatomisesti oikeaoppisten yhdistelmäilmeiden luomiseksi. Kyselyjen avulla selvitettiin, miten ihmiset havaitsevat näitä ilmeitä. Vaikka osa yhdistelmäilmeistä havaittiin yksittäisenä perustunteena tai kahden perustunteen yhdistelmänä, osa yhdistelmistä tuotti havainnon monipuolisemmasta tunteesta, kuten häpeä tai vahingonilo. Animaatioyhteisössä uskotaan yleisesti, että vähemmän realististen hahmojen liikkeitä ja ilmeitä tulee liioitella riittävän voimakkaan tunneilmaisun saavuttamiseksi, mutta hyvin realististen hahmojen liioittelu sen sijaan voi johtaa outoon lopputulokseen. Kyselyssä, jossa mitattiin, miten sama kasvonilme havaitaan eri realismin ja liioittelun tasoilla, löydettiin tukea tälle uskomukselle. Lisäksi huomattiin, että korkein tunteen voimakkuus, joka liioittelulla voidaan saavuttaa, on suunnilleen sama kaikilla realismin tasoilla. Aikaisemmassa kirjallisuudessa on usein oletettu, että outo laakso -ilmiössä havaittuun outouteen liittyvä tunnereaktio sisältää ensisijaisesti kielteisiä tunteita, kuten pelkoa ja vihaa. Tässä väitöskirjassa esitellään tutkimus, jossa kasvokuvien aiheuttamia tunnereaktioita tutkittiin kasvolihasten lihassähkökäyrän ja itsearviointikyselyn avulla. Tutkimuksessa todettiin, että kielteisten tunteiden sijasta ensisijainen tunnereaktio outouden yhteydessä oli huvittuneisuus. Tämä väitöskirja antaa tietoa siitä, miten ilmeiden yhdistelyä ja liioittelua voi käyttää hyväksi uskottavan kasvoanimaation luomiseksi niin, että tunteita ilmaistaan laajalla skaalalla niin tunteiden määrän kuin tunteiden voimakkuuksienkin suhteen. Lisäksi tämä väitöskirja edistää ymmärrystä kasvonilmeiden havaitsemisesta yleisesti sekä outo laakso -ilmiöstä.