Film Mood: Assessment, Analysis, and Computational Modeling

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Laaksonen, Jorma, Dr., Aalto University, Department of Computer Science, Finland
dc.contributor.author Tarvainen, Jussi
dc.date.accessioned 2017-09-27T09:04:20Z
dc.date.available 2017-09-27T09:04:20Z
dc.date.issued 2017
dc.identifier.isbn 978-952-60-7614-0 (electronic)
dc.identifier.isbn 978-952-60-7615-7 (printed)
dc.identifier.issn 1799-4942 (electronic)
dc.identifier.issn 1799-4934 (printed)
dc.identifier.issn 1799-4934 (ISSN-L)
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/28075
dc.description.abstract Film is an affective art form. Mainstream films in particular are carefully designed to provide viewers with affective experiences, and while the exact nature of this experience differs from film to film, the general strategy is notably consistent: films tell engaging stories populated by empathetic characters and presented cinematically in a way that grabs the viewers’ attention, holds them in suspense, and elicits various emotions. Together, these narrative and aesthetic means lend each film scene a distinct mood, which describes the affective expression of the scene. By conveying a film’s intent to evoke a certain affective experience, film mood can provide insight into the ways in which films affect viewers. It can also be used to describe and classify films based on their affective properties. As such, the concept of film mood may prove helpful not only from the perspective of film studies, but computer science as well, in which recent efforts have sought to develop methods to estimate the affective content of films based on features detected computationally from the film material. This dissertation studies film mood from the dual perspectives of cognitive film studies and computer science; that is, both perceptually and computationally. It has three main objectives: to determine which factors should be considered when assessing film mood, to examine some of the perceptual properties of film mood, and to investigate the extent to which ratings of film mood can be modeled with computational features. To this end, two user studies were conducted, and the data collected in the studies was used for both a perceptual analysis of film mood and for computational modeling of mood ratings. The modeling involved both commonly used low-level computational features as well as state-of-the-art high-level features. The results showed that film mood was an intuitive concept for viewers to assess and robust against individual differences between assessors. They also showed that the perceived intersity of film scenes tended to follow a rise–plateau–fall structure, that extremely negative and positive moods were most common in scenes where music had the most prominent role on the soundtrack, and that the stylistic attributes of a scene were most strongly related to how energetic the scene was perceived to be. Lastly, the results showed that the low- and high-level computational features complemented one another, providing unique contributions to mood modeling. Together, the results indicate that the concept of film mood is a useful one in terms of both film studies and computer science. By illuminating some of the ways in which film mood is related to both perceptual attributes and computational features, the dissertation contributes to recent efforts in these two fields to increase understanding about the affective experience of film and to improve the characterization of film contents by incorporating affective properties into the description. en
dc.description.abstract Elokuva on tunnepitoinen taidemuoto. Erityisesti valtavirtaelokuvissa tunnekokemusten tarjoaminen katsojille on keskeinen pyrkimys, ja vaikka tämän kokemuksen luonne vaihteleekin elokuvasta toiseen, käytetyt keinot ovat pääpiirteittäin samat: elokuvat kertovat mukaansatempaavia, empaattisten hahmojen täyttämiä tarinoita, joiden esitystapa kiinnittää katsojien mielenkiinnon, pitää heidät jännityksessä ja herättää erilaisia tunteita. Näiden kerronnallisten ja esteettisten keinojen vaikutuksesta jokaisella elokuvakohtauksella on oma tunneilmaisunsa, jota voidaan myös kutsua kohtauksen tunnelmaksi. Koska tunnelma ilmaisee elokuvan pyrkimyksen saada katsojissa aikaan tietynlaisia tunnekokemuksia, sen avulla voidaan havainnollistaa niitä tapoja, joilla elokuvat vaikuttavat katsojiin. Sen avulla voidaan myös kuvailla ja luokitella elokuvia niiden tunneilmaisun mukaan. Näin ollen tunnelman käsitteestä on potentiaalista hyötyä paitsi elokuvatutkimuksessa, myös tietojenkäsittelytieteessä, jossa on hiljattain pyritty kehittämään menetelmiä elokuvien tunnesisällön kuvailemiseksi materiaalista laskennallisesti tunnistettujen piirteiden avulla. Tämä väitöskirja tarkastelee elokuvan tunnelmaa kognitiivisen elokuvatutkimuksen ja tietojenkäsittelytieteen näkökulmasta, eli sekä havainnollisesti että laskennallisesti. Työllä on kolme päätavoitetta: selvittää, mitä tekijöitä tulee huomioida elokuvan tunnelmaa arvioidessa, tarkastella tunnelman havainnollisia ominaisuuksia sekä tutkia, missä määrin tunnelmaa voidaan mallintaa laskennallisilla piirteillä. Näiden pyrkimysten valossa järjestettiin kaksi henkilötestiä, joissa kerättyä dataa käytettiin sekä havaintotason analyysiin että tunnelma-arvioiden laskennalliseen mallinnukseen. Laskennallisessa osuudessa tarkasteltiin sekä yleisesti käytettyjä matalan tason laskennallisia piirteitä että parhaita käytettävissä olevia korkean tason piirteitä. Tulokset osoittivat tunnelman olleen intuitiivinen käsite arvioida sekä epäherkkä arvioijien yksilöllisten erojen vaikutukselle. Ne osoittivat myös, että elokuvakohtausten tunnelman intensiteetti noudatti yleisesti kasvu–tasaantuminen–lasku-muotoista rakennetta, että äärimmäisen negatiivisia ja positiivisia tunnelmia esiintyi yleisimmin kohtauksissa, joissa musiikilla oli merkittävin rooli ääniraidalla, ja että kohtauksen tyylipiirteet kytkeytyivät vahvimmin kohtauksen havaittuun energisyyteen. Lisäksi tulokset osoittivat, että matalan ja korkean tason laskennalliset piirteet tukivat toisiaan tunnelman mallinnuksessa. Tulosten perusteella elokuvan tunnelma on hyödyllinen käsite sekä elokuvatutkimuksen että tietojenkäsittelytieteen kannalta. Tuomalla esille tapoja, joilla tunnelma kytkeytyy erinäisiin havainnollisiin ja laskennallisiin piirteisiin, väitöskirja edistää näiden kahden tieteenalan viimeaikaisia pyrkimyksiä lisätä ymmärrystä elokuvan tunnekokemuksesta ja parantaa elokuvasisältöjen kuvailua tuomalla tunneilmaisu sen osaksi. fi
dc.format.extent 113 + app. 63
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.ispartofseries Aalto University publication series DOCTORAL DISSERTATIONS en
dc.relation.ispartofseries 176/2017
dc.relation.haspart [Publication 1]: J. Tarvainen, S. Westman, P. Oittinen, Stylistic features for affectbased movie recommendations, in Lecture Notes in Computer Science, vol. 8212: Human Behavior Understanding, 4th International Workshop,HBU 2013, A. A. Salah, H. Hung, O. Aran, and H. Gunes, Eds., pp. 52–63. Cham, Switzerland: Springer, 2013. DOI: 10.1007/978-3-319-02714-2_5
dc.relation.haspart [Publication 2]: J. Tarvainen, S. Westman, P. Oittinen, The way films feel: aesthetic features and mood in film, Psychology of Aesthetics, Creativity, and the Arts, vol. 9, no. 3, pp. 254–265, 2015.DOI: 10.1037/a0039432
dc.relation.haspart [Publication 3]: J. Tarvainen, M. Sjöberg, S. Westman, J. Laaksonen, P. Oittinen, Content-based prediction of movie style, aesthetics and affect: data set and baseline experiments, IEEE Transactions on Multimedia, vol. 16, no. 8, pp. 2085–2098, 2014. DOI: 10.1109/TMM.2014.2357688
dc.relation.haspart [Publication 4]: J. Tarvainen, J. Laaksonen, T. Takala, Film mood and its quantitative determinants in different types of scenes, submitted to IEEE Transactions on Affective Computing, 20 August 2017. DOI: 10.1109/TAFFC.2018.2791529
dc.subject.other Visual culture en
dc.title Film Mood: Assessment, Analysis, and Computational Modeling en
dc.title Elokuvan tunnelma: arviointi, analyysi ja laskennallinen mallinnus fi
dc.type G5 Artikkeliväitöskirja fi
dc.contributor.school Perustieteiden korkeakoulu fi
dc.contributor.school School of Science en
dc.contributor.department Tietotekniikan laitos fi
dc.contributor.department Department of Computer Science en
dc.subject.keyword film en
dc.subject.keyword affect en
dc.subject.keyword aesthetics en
dc.subject.keyword perception en
dc.subject.keyword computational features en
dc.subject.keyword elokuva fi
dc.subject.keyword affekti fi
dc.subject.keyword estetiikka fi
dc.subject.keyword havaitseminen fi
dc.subject.keyword laskennalliset piirteet fi
dc.identifier.urn URN:ISBN:978-952-60-7614-0
dc.type.dcmitype text en
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.contributor.supervisor Takala, Tapio, Prof., Aalto University, Department of Computer Science, Finland
dc.contributor.supervisor Oittinen, Pirkko, Prof. Emer., Aalto University, Finland
dc.opn Benini, Sergio, Prof. Ass., University of Brescia, Italy
dc.subject.helecon tietotekniikka
dc.subject.helecon elokuvat
dc.subject.helecon tunteet
dc.subject.helecon arviointi
dc.subject.helecon kulttuurijohtaminen
dc.rev Smith, Tim J., Dr., University of London, UK
dc.rev Soleymani, Mohammed, Dr., University of Geneva, Switzerland
dc.date.defence 2017-10-20


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse