aalto1 untyped-item.component.html
Graphic adaptation in soundscapes: Generating the visual sound
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Arts, Design and Architecture |
Master's thesis
Location:
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
Degree programme
Language
en
Pages
59
Series
Abstract
In an audio-visual universe of storytelling, the soundscape conveys narrative information generally alongside its visual counterpart. This thesis focuses on the concept of a graphical adaptation of sound when soundscape acts as a crucial means in storytelling. In this artistic research, the notion of visual soundscapes is considered in the context of audio-visual storytelling in one of its main mediums – that of a film. The research is additionally reviewing the concept of graphical sound adaptation in music video narrative, focusing on the structural elements such as the spatial information of moving objects and the visual elements on the screen that are causing the strategic sound impulses.
The aim of the research is to establish an experimental concept for the graphical representation of soundscapes in the context of the audio-visual narrative, by studying how the sound conveys the narrative information and focusing on the key factors that are generating the sound.
The research is pursuing to answer the core question; would an audio-visual presentation benefit from the additional element, which aims to enhance or augment the narrative devices? The study also provides an insight into contemplating graphic design as an asset for sonic narrative in filmmaking; it would appear beneficial in the context of accessibility, considering research results.
A typical application for using the concept of visual soundscapes could be an accessible device in audio-visual presentation – for example as an alternative solution to assistive subtitling in a movie for hearing impaired viewers. This could be considered as a complementary method to Closed captions, which is currently the most practical mechanism used for accessibility to translate sonic narrative into apprehensible dramatic information in the audio-visual narrative.
The practical artistic part of this thesis consists of two experimentation video works: the Graphical Sound, which seeks to indicate the most crucial sonic events on the screen by graphic design methods, and Visual Music, which offers a soundscape generated graphic indication in relation to the characters, the space, and the sonic impulses. The video material is provided in this paper by short clips and external links to the self-hosted portfolio site.
Tämä opinnäytetyö keskittyy äänen graafiseen representaatioon audiovisuaalisen tarinankerronnan kontekstissa. Graafisen äänen metodia (the Graphical Sound) sovelletaan elokuvan kerrontaan. Tutkimuksen tavoitteena on luoda kokeellinen konsepti elokuvaäänen graafiselle mallintamiselle, tutkimalla äänen asemaa informaation välittäjänä kerronnassa ja keskittymällä löytämään avaintekijät äänellsiessä narratiivissa.
Lisäksi tutkimus tarkastelee graafisen äänen konseptin mukauttamista musiikkivideon kerrontaan. Osa-alueella keskitytään liikkuviin objekteihin ja tilallisiin suhteisiin, ja siihen, miten ne ovat vuorovaikutuksessa äänimaiseman kanssa. Kokeellisessa musiikkivideossa (Visual Music) tärkeimmät osatekijät ovat strategiset impulssit, jotka generoituvat äänimaiseman ja esiintyjän synnyttämästä ilmiöstä.
Tutkimus tavoittelee vastaamaan keskeisimpään kysymykseen; hyötyisikö audiovisuaalinen esitys uudesta elementistä, joka pyrkii parantamaan ja laajentamaan sen yleisiä narratiivisia välineitä? Tutkimuksessa tarkastellaan myös graafisen suunnittelun toimivuutta äänikerronnan voimavarana elokuvanteossa – johtopäätöksen perusteella, konseptin soveltaminen elokuvan audiovisuaaliseen kerrontaan vaikuttaisi hyödylliseltä saavutettavuuden kannalta.
Tyypillinen konteksti graafisen äänen toteuttamiselle voisi olla audiovisuaalisen esityksen äänimaiseman representaatio kuuroille ja heikkokuuloisille – konseptina esimerkiksi kuvailevaa tekstitystä augmentoiva suunta- ja tilainformaatiota välittävä graafinen indikointi. Kuvaileva tekstitys (Closed Captions) on yleisin käytännön mekanismi elokuvan – kerronnan kannalta oleellisen – äänimaiseman välittämisessä.
Opinnäytetyön taiteellinen käytännön osio koostuu kahdesta kokeellisesta videotyöstä: the Graphical Sound (graafinen ääni) ja Visual Music (visuaalinen musiikki).
Molemmissa töissä toteutetaan tärkeimpien äänitapahtumien indikoimista graafisen suunnittelun avulla. Opinnäytetyö sisältää havainnollistavaa materiaalia lyhyinä videoklippeinä ja kuvina. Ulkoisten linkkien kautta on pääsy laajempaan portfolioon, jossa esitellään konseptia laajemmin videoesitysten muodossa.