Jäykkien kappaleiden törmäysäänien toteuttaminen modaalisellaäänisynteesillä

Abstract

Tyypillisen tietokonepelin äänisuunnittelu perustuu äänitettyjen äänitiedostojen toistamiseen pelin aikana. Monimuotoisen vuorovaikutuksen kuvaaminen äänitettyyn ääneen perustuvalla toteutuksella vaatii laajan äänikirjaston. Ennalta äänitettyjen äänitiedostojen sijasta pelimaailman ääniä voi toteuttaa äänisynteesillä. Äänisynteesitoteutus voi potentiaalisesti lisätä pelimaailman todenmukaisuutta sekä jouduttaa pelin äänisuunnitteluun liittyvää työtä.

Tässä tutkimuksessa selvitettiin modaalisen äänisynteesin soveltuvuutta jäykkien kappaleiden törmäysäänien kuvaamiseen ja toteutustavan vaikutuksia koettuun realismiin. Selvitys tapahtui vertailemalla äänitettyyn ääneen ja äänisynteesiin perustuvien toteutuksien koettua realismia kuuntelukokeessa.

Tutkimusta varten toteutettiin virtuaalimaailma Unity-ohjelmistolla sekä Unity-lisäosa, joka syntetisoi törmäysääniä modaalisen äänisynteesin avulla. Modaalista äänisynteesiä varten toteutettiin analyysiohjelma ChucK-ohjelmointikielellä, joka laskee äänisynteesiä varten tarvittavat parametrit referenssiäänen perusteella.

18 koehenkilöä arvioi virtuaalimaailmasta äänitettyjen näytteiden realismia Audio Perceptual Evaluation (APE) -menetelmällä käyttäen selainpohjaista Web Audio Evaluation Tool -työkalua. Kokeessa arvioitiin seitsemää eri toteutusmetodia kuudessa kohtauksessa. Tulosten perusteella residuaalikomponentin käyttö modaalisessa äänisynteesissä paransi huomattavasti koehenkilöiden kokemusta realismista verrattuna muihin äänisynteesimenetelmiin. Moodien määrän nosto viidestä kahteenkymmeneen ei aiheuttanut tilastollisesti merkitsevää muutosta koetussa realismissa. Äänitettyyn ääneen perustuva toteutus arvioitiin synteesitoteutusta merkitsevästi realistisemmaksi kolmessa kohtauksessa kuudesta.

Sound design of a typical computer game is based on playback of recorded audio files during the game. Capturing diverse interactions with sample-based implementation requires an extensive audio library. Instead of pre-recorded audio files, the sounds of a game can be realized with audio synthesis. Audio synthesis implementation can potentially increase the realism of a game and speed up the game's sound design work.

This study investigated the applicability of modal sound synthesis for rigid body impact sounds by evaluating the perceived realism of different sound design implementations. The study compared the perceived realism of the synthesis-based and sample-based implementations in a listening test.

In this research, Unity software was used to implement a virtual world. Also, a Unity plugin that synthesizes collision sounds using modal audio synthesis was integrated into the Unity implementation. An analysis program was implemented using ChucK programming language for modal audio synthesis. The analysis program calculates the parameters needed for audio synthesis from a reference tone.

Eighteen subjects assessed the realism of samples recorded from the virtual world using the Audio Perceptual Evaluation (APE) method with a web-based Web Audio Evaluation Tool. The experiment evaluated seven different implementation methods in six scenes. Based on the results, the use of a residual component in modal synthesis significantly improved the subjects' experience of realism when compared with other synthesis methods. Increasing the number of modes from 5 to 20 in modal synthesis did not cause a statistically significant change in the perceived realism. The sample-based method was judged to be more realistic compared to synthesis in three out of six scenes.