Real-time Implementation of the Virtual Air Slide Guitar

Abstract

Tässä diplomityössä esitellään reaaliaikainen slide-kitaran implementaatio ilmakitarakäyttöliittymällä. Aiempaa tutkimusta ja työn taustaa käydään lyhyesti läpi. Slide-kitaran analyysi- ja synteesimenetelmät kuvaillaan sekä käydään läpi myös vaihtoehtoisia menetelmiä.

Tämä reaaliaikainen implementaatio koostuu kolmesta pääosasta. Infrapunakamera seuraa käyttäjän liikkeitä ja eleitä, kameraohjelma tunnistaa käyttäjän eleet ja hoitaa laskutoimitukset kameran datalle. Pure Data -ohjelma syntetisoi slide-kitaran äänen kameraohjelmalta saadun tiedon perusteella.

Virtuaalista slide-kitaraa voi soittaa minimaalisella opettelulla. Käyttäjän tarvitsee vain heiluttaa käsiään kameran edessä kuullakseen kitaran äänen. Kuitenkin, jotta soittaja saisi aikaan oikeaa slide-kitaraa muistuttavaa soittoa, tulee käyttäjällä olla kokemusta kitaransoitosta, sillä käsin kosketeltavaa soitinta ei ole. Soitinjärjestelmällä on pieni viive ja se sisältää asetukset mm. slide-putken, kielten virityksen ja kielten valitsemiseen.

Vaikka ohjelma on kokonaisuudessaan melko raskas varsinkin vanhemmille tietokoneille, sen tuottama ääni ja varsinkin slide-putken ja kielten välinen kontaktiääni on onnistunut ja soitin kuulostaa sekä käyttäytyy kuten oikea slide-kitara.

Järjestelmää esittelevä video löytyy nimikkeellä "Virtual Slide Guitar" YouTube:sta (http://www.youtube.com/watch?v=eCPFYKq5zTk).

An implementation of a virtual slide guitar is presented. Previous work is viewed with brief background examination. The analysis and synthesis methods that were used in this thesis as well as other possibilities for analysis and synthesis of a slide guitar are described.

This real-time implementation consists of three main parts. An infra-red camera to track player movement and gestures, a camera API for gesture recognition and camera data handling and a Pure Data program to synthesize and output the slide guitar sound according to the guitarist's playing.

The Virtual Slide Guitar can be played with a minimal learning curve. All the player has to do is wave his/her hands in front of the camera. To play anything sounding like a real slide guitar, a player needs to be familiar with a guitar since no haptic feedback is available due to the air interface of the instrument. The VSG has a low latency and custom options for playing with different slide tubes, tunings, and strings.

Although computationally heavy for older computers, the sound and especially the contact sound of the slide tube and guitar strings works and the instrument sounds and acts like a real slide guitar.

A video demonstrating the Virtual Slide Guitar can be found on YouTube (http://www.youtube.com/watch?v=eCPFYKq5zTk).