Audio Synthesis and Effects Processing with Web Browser in Open Web

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2016-02-15
Department
Major/Subject
Mediatekniikka
Mcode
T3004
Degree programme
Tietotekniikan koulutusohjelma
Language
en
Pages
54
Series
Abstract
This thesis examines the viability of audio synthesis and effects processing in open web with and within a web browser. Two use cases are presented: local audio synthesis in web browser utilizing PNaCl and Emscripten technologies, and audio synthesis as a service utilizing Web Sockets and WebRTC technologies. Devised test procedures aim to find out the end-to-end audio latency and polyphony performance of the implemented systems. The second use case is also examined from general perspective on distributed audio applications by gained experience while doing this work. After a short introduction the thesis present more thorough background to the subject and describes the related concepts and used technologies. The use cases and test procedures and settings are introduced next along with measured results. The results are analysed and discussed after and finally the conclusions are presented. The lowest latency was achieved with PNaCl measuring 39 milliseconds for real-time audio synthesis in web browser, being on the par with baseline measurements with native desktop performance. The lowest latency for Emscripten was measured to be 48 milliseconds. In the second use case, WebRTC achieved 833 millisecond latency and Web Sockets implementation was found to be inapplicable for real-time streaming not being able to produce clean audio playback.

Tämä työ tutkii äänisynteesin ja tehosteprosessoinnin tehokkuutta verkkoselaimella avoimessa internetissä. Työssä esitetään kaksi käyttötapausta: lokaali äänisynteesi verkkoselaimessa käyttäen PNaCl ja Emscripten -tekniikoita, sekä pilvipalveluna tarjottu äänisynteesi käyttäen Web Sockets ja WebRTC -tekniikoita. Laaditut testausmenetelmät pyrkivät selvittämään kunkin asetelman päästä-päähän synnyttämää viivettä äänisynteesissä sekä polyfonia suorituskykyä. Toista käyttötapausta tarkastellaan myös yleisemmästä näkökulmasta keskittyen hajautettuihin äänisovelluksiin perustuen tästä työstä saatuun kokemukseen. Lyhyen johdannon jälkeen työ esittelee tarkemmin olennaiset käsitteet sekä käytety teknologiat. Seuraavaksi käyttötapaukset, testausmenetelmät kuvataan ja tulokset esitetään. Tulokset analysoidaan ja niitä pohditaan tämän jälkeen, ja lopuksi esitetään työn loppupäätelmät. Alhaisin saavutettu päästä-päähän viive tässä työssä oli 39 millisekuntia käyttäen PNaCl-tekniikkaa, ollen tasoissa natiivin kontrollimittauksen kanssa. Emscripten-tekniikkaa hyödyntäen selain pystyi 48 millisekunnin viiveisiin. Toisessa käyttötapauksessa WebRTC ylsi 833 millisekunnin viiveisiin ja Web Sockets toteutus havaittiin kykenemättömäksi reaaliaikaiseen median suoratoistoon.
Description
Supervisor
Vuorimaa, Petri
Thesis advisor
Kleimola, Jari
Keywords
audio synthesis, web audio api, emscripten, pnacl, latency
Other note
Citation