Optimizing WebRTC for Cloud Streaming of XR
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021-08-23
Department
Major/Subject
Tietotekniikka
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
49
Series
Abstract
WebRTC is a multi-purpose technology, enabling low-latency peer-to-peer connections to be formed between clients over the internet. In addition to low latency, it provides signaling, and transmission of both binary data messages and multimedia, making it a powerful tool for streaming extended reality (XR) content. This thesis measured the latency of WebRTC streaming of remotely rendered XR content. The latency is broken down into components, and the feasibility of reducing each component is studied, optimizing the stream for as low latency as possible, without compromising stream quality. Measurements were conducted in a local network, and network conditions were adjusted using a software utility. The server-client delay is found to consist of encoding, decoding, rendering, networking, and buffering delays. Movement-to-photon latency also includes display latency as well as control delay consisting of the time it takes to register the controls, time it takes to transmit the controls to the server, and time it takes to render the effect. After jitter buffering, video encoding and decoding delay are minimized, the biggest causes of latency are rendering rate bound delay components. The primary method of further reducing the latency is therefore found to be increasing the rendering rate. This can also help counteract skipping frames in non-optimal network conditions. Limiting jitter buffering to a short duration can also stabilize the stream, while keeping latency limited.WebRTC on monikäyttöinen teknologia, joka mahdollistaa pieniviiveisten suorien yhteyksien muodostamisen päätelaitteiden välille internetissä. Matalan viiveensä lisäksi se toteuttaa signaloinnin yhteyden aloittamisesta, sekä binääridatan ja multimedian lähettämisen, tehden siitä voimakkaan työkalun laajennetun todellisuuden (XR) suoratoistoon. Tämä diplomityö mittasi viivettä etäpalvelimelta WebRTC:llä suoratoistetussa XR sovelluksessa. Viive puretaan osiin, ja osien lyhentämistä tutkitaan, jotta saavutetaan mahdollisimman pieni viive, horjuttamatta lähetyksen laatua. Mittaukset suoritettiin paikallisessa verkossa, jonka olosuhteita säädettiin ohjelmapohjaisesti. Viive palvelimelta käyttölaitteelle koostuu enkoodauksesta, dekoodauksesta, renderöinnistä, verkkoviiveestä ja puskuroinnista. Viive ohjaimen liikuttamisesta muutokseen näytöllä sisältää lisäksi näyttöviiveen sekä ohjausviiveen, joka koostuu ohjauksen rekisteröintiin kuluvasta ajasta, ohjauksen toimittamisesta palvelimelle, ja vaikutusten renderöintiin kuluvasta ajasta. Puskuroinnista, enkoodauksesta ja dekoodauksesta johtuvien viiveiden minimoinnin jälkeen, viivettä aiheuttavat enimmäkseen renderöintitaajuuteen sidotut viiveen osat. Siksi viiveen laskemiseksi entisestään tulee ensisijaisesti nostaa renderöintitaajuutta. Tämä voi myös vähentää ohitettujen kuvien määrää epäoptimaalisissa verkko-olosuhteissa. Myös puskuroinnin rajoittaminen pieneen kestoon voi pitää määrän pienenä, rajoittaen samalla viivettä.Description
Supervisor
Ylä-Jääski, AnttiThesis advisor
Siekkinen, MattiKeywords
WebRTC, latency, extended reality, cloud, remote rendering