Understanding and Optimizing Delay-Sensitive Interactive Mobile Application Systems

Abstract

Mobile video services are usually offered through centralized cloud servers and account for over half of the total data consumption of mobile networks. In addition to the traditional video applications, new types of latency critical video services have emerged in recent years which also require or would benefit from cloud deployment. These applications include mobile cloud gaming, mobile augmented and virtual reality and deep-learning based applications which utilize object detection and recognition models. The latency from user input to response needs to be low for all of the example applications to ensure a good quality of experience. This makes the deployment of such services difficult as the service provider needs to consider the entire delay pipeline from the user device to the cloud server. In this thesis, we dissect the entire delay pipeline in latency critical mobile video applications through extensive measurements. We introduce novel ways to measure the client hardware delays and inject timing hooks into real applications to determine the largest latency bottlenecks in latency critical mobile applications. For deep learning based object detection and recognition, we compare mobile and server-side performance and show multiple latency-throughput trade-offs when tuning the system parameters. In our latency studies, we use real application scenarios and also provide optimization strategies for remote rendered applications. Regarding cloud gaming, we perform a Europe-wide latency study to determine the impact of data center location count to the overall latency. We vary the data center location count, network access method, and control input. We show that in specific scenarios it is possible to deploy a cloud gaming service in which the user cannot perceive the delay from user input to response on the device display even with current networks and devices. We also study the server-side architecture possibilities and show how containers can be a more lightweight solution than traditional virtual machines in remote rendering applications. In addition, we present specific methods to extend remote rendering also to virtual reality applications which have even stricter latency requirements than traditional cloud gaming. Our optimization strategies hide the latencies related to user head movement from the user and hinders the server-side computational requirements by utilizing dynamic object placement and various graphics optimization methods. Using the findings of this thesis, service providers can design the architecture and distribution of their systems based on the specific latency requirements of their application.

Matkapuhelinverkkojen liikenteestä yli puolet aiheutuu videopalveluista, jotka palveluntarjoaja yleensä tarjoaa keskitettyjen pilvipalveluiden kautta. Perinteisten videopalveluiden rinnalle on syntynyt viime vuosina uusi latenssikriittisten sovellusten joukko, jotka voivat myös hyötyä pilvijakelusta. Näitä sovelluksia ovat esimerkiksi mobiilipilvipelaaminen, lisättyä ja virtuaalitodellisuutta hyödyntävät sovellukset, sekä objektin tunnistamista ja luokittelua hyödyntävät syviin neuroverkkoihin perustuvat sovellukset. Kaikille sovelluksille on yhteistä tarve erittäin lyhyelle viiveelle käyttäjän syötteestä järjestelmän vasteelle. Latenssikriittisten palveluiden tarjoaminen on haastavaa, koska palveluntarjoajan on huomioitava koko viiveketju käyttäjän laitteelta pilvipalvelimelle. Tässä väitöskirjassa tutkitaan mittausten avulla viiveen muodostumista asiakaslaitteessa, verkossa sekä palvelimella. Asiakaslaitteen viivemittauksiin esitetään uusia menetelmiä, joiden avulla viiveet voidaan mitata tarkasti ja tehokkaasti. Syviä neuroverkkoja hyödyntävien sovellusten suorituskykyä vertaillaan mobiililaitteen ja palvelinlaskennan välillä ja osoitetaan miten eri parametrit vaikuttavat viiveeseen ja läpisyöttöön. Viivemittaukset toteutetaan oikeiden sovelluskohteiden avulla ja näihin esitetään myös järjestelmän optimointitapoja. Työssä on toteutettu Euroopan laajuinen viivetutkimus, jossa määritetään palvelinkeskuslokaatioiden määrän vaikutus kokonaisviiveeseen. Tutkimuksessa vaihdellaan palvelinlokaatioiden määrää, yhteystapaa sekä käyttäjän syötettä ja näytetään, että tietyin ehdoin voidaan toteuttaa pilvipelaamispalvelu, jonka viivettä käyttäjä ei huomaa. Työssä tutkitaan myös palvelinpuolen arkkitehtuurin vaihtoehtoja. Näytämme miten käyttöjärjestelmätason virtualisointi (engl. containers) on perinteisiä virtuaalikoneita suorituskykyisempi vaihtoehto. Lisäksi työssä esitellään tapoja, joilla etärenderöinti voidaan laajentaa myös virtuaalitodellisuuden sovelluksiin piilottamalla viive käyttäjältä. Ratkaisu mahdollistaa myös dynaamisen objektien siirron palvelimen ja laitteen välillä. Tässä työssä esitettyjen tulosten avulla palveluntarjoaja pystyy paremmin suunnittelemaan järjestelmänsä arkkitehtuurin ja hajauttamisen tarjottavien sovellusten viiverajojen perusteella.