Understanding and Optimizing Delay-Sensitive Interactive Mobile Application Systems

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2019-11-01
Date
2019
Major/Subject
Mcode
Degree programme
Language
en
Pages
62 + app. 66
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 188/2019
Abstract
Mobile video services are usually offered through centralized cloud servers and account for over half of the total data consumption of mobile networks. In addition to the traditional video applications, new types of latency critical video services have emerged in recent years which also require or would benefit from cloud deployment. These applications include mobile cloud gaming, mobile augmented and virtual reality and deep-learning based applications which utilize object detection and recognition models. The latency from user input to response needs to be low for all of the example applications to ensure a good quality of experience. This makes the deployment of such services difficult as the service provider needs to consider the entire delay pipeline from the user device to the cloud server. In this thesis, we dissect the entire delay pipeline in latency critical mobile video applications through extensive measurements. We introduce novel ways to measure the client hardware delays and inject timing hooks into real applications to determine the largest latency bottlenecks in latency critical mobile applications. For deep learning based object detection and recognition, we compare mobile and server-side performance and show multiple latency-throughput trade-offs when tuning the system parameters. In our latency studies, we use real application scenarios and also provide optimization strategies for remote rendered applications. Regarding cloud gaming, we perform a Europe-wide latency study to determine the impact of data center location count to the overall latency. We vary the data center location count, network access method, and control input. We show that in specific scenarios it is possible to deploy a cloud gaming service in which the user cannot perceive the delay from user input to response on the device display even with current networks and devices. We also study the server-side architecture possibilities and show how containers can be a more lightweight solution than traditional virtual machines in remote rendering applications. In addition, we present specific methods to extend remote rendering also to virtual reality applications which have even stricter latency requirements than traditional cloud gaming. Our optimization strategies hide the latencies related to user head movement from the user and hinders the server-side computational requirements by utilizing dynamic object placement and various graphics optimization methods. Using the findings of this thesis, service providers can design the architecture and distribution of their systems based on the specific latency requirements of their application.

Matkapuhelinverkkojen liikenteestä yli puolet aiheutuu videopalveluista, jotka palveluntarjoaja yleensä tarjoaa keskitettyjen pilvipalveluiden kautta. Perinteisten videopalveluiden rinnalle on syntynyt viime vuosina uusi latenssikriittisten sovellusten joukko, jotka voivat myös hyötyä pilvijakelusta. Näitä sovelluksia ovat esimerkiksi mobiilipilvipelaaminen, lisättyä ja virtuaalitodellisuutta hyödyntävät sovellukset, sekä objektin tunnistamista ja luokittelua hyödyntävät syviin neuroverkkoihin perustuvat sovellukset. Kaikille sovelluksille on yhteistä tarve erittäin lyhyelle viiveelle käyttäjän syötteestä järjestelmän vasteelle. Latenssikriittisten palveluiden tarjoaminen on haastavaa, koska palveluntarjoajan on huomioitava koko viiveketju käyttäjän laitteelta pilvipalvelimelle. Tässä väitöskirjassa tutkitaan mittausten avulla viiveen muodostumista asiakaslaitteessa, verkossa sekä palvelimella. Asiakaslaitteen viivemittauksiin esitetään uusia menetelmiä, joiden avulla viiveet voidaan mitata tarkasti ja tehokkaasti. Syviä neuroverkkoja hyödyntävien sovellusten suorituskykyä vertaillaan mobiililaitteen ja palvelinlaskennan välillä ja osoitetaan miten eri parametrit vaikuttavat viiveeseen ja läpisyöttöön. Viivemittaukset toteutetaan oikeiden sovelluskohteiden avulla ja näihin esitetään myös järjestelmän optimointitapoja. Työssä on toteutettu Euroopan laajuinen viivetutkimus, jossa määritetään palvelinkeskuslokaatioiden määrän vaikutus kokonaisviiveeseen. Tutkimuksessa vaihdellaan palvelinlokaatioiden määrää, yhteystapaa sekä käyttäjän syötettä ja näytetään, että tietyin ehdoin voidaan toteuttaa pilvipelaamispalvelu, jonka viivettä käyttäjä ei huomaa. Työssä tutkitaan myös palvelinpuolen arkkitehtuurin vaihtoehtoja. Näytämme miten käyttöjärjestelmätason virtualisointi (engl. containers) on perinteisiä virtuaalikoneita suorituskykyisempi vaihtoehto. Lisäksi työssä esitellään tapoja, joilla etärenderöinti voidaan laajentaa myös virtuaalitodellisuuden sovelluksiin piilottamalla viive käyttäjältä. Ratkaisu mahdollistaa myös dynaamisen objektien siirron palvelimen ja laitteen välillä. Tässä työssä esitettyjen tulosten avulla palveluntarjoaja pystyy paremmin suunnittelemaan järjestelmänsä arkkitehtuurin ja hajauttamisen tarjottavien sovellusten viiverajojen perusteella.
Description
Supervising professor
Ylä-Jääski, Antti, Prof., Aalto University, Department of Computer Science, Finland
Thesis advisor
Siekkinen, Matti, Dr., Aalto University, Department of Computer Science, Finland
Keywords
cloud gaming, virtual reality, object detection, object recognition, networking, pilvipelaaminen, virtuaalitodellisuus, objektin tunnistus, matkapuhelinverkot
Other note
Parts
  • [Publication 1]: Teemu Kämäräinen, Matti Siekkinen, Jukka Eerikäinen, Antti Ylä-Jääski. CloudVR: Cloud Accelerated Interactive Mobile Virtual Reality. In Proceedings of the 26th ACM International Conference on Multimedia, Seoul, Republic of Korea, pp. 1181-1189, Oct. 2018.
    DOI: 10.1145/3240508.3240620 View at publisher
  • [Publication 2]: Jussi Hanhirova, Teemu Kämäräinen, Sipi Seppälä, Matti Siekkinen, Vesa Hirvisalo, Antti Ylä-Jääski. Latency and Throughput Characterization of Convolutional Neural Networks for Mobile Computer Vision. In Proceedings of the 9th ACM Multimedia Systems Conference (MMSys ’18), Amsterdam, Netherlands, pp. 204-215, Jun. 2018.
    DOI: 10.1145/3204949.3204975 View at publisher
  • [Publication 3]: Teemu Kämäräinen, Matti Siekkinen, Antti Ylä-Jääski, Wenxiao Zhang, Pan Hui. A Measurement Study on Achieving Imperceptible Latency in Mobile Cloud Gaming. In Proceedings of the 8th ACM Multimedia Systems Conference (MMSys ’17), Taipei, Taiwan, pp. 88-99, Jun. 2017.
    DOI: 10.1145/3083187.3083191 View at publisher
  • [Publication 4]: Teemu Kämäräinen, Matti Siekkinen, Antti Ylä-Jääski, Wenxiao Zhang, Pan Hui. Dissecting the End-to-end Latency of Interactive Mobile Video Applications. In Proceedings of the 18th International Workshop on Mobile Computing Systems and Applications (HotMobile ’17), Sonoma, CA, USA, pp. 61-66, Feb. 2017.
    DOI: 10.1145/3032970.3032985 View at publisher
  • [Publication 5]: Teemu Kämäräinen, Yuanqi Shan, Matti Siekkinen, Antti Ylä-Jääski. Virtual Machines vs. Containers in Cloud Gaming Systems. In Proceedings of the 2015 International Workshop on Network and Systems Support for Games (NetGames), Zagreb, Croatia, pp. 1-6, Dec. 2015.
    DOI: 10.1109/NetGames.2015.7382987 View at publisher
  • [Publication 6]: Teemu Kämäräinen, Matti Siekkinen, Yu Xiao and Antti Ylä-Jääski. Towards Pervasive and Mobile Gaming with Distributed Cloud Infrastructure. In Proceedings of the 2014 International Workshop on Network and Systems Support for Games (NetGames), Nagoya, Japan, pp. 1-6, Dec. 2014.
    DOI: 10.1109/NetGames.2014.7008957 View at publisher
Citation