Analysis of the data usage in modern web services

Abstract

The energy consumption and carbon footprint of the ICT sector has increased over the last few decades. This increase is caused by increased Internet traffic. The number of Internet users has grown notably, but the main contributing factor to the increase of Internet traffic is Internet applications and services using more data than before. A common use of the Internet is the World Wide Web, which is used to host websites and webpages. After IP video, Web traffic, which has more than doubled between 2017 and 2022, has the second largest share of Internet traffic. The size increase of webpages is the main reason for the rapid increase of web traffic. This thesis intends to determine the reasons for the increased size of webpages as well as identify possible methods to reduce the average page size without removing content. This is done by building a public web service, Green Page Analyzer, that can be used to analyze webpages; analyzing a list of pages with Green Page Analyzer daily; and measuring network protocol overhead of webpages. The results of this thesis show that the size of webpages could be reduced with smart design choices, which would reduce the energy consumption and carbon footprint of the ICT sector.

ICT-alan energiankulutus ja hiilijalanjälki on kasvanut viime vuosikymmeninä, Internet-liikenteen kasvun johdosta. Internetin käyttäjien määrä on kasvanut merkittävästi, mutta tärkein vaikuttava tekijä Internet-liikenteen kasvulle on Internet-sovellusten ja -palvelujen lisääntynyt datan käyttö. Yksi tärkeimmistä Internet-sovelluksista on World Wide Web, jolla haetaan verkkosivuja web-palvelimilta. Internet-videoiden jälkeen, web-liikenteen osuus oli toiseksi suurin kaikesta Internet-liikenteestä. Web-liikenne on myös yli kaksinkertaistunut 2017 -- 2022 välillä, mikä johtuu pääosin verkkosivujen koon kasvusta. Tämä työn tavoitteena on määrittää syitä verkkosivujen koon kasvulle ja löytää keinoja, joilla sivujen kokoa voi vähentää, poistamatta sisältöä sivuilta. Tämä toteutetaan kehittämällä julkinen web-työkalu, Green Page Analyzer, jolla voi analysoida verkkosivujen datan käyttöä; analysoimalla tällä työkalulla sivuja päivittäin; ja mittaamalla verkkoprotokollan ylimääräisen tiedonsiirtokuorman. Tämän työn tulokset näyttävät, että sivujen kokoa voi pienentää järkevillä kehitysratkaisuilla, jonka seurauksena ICT-alan energiankulutus ja hiilijalanjälki pienenisivät.