Evaluation of low latency communication methods in a Kubernetes cluster

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2023-08-21
Department
Major/Subject
Security and Cloud Computing
Mcode
SCI3084
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
70
Series
Abstract
Evolving technologies and the aim to support the ever-growing data traffic in mobile networks present a constantly increasing trend in latency and reliability requirements. With the need to respond rapidly to varying traffic by scaling provided services, movement from static and specialized hardware towards scalable cloud computing has been inevitable. Containers now form the core of cloud computing and enable rapid deployment and scaling of applications by leveraging their inherent virtualization. Naturally, there is a constant search for more efficient methods of inter-container communication. The use of the operating system kernel and related excessive copies of data is a major resource sink in the traditional Internet protocol suite (TCP/IP). Techniques such as Remote Direct Memory Access (RDMA) can be used to completely bypass the kernel involvement in communication and to eliminate unneeded data copies. However, solutions to bring RDMA communication for containerized clusters, while preserving the advantages of virtualization, are still in the prototyping stage. The main problems are the virtualization of the required hardware, and the different programming interface of RDMA compared to traditional TCP/IP. This thesis investigates Freeflow, a proposed RDMA virtualization prototype, and compares the networking performance between TCP/IP communication and RDMA with regard to containerized clusters. The results indicate that RDMA outperforms TCP/IP by an order of magnitude in latency compared to bare metal. It is shown that the Freeflow prototype has potential in virtualizing RDMA, improving performance of the container network on the performed TCP/IP testing. Additionally, the measured performance of an existing solution to translate TCP/IP into RDMA communication shows negligible difference to native RDMA.

Kehittyvät teknologiat ja jatkuvasti kasvava dataliikenne mobiiliverkoissa samalla laajentavat viive- ja toimintavarmuusvaatimuksia. Tarve vastata nopeasti vaihtelevaan liikenteen määrään skaalaamalla tarjottuja palveluita on tuonut väistämättömän siirroksen staattisesta ja erikoistuneesta laitteistosta skaalautuvaan pilvilaskentaan. Ohjelmistokontit muodostavat nyt pilvilaskennan perustan, ja mahdollistavat nopean sovellusten käyttöönoton ja skaalauksen virtualisaatiota hyödyntämällä. Ohjelmistokonttien väliseen kommunikaatioon etsitään luonnollisesti yhä tehokkaampia ratkaisuja. Käyttöjärjestelmän ytimen eli kernelin käyttö ja siihen liittyvät ylimääräiset datan kopio-operaatiot käyttävät suuren osan resursseista perinteisessä Internet-protokollajärjestelmässä (TCP/IP). Käyttämällä tekniikoita kuten Remote Direct Memory Access (RDMA), käyttöjärjestelmän ydin voidaan ohittaa ja ylimääräiset datan kopio-operaatiot estää. Ratkaisut RDMA-tekniikan käyttöön ohjelmistokontteihin pohjautuvissa klustereissa siten, että virtualisaatiosta saatu hyöty säilytetään, ovat kuitenkin vielä prototyyppiasteella. Tärkeimmät ongelmat ovat RDMA-laitteiston virtualisaatio ja RDMA-kommunikoinnissa käytettävä erityyppinen ohjelmointirajapinta verrattuna TCP/IP-järjestelmään. Tässä diplomityössä tarkastellaan Freeflow-prototyyppiä RDMA-tekniikan virtualisaatiossa, ja kokeellisessa osuudessa verrataan RDMA-tekniikan suorituskykyä TCP/IP-tekniikkaan liittyen ohjelmistokonttipohjaisiin klustereihin. Tuloksena havaitaan, että RDMA-tekniikan suorituskyky viiveen suhteen on kymmenkertainen TCP/IP-tekniikkaan verrattuna. Nähdään, että Freeflow-prototyyppi tarjoaa potentiaalisen lähtökohdan RDMA-tekniikan virtualisaatioon, parantaen ohjelmistokonttiverkon suorituskykyä TCP/IP-kokeessa. Lisäksi, tutkittu ratkaisu TCP/IP-kommunikaation kääntämiseen RDMA-kommunikaatioksi suoriutuu vähäisellä erolla natiiviin RDMA-tekniikkaan.
Description
Supervisor
Hirvisalo, Vesa
Thesis advisor
Karppinen, Jari
Keywords
cloud computing, Kubernetes, container, cluster, remote direct memory access, virtualization
Other note
Citation