Comparing Kubernetes Based High-Performance Computing to Traditional Approaches

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-05-08

Department

Major/Subject

Informaatioteknologia

Mcode

ELEC3015

Degree programme

Sähkötekniikan kandidaattiohjelma

Language

en

Pages

23

Series

Abstract

This thesis explores the performance of Kubernetes-based high-performance computing (HPC) methods compared to traditional systems. It evaluates whether Kubernetes can meet the demands of HPC applications in terms of performance, compatibility, and security, while maintaining the benefits of container orchestration such as scalability and fault tolerance. The study is a literature study that investigates the challenges of integrating Kubernetes into HPC environments. Results demonstrate that Kubernetes excels in scalability and fault tolerance, outperforming traditional HPC architectures. Notable performance gaps due to TCP/IP protocols were minimized using RDMA technology (remote direct memory access) and the Infiniband standard. Security and compatibility issues were effectively managed through innovative solutions such as removing root privileges and implementing memory encryption. The findings confirm that Kubernetes-based HPC methods can effectively support advanced computing needs, suggesting a promising future for Kubernetes in HPC applications. This underscores the need for further research to enhance security protocols and improve compatibility with essential HPC libraries and tools.

Konttiteknologia on muuttanut tapaa, jolla laskennallisia tehtäviä käsitellään ja koordinoidaan hajautetuissa järjestelmissä. Konttiteknologiat ovat yleistyneet lukuisissa pilviympäristöissä niiden eristyksen, siirrettävyyden ja tehokkuuden ansiosta. Siirtymä kohti konttipohjaisia ratkaisuja korostaa konttiorkestrointialustojen kasvavaa merkitystä nykyaikaisissa hajautetuissa infrastruktuureissa. Konttiorkestrointityökalut mahdollistavat konttien käyttöönoton, järjestämisen ja hallinnan. Avoimeen lähdekoodiin perustuva Kubernetes on noussut alan johtavaksi konttiorkestraatioratkaisuksi. Kubernetes integroituu myös pilviympäristöihin saumattomasti mahdollistaen entistä joustavampia sekä siirrettäviä ratkaisuja. On selvää, että Kubernetesin tutkiminen suurteholaskennan (engl. high-performance computing, HPC) ympäristössä on tärkeää, sillä se yhdistää monia perinteisiä HPC-kyvykkyyksiä ja moderneja konttipohjaisille ratkaisulle tyypillisiä ominaisuuksia. Tästä huolimatta konttiorkestrointiteknologioiden integraatio HPC-ympäristöistöihin on ollut hidasta yhteensopivuuden, turvallisuuden, suorituskyvyn ja skaalautumisen aiheuttamien haasteiden takia. Tämä kandidaatintutkielma on kirjallisuustutkielma, jossa verrataan Kubernetes-pohjaisia suurteholaskentamenetelmiä perinteisiin toteutuksiin. Yleisesti tutkimuksen tavoitteena on selvittää, voiko Kubernetes vastata HPC-sovellusten vaatimiin suorituskyky-, yhteensopivuus- ja tietoturvavaatimuksiin joustamatta konttiorkestroinnin siirrettävyydestä, skaalattavuudesta ja vikasietoisuudesta. Arvioinnin perusteella on tarkoitus määrittää, voiko Kubernetes olla kannattava vaihtoehto perinteisten suurteholaskenta arkkitehtuurien rinnalle. Tutkimus tuo esiin haasteita, joita Kubernetes-pohjaiset HPC-toteutuksekset kohtaavat. Suorituskykyä eniten hidasti TCP/IP-protokolla konttien välisessä kommunikaatiossa. RDMA-teknologian (engl. Remote Direct Memory Access) ja Infiniband-standardin avulla suorituskyky ero oli mitätön (1 %). Tietoturvassa eniten haasteita aiheuttivat konttien välinen eristys, käyttäjäoikeuksien eskalointi. Nämä pystyttiin ratkaisemaan poistamalla root-oikeudet konttien sisällä sekä muistin salauksen avulla. Yhteensopivuusongelmista suurimmat olivat isojen kirjastojen sekä laskentatehon kannalta tärkeiden kirjastojen yhteensopivuus ja optimointi. Vaikka yhteensopivuus haasteita konteilla oli esimerkiksi CUDA-kirjastojen kanssa, osoittautui se haasteeksi perinteisissäkin HPC-järjestelmissä. Lisäksi korkean tason ohjelmointikielet kuten Python hyötyisivät konttien siirrettävyydestä. Skaalautuvuus on Kuberneteksen vahvuus ja lukuun ottamatta Kubereneteksen etcd-säilön haasteita skaalauksessa, on konttipohjainen ratkaisu osoittautuu paremmaksi perinteiseen verrattuna. Myös viansietoisuus on parempaa kuberneteksessä kuin tavallisissa HPC-järjestelemistä. Ominaisuuksia kuten konttien automaattinen uudelleenkäynnistys ja konttien tilan monitorointi ei ole perinteisissä suurteholaskentajärjestelmissä. Tulevaisuudessa on välttämätöntä kehittää ja ylläpitää vahvoja turvallisuusratkaisuja konttien eristämiseen, verkkojen suojaamiseen sekä käyttöoikeuksien hallintaan. Lisäksi Kubernetesin yhteensopivuus HPC-kirjastojen, -työkalujen ja -sovellusten kanssa on laajennettava tehokkuuden ja käytettävyyden mahdollistamiseksi. Suorituskyvyn kannalta alhainen viive ja suuri kaistanleveys verkkoteknologiassa tulee säilyttää, ilman siirrettävyyden heikkenemistä. Kandidaatintyön tulokset osoittavat, että Kubernetes-pohjaiset HPC-menetelmät pärjäävät hyvin perinteisiin menetelmiin verrattuna. Kubernetes tarjoaa uudenlaisia mahdollisuuksia skaalautuvuuden ja viansiendon parantamiseen sekä parempaa soveltuvuutta tietynlaisiin tekoälysovelluksiin sekä iot- ja reunasovelluksiin. Kandidaatintyössä havaitut haasteet ja rajoitukset korostavat tarvetta jatkotutkimukselle.

Description

Supervisor

Aalto, Samuli

Thesis advisor

Saranpää, Tommi

Keywords

kubernetes, container technology, HPC, high-performance computing, konttiteknologia

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202406044050

Collections

[kand] Sähkötekniikan korkeakoulu / ELEC