Data center network design considerations for distributed computing

Abstract

Distributed systems and data center networks are important cornerstones in the era of digital services. Distributed systems are the platform layer that provides the means for running the services and required back-end systems invisible to the users. The distribution requires reliable and high-performing data center networks.

The topic of the thesis is driven by the case company's in-house built forecasting system hosted in multiple co-location-based data centers. The target system is in a paradigm shift from a monolithic architecture towards a distributed system. The study aims to find an improved network topology design, that would serve best the target system as being an enabler for the performance and ensuring the scalability in respect of the future growth while remaining resilient. Therefore, the thesis evaluates data center network design aspects for the target distributed computing architecture by focusing on the topology, which is the base ground for performance and scalability in the data center network. Additionally, the study will briefly discuss the aspects and problems related to routing and switching protocols, that contribute to the set objectives and evaluation criteria.

The study bases on a systematic approach by thoroughly observing the behavior of the target system and by identifying traffic patterns within the data center network. The system analysis will derive into justified evaluation criteria, supported by the literature review. This method reveals certain key issues that affect the network design. Based on the system analysis, a structured network design process is conducted targeting to fulfill the criteria. The study is complemented by a bandwidth bottleneck and scalability analysis, which proposes the network topology not to be the limiting factor in the overall architecture. Finally, a thorough evaluation of the existing and proposed network topologies is done from the viewpoints of the evaluation criteria.

The result of the thesis states that the new network fulfills the set requirements better than the existing network, with a possible negligible increase in costs that may be justified by the increase in performance. The usage of the old network in the segments that are not facing the highest performance expectations is not fully excluded.

Hajautetut järjestelmät ja konesaliverkot ovat tärkeitä digitaalisten palvelujen aikakauden kulmakiviä. Hajautetut järjestelmät ovat alusta, joka mahdollistaa palvelujen ja käyttäjille näkymättömien taustajärjestelmien toiminnan. Järjestelmien hajauttaminen vaatii luotettavia ja suorituskykyisiä konesaliverkkoja.

Diplomityön aihe juontuu kohdeyrityksen kehittämästä ennustelaskennan järjestelmästä, jota tarjotaan useista colocation-pilvipalvelumallin datakeskuksista. Kohdejärjestelmä on kokemassa muutoksen monoliittisesta arkkitehtuurista kohti hajautettua järjestelmää. Tutkimuksen tavoitteena on paranneltu konesaliverkon topologia, joka parhaiten palvelisi kohdejärjestelmää, mahdollistaen suorituskyvyn ja varmistaen skaalautuvuuden suhteessa tulevaan kasvuun, pysyen samalla joustavan vikasietoisena. Täten diplomityössä arvioidaan konesaliverkon suunnittelun näkökulmia hajautetun laskennan käyttötarkoitusta varten keskittyen verkkotopologiaan, joka on konesaliverkon suorituskyvyn ja skaalautuvuuden perusta. Lisäksi tutkimuksessa käsitellään lyhyesti reititykseen ja pakettikytkentäisiin protokolliin liittyviä näkökohtia ja ongelmia, jotka liittyvät asetettuihin tavoitteisiin ja arviointikriteereihin.

Tutkimus perustuu systemaattiseen lähestymistapaan kokonaisvaltaisesti tarkastellen kohdejärjestelmän toimintaa ja tunnistaen konesaliverkon liikennemallit. Järjestelmäanalyysi johdetaan perustelluiksi arviointikriteereiksi, joita kirjallisuuskatsaus tukee. Kyseinen menetelmä paljastaa tiettyjä avainkysymyksiä, jotka vaikuttavat verkon suunnitteluun. Järjestelmäanalyysin pohjalta suoritetaan jäsennelty verkon suunnitteluprosessi tavoitteena kriteerien saavuttaminen. Tutkimusta täydentää kaistanleveyden pullonkaula- ja skaalautuvuusanalyysi, jonka mukaan verkon topologia ei ole rajoittava tekijä kokonaisarkkitehtuurissa. Lopuksi nykyinen ja ehdotettu verkkotopologia arvioidaan perusteellisesti arviointikriteerien näkökulmasta.

Diplomityön tuloksena todetaan, että uusi verkko täyttää asetetut vaatimukset paremmin kuin nykyinen verkko, sisältäen mahdollisen, joskin vähäisen kustannusten nousun, mikä on perusteltavissa suorituskyvyn ja skaalautuvuuden kasvulla. Vanhan verkon käyttöä ei täysin poissuljeta segmenteissä, jotka eivät ole korkeimpien suorituskykyodotusten kohteena.