Flexible and transparent buffering of radio astronomy measurements: VLBI-streamer and Flexbuff

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2015-05-11
Department
Major/Subject
Ohjelmistotekniikka
Mcode
T3001
Degree programme
Tietotekniikan koulutusohjelma
Language
en
Pages
58
Series
Abstract
Radio astronomical data recording poses three challenges for its users: High volume, high bandwidth and large geographical distances. The solutions have been custom hardware and physical shipping of data sets. Performance of commercial off-the-shelf hardware for streaming data recording has been steadily improving and is starting to surpass the challenges. If the use of custom hardware can be dropped, the solution can benefit from successive hardware generations without added development efforts. This thesis will present VLBI-streamer software for simultaneous read and write data streaming and Flexbuff as the hardware housing this software. Volatile and non-volatile memory are used as pools of resources in a user space confined besteffort relaxed architecture. Since hardware will keep changing and it takes time, developers and money to port software to different hardware, VLBI-streamer was not bound to any specific hardware. VLBI-streamer will run on virtually any Linux-system with a few package requirements and was made modular to support different stream types (UDP/TCP/RDMA) and disk I/O backends. In this thesis Flexbuff combined with the software VLBI-streamer developed by the author is shown to be capable of 10 Gb/s and beyond recording and streaming, meeting current radio astronomical data recording needs.

Radiotähtitieteellisten kokeiden nauhoittamisessa on kolme haastetta: Suuri datamäärä, korkea kaistanleveys ja suuret maantieteelliset etäisyydet. Ratkaisuna ovat ennen olleet räätälöidyt komponentit ja tallenteiden fyysinen lähetys. Helposti saatavilla olevien tietotekniikan yleiskomponenttien suorituskyky on noussut tasaisesti ja tallennuskyky alkaa lähestyä asetettuja haasteita. Jos räätälöidyistä komponenteista voidaan luopua, yleiskomponenteille tehdyt ohjelmistoratkaisut voisivat hyötyä jatkuvasti kehittyvistä komponenttisukupolvista ilman ylimääräistä ohjelmistokehityspanostusta. Tämä diplomityö esittelee VLBI-streamer ohjelman yhtaikaiseen datan tallennukseen ja lähetykseen, sekä Flexbuff komponenttimäärittelyn, jolla ohjelma ajetaan. Lyhyt- ja pitkäkestoisia muisteja käytetään varattavissa olevina resursseina käyttäjätilaan rajatussa, parhaan yrityksen arkkitehtuurissa. Koska fyysiset komponentit tulevat aina vaihtumaan, VLBI-streamer toteutettiin ilman siteitä mihinkään tiettyyn rautakomponenttiin, jolloin säästytään ylimääräiseltä ohjelmistokehitykseltä komponenttien vaihtuessa. VLBI-streamer on ajettavissa melkein millä tahansa Linux-järjestelmällä ja tarvitsee vain muutaman ulkoisen vapaasti saatavilla olevan ohjelmistokomponentin. VLBI-streamer on myös modulaarinen ja tukee erilaisia verkkoprotokollia (TCP/UDP/RDMA) ja kovalevytallennustekniikoita. Tässä diplomityössä Flexbuff ja kehittämäni VLBI-streamer osoitetaan pystyvän nauhoittamaan ja lähettämään yli 10Gb/s tietovirtoja, täten täyttäen nykyisten radiotähtitieteellisten kokeiden tarpeet.
Description
Supervisor
Saikkonen, Heikki
Thesis advisor
Hirvisalo, Vesa
Mujunen, Ari
Keywords
network, data-acquisition, TCP, UDP, radio astronomy
Other note
Citation