Software framework for property-based testing of the 5G fronthaul C-Plane

Abstract

The fronthaul C-Plane interface is an essential part of a 5G physical layer implementation. It provides features such as beamforming and mixed-numerology control as well as scheduling of user data. C-Plane messages are transmitted to radio units over the eCPRI protocol based on scheduling requests from layer 2. However, the C-Plane message sequence is not uniquely defined by layer 2 scheduling requests (several semantically similar sequences exist), presenting a challenge for testing. In this thesis, a test framework for the fronthaul C-Plane is developed using property-based testing (PBT), a method for generating test cases from a set of property specifications. Both a stateless and a model-based stateful variant of PBT is implemented as part of the framework. Test performance of the new systems is evaluated using path and mutation testing metrics. The performance is compared to an existing test suite of handcrafted test cases for a version of the C-Plane application software. Runtime performance and implementation complexity of the test systems are compared as well.

The results from path testing show an improvement in coverage of application code while mutation testing results indicate improved fault-finding capability of the new systems. Path testing coverage is nearly equal between both PBT variants while model-based testing is able to detect more mutations than the stateless variant. In addition, a fault previously undiscovered by the existing test suite was revealed in the C-Plane application by PBT, and a correction was contributed to the application codebase during thesis work by the author. All things considered, the results indicate an improvement in overall test performance. However, PBT was not able to detect all of the mutations which were detected by existing test cases, even if performance was superior in aggregate. Therefore, we conclude that PBT is an effective method for automated testing of the fronthaul C-Plane, and could be particularly powerful in combination with carefully selected manual test cases for specific edge cases.

Fronthaul C-Plane är en grundläggande komponent som behövs för att förverkliggöra den fysiska lagern i ett 5G-system. Den mögliggör sådana funktioner som strålformning och blandad numerologi samt schemaläggning av användardata. C-Plane meddelanden överförs till radioenheter över eCPRI-protokollet på basen av begäran från lager 2. Meddelandesekvensen är dock inte unikt definierad (flera olika sekvenser kan motsvara samma information från lager 2), vilket försvårar systemets testande. I detta examensarbete utvecklas ett testningsramverk vilket baserar sig på egenskaplig testning (PBT), en metod för att automatiskt generera testfall ur egenskapsspecifikationer. Både en tillståndslös och en tillståndsbaserad variant av PBT ingår i ramverket. Testningsprestanda av det nya ramverket utvärderas på basen av väg- och mutationstestning. Resultaten jämförs med ett existerande testsystem för C-Plane-programvaran. Även körtidsprestandan och komplexitet av testsystemernas realiseringar jämförs.

Resultaten från vägtestning visar att det nya PBT-ramverket uppnår bättre täckning av C-Plane-programvaran. Resultaten från mutationtestning pekar på att ramverket har en bättre förmåga att upptäcka fel i programkoden, och ytterligare upptäckte den tillståndsbaserade PBT-varianten mera mutationer än det tillståndslösa systemet. Dessutom avslöjade det nya testsystemet ett tidigare okänd fel i C-Plane-systemets programkod, som författaren rättade till under examensarbetets lopp. Med alla saker i åtanke, indikerar resultaten att PBT-ramverket uppnår förbättrad testningsprestanda i jämförelse med det existerande testsystemet. Trots det upptäckte PBT-ramverket inte alla de mutationer som den existerande testsystemet upptäckte, fast prestandan var sammanlagt bättre. Vi kan alltså dra slutsatsen att PBT är en effektiv metod för automatisk testande av C-Plane-programvaran, och bästa resultat kan uppnås när den förstärks med noggrant valda manuella testfall.