aalto1 untyped-item.component.html
Designing a performance benchmarking framework for a public transport journey planner
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Electronic archive copy is available via Aalto Thesis Database.
Authors
Date
Department
Major/Subject
Mcode
Language
en
Pages
55
Series
Abstract
Public transport route planners play a crucial role in supporting mobility in modern cities. OpenTripPlanner is an open-source multimodal route planning system widely used globally. However, performance evaluation in OTP deployments has been limited, as its highly configurable nature requires deployment-specific metrics to measure realistic performance.
This thesis develops a benchmarking system to measure OTP performance in the Digitransit Helsinki deployment. The thesis follows the Design Science Research methodology to identify requirements, design and develop, and evaluate a benchmarking system as an artefact. The benchmarking system automatically executes realistic test cases and produces accessible graphs with performance metrics. Furthermore, the benchmarks collect detailed performance metrics using Java Flight Recorder for local performance evaluation. An experimental configuration change demonstrates that the benchmarking system can detect performance regression and produce actionable performance metrics.
The results show that the developed benchmarking system enables both accessible and detailed performance evaluation tailored to the needs of the Digitransit team. The benchmarking system provides real value in practice by supporting evidence-based decision-making, performance regression detection, and increased transparency for developers and other stakeholders. The findings contribute to both practical needs of the Digitransit team and research by studying performance evaluation of public transit route planners.
Ruttpalnerare för kollektivtrafik spelar en avgörande roll för mobiliteten i moderna städer. OpenTripPlanner är ett öppen källkod baserat system för multimodal ruttplanering som används globalt. Prestanda utvärderingen i OTP har dock varit begränsad, eftersom dess höga grad av konfigurerbarhet kräver att prestandamätningarna anpassas till respektive installation för att vara realistiska.
Detta examensarbete utvecklar ett benchmarksystem för att mäta OTP:s prestanda i Digitransits Helsingfors installation. Arbetet följer Design Science Research-metodologin för att identifier krav, utforma och utveckla samt utvärdera benchmark systemet. Systemet kör automatiskt realistiska testfall och producerar tillgängliga grafer med prestandamätningar. Dessutom samlar sytemet detaljerad prestanda data , med hjälp av Java Flight Recorder för lokal analys.
Resultaten visar att det utvecklade benchmark systemet möjliggör både tillgänglig och detaljerad prestanda utvärdering anpassat till Digitransits behov. Systemet tillför verkligt värde i praktiken genom att stöda bevisbaserat beslutsfattande, upptäckt av prestanda regression och ökad transparens för utvecklare och andra andelsägare. Resultaten bidrar både till Digitransits praktiska behov och till forskning genom att studera prestandautvärdering av ruttplanerare för kollektivtrafik.