Learning Centre

Agile Evaluation Methods for Intelligent Transport Systems – Definitions of Agile Characteristics and Assessment Criteria

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Kulmala, Risto, Prof., Traficon Ltd, Finland
dc.contributor.author Öörni, Risto
dc.date.accessioned 2019-08-14T09:01:37Z
dc.date.available 2019-08-14T09:01:37Z
dc.date.issued 2019
dc.identifier.isbn 978-952-60-8667-5 (electronic)
dc.identifier.isbn 978-952-60-8666-8 (printed)
dc.identifier.issn 1799-4942 (electronic)
dc.identifier.issn 1799-4934 (printed)
dc.identifier.issn 1799-4934 (ISSN-L)
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/39600
dc.description.abstract Information on the technical functioning, impacts, interoperability and acceptance of ITS systems is crucial to making decisions on the deployment of these systems. The resources, time and amount of data available for evaluation studies of a potential ITS system are often more or less limited. A need for more agile evaluation methods has been identified. This study provides definitions for different agile characteristics of evaluation methods for ITS systems, measurable criteria for these characteristics, and a definition for an agile evaluation method. The agile characteristics were defined on the basis of a literature study taking into account the Agile Manifesto, literature on measuring the agility of software development methods, and the experience obtained from seven case studies. The agile characteristics found to be relevant for evaluation methods for ITS include flexibility, leanness, lightness and simplicity, responsiveness, learning, speed and sustainability. The descriptions of agile characteristics, criteria for measuring the agility of evaluation methods and the definition of an agile evaluation method were validated by applying them to seven case studies. The case studies involved evaluations of technical functioning, impacts, socio-economic benefits, interoperability and user acceptance of ITS systems. Of the seven evaluated case studies, five were found to be based on agile methods as such or with restrictions. The study results indicated that agile methods for evaluating the impacts of ITS have many similar characteristics to expert assessment, such as limited requirements for time and resources. However, they can be expected to be more transparent and possibly also more accurate than expert assessment without supporting documentation. Agile methods for evaluating the technical functioning of ITS systems, based on observation of system behaviour, analysis of reliability and statistical analysis of study results, can be used to verify the operation of an ITS system or subsystem in realistic operating conditions. They can be applied also in situations in which no extensive up-to-date documentation on system requirements is produced or maintained, such as when an agile development model is used for developing an ITS system. The study results indicate that not all simple or simplistic evaluation methods are agile methods, as simplicity does not imply that the evaluation method has other essential characteristics of agility such as flexibility and leanness. More validation will likely be needed for descriptions of the agile characteristics of evaluation methods, for the criteria for agility, and for the definition of an agile evaluation method. Further analyses should also be carried out on how to employ agile development, testing and systems engineering methods in the development of ITS systems in an optimum way, and how agile evaluation methods could be connected to them. en
dc.description.abstract Älykkään liikenteen sovellusten käyttöönotto edellyttää tietoa sovellusten vaikuttavuudesta, teknisestä toimivuudesta, yhteentoimivuudesta ja käyttäjien hyväksynnästä. Edellä mainitut tiedot ovat tärkeitä edellytyksiä sovellusten käyttöönottoa koskevalle päätöksenteolle. Sovelluksia koskevien arviointitutkimusten tekemiseen käytettävissä olevat taloudelliset resurssit, aika ja käytettävissä olevan datan määrä ovat yleensä kuitenkin rajalliset. Aikaisemmassa tutkimuksessa onkin tunnistettu tarve ketterämpien arviointimenetelmien kehittämiseen. Työssä määritellään ketteryyden osatekijät älyliikenteen sovellusten arviointiin käytettäville menetelmille, mittarit ketteryyden eri osa-alueille sekä määritellään ketterä arviointimenetelmä. Ketteryyden osatekijät määriteltiin aihepiiriä käsittelevän kirjallisuustutkimuksen perusteella. Määritelmiä laadittaessa hyödynnettiin Ketterän ohjelmistokehityksen julistuksen tekstiä, ohjelmistokehityksen ketteryyden mittaamiseen liittyvää kirjallisuutta sekä työhön sisältyvässä seitsemässä tapausesimerkissä saatuja kokemuksia. Älykkään liikenteen sovellusten arviointimenetelmien osalta relevanteiksi ketteryyden osatekijöiksi tunnistettiin joustavuus, toteutettavuus rajallisin resurssein, keveys ja yksinkertaisuus, kyky tuottaa palautetta ja alustavia tuloksia jo työn aikana, kyky oppia, nopeus sekä kestävyys. Ketteryyden osatekijöiden määritelmät, eri osatekijöille määritellyt mittarit sekä ketterän arviointimenetelmän määritelmä validoitiin soveltamalla niitä seitsemään älyliikenteen sovellusten arviointia käsittelevään tapausesimerkkiin. Tapausesimerkkeihin sisältyi arviointeja sovellusten tekniseen toimivuuteen, vaikuttavuuteen, yhteiskuntataloudellisiin hyötyihin, yhteentoimivuuteen ja käyttäjien hyväksyntään liittyen. Seitsemästä arvioidusta tapausesimerkistä viiden todettiin perustuvan menetelmiin, jotka voidaan luokitella ketteräksi sellaisenaan tai tietyin rajoittein. Sovellusten vaikuttavuutta tarkastelevien ketterien arviointimenetelmien ominaisuudet muistuttavat useilta osin asiantuntija-arviota, esimerkiksi rajallisen ajan ja resurssien tarpeen osalta. Niiden voidaan kuitenkin olettaa olevan läpinäkyvämpiä ja mahdollisesti myös tarkempia kuin ilman yksityiskohtaisempaa dokumentaatiota esitettyjen asiantuntija-arvioiden. Sovellusten toimivuutta tarkastelevia ketteriä arviointimenetelmiä voidaan hyödyntää sovellusten tai niiden osajärjestelmien toimivuuden tarkasteluun todellisuutta vastaavissa olosuhteissa. Työn tulokset osoittivat, että kaikki yksinkertaiset tai yksinkertaistetut arviointimenetelmät eivät ole ketteriä arviointimenetelmiä, koska menetelmän yksinkertaisuus ei sinällään takaa ketteryyden muiden osa-alueiden toteutumista. Tulevassa tutkimuksessa on syytä jatkaa ketteryyden eri osa-alueiden kuvausten, eri osa-alueita koskevien ketteryyden mittareiden sekä ketterän arviointimenetelmän määritelmän validointia sekä tarkastella, miten ketterän ohjelmistokehityksen, ketterän testauksen ja ketterän järjestelmäkehityksen menetelmiä voitaisiin soveltaa parhaalla mahdollisella tavalla älykkään liikenteen sovellusten yhteydessä ja miten ketterä sovellusten arviointi voisi liittyä näihin. fi
dc.format.extent 119 + app. 79
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.ispartofseries Aalto University publication series DOCTORAL DISSERTATIONS en
dc.relation.ispartofseries 142/2019
dc.relation.haspart [Publication 1]: Öörni, R., Kulmala, R. Model for the safety impacts of road weather information services available to road users and related socio-economic benefits. IET Intelligent Transport Systems, 2012, Vol. 6, Issue 4, pp. 474–481. DOI: 10.1049/iet-its.2011.0206
dc.relation.haspart [Publication 2]: Öörni, R. Reliability of an in-vehicle warning system for railway level crossings – a user-oriented analysis. IET Intelligent Transport Systems, 2014, Vol. 8, Issue 1, pp. 9–20. DOI: 10.1049/iet-its.2012.0129
dc.relation.haspart [Publication 3]: Öörni, R., Korhonen, T.O. eCall minimum set of data transmission – results from a field test in Finland. IET Intelligent Transport Systems, 2014, Vol. 8, Issue 8, pp. 639–647. DOI: 10.1049/iet-its.2013.0113
dc.relation.haspart [Publication 4]: Öörni, R., Meilikhov, E., Korhonen, T.O. Interoperability of eCall and ERA-GLONASS in-vehicle emergency call systems. IET Intelligent Transport Systems, 2015, Vol. 9, Issue 6, pp. 582–590. DOI: 10.1049/iet-its.2014.0209
dc.relation.haspart [Publication 5]: Öörni, R. Demand for intelligent vehicle safety systems in Europe. IET Intelligent Transport Systems, 2015, Vol. 9, Issue 10, pp. 916–923. DOI: 10.1049/iet-its.2014.0200
dc.relation.haspart [Publication 6]: Öörni, R., Luoma, J. Realised safety impacts of electronic stability control in Finland. IET Intelligent Transport Systems, 2017, Vol. 11, Issue 3, pp. 158–163. DOI: 10.1049/iet-its.2016.0039
dc.relation.haspart [Publication 7]: Öörni, R., Malin, F. Early adopters of emergency braking and speed alert. IET Intelligent Transport Systems, 2017, Vol. 11, Issue 8, pp. 467–474. DOI: 10.1049/iet-its.2016.0093
dc.subject.other Telecommunications engineering en
dc.title Agile Evaluation Methods for Intelligent Transport Systems – Definitions of Agile Characteristics and Assessment Criteria en
dc.title Ketteriä arviointimenetelmiä älyliikenteen sovelluksille – määritelmät ja mittarit arviointimenetelmän ketterille ominaisuuksille fi
dc.type G5 Artikkeliväitöskirja fi
dc.contributor.school Sähkötekniikan korkeakoulu fi
dc.contributor.school School of Electrical Engineering en
dc.contributor.department Tietoliikenne- ja tietoverkkotekniikan laitos fi
dc.contributor.department Department of Communications and Networking en
dc.subject.keyword intelligent transportation systems en
dc.subject.keyword evaluation en
dc.subject.keyword agile en
dc.subject.keyword road safety en
dc.subject.keyword advanced driver assistance en
dc.subject.keyword älykäs liikenne fi
dc.subject.keyword arviointi fi
dc.subject.keyword ketterä fi
dc.subject.keyword liikenneturvallisuus fi
dc.subject.keyword kuljettajan tukijärjestelmät fi
dc.identifier.urn URN:ISBN:978-952-60-8667-5
dc.type.dcmitype text en
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.contributor.supervisor Hämäläinen, Jyri, Prof., Aalto University, Department of Communications and Networking, Finland
dc.opn Antov, Dago, Prof., Tallinn University of Technology, Estonia
dc.rev Varhelyi, Andras, Prof., Lund University, Sweden
dc.rev Studer, Luca, Prof., Polytechnic University of Milan, Italy
dc.date.defence 2019-08-27
local.aalto.acrisexportstatus checked 2019-10-07_1333
local.aalto.formfolder 2019_08_13_klo_15_24
local.aalto.archive yes


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse