Multi-target traffic tracking with sensor fusion
URL
Journal Title
Journal ISSN
Volume Title
Insinööritieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021-12-13
Department
Major/Subject
Mcode
Degree programme
Master's Programme in Mechanical Engineering (MEC)
Language
en
Pages
50
Series
Abstract
Multiple vehicle tracking in urban environment can be done to optimize traffic flow by controlling traffic lights. By being able to optimize traffic flows, travelling times can be reduced. In addition, idling of trucks and other large vehicles can be reduced, thereby increasing air quality. The task of tracking multiple vehicles in an urban environment is challenging. Vehicles drive pass each other and are often clustered. As vehicles are behind other vehicles, occlusions might occur in sensor view. Keeping track of individual vehicles and to not mix them up is difficult. A sensor fusion system is introduced in this thesis to make multiple object tracking easier than with only one sensor. By adding a new sensor to an existing system and fusing their output, the already existing system can be updated to obtain more accurate results or more information about the measurements. In this thesis, Doppler radar measurements are fused with observations made with machine vision to add information about vehicle type to the radar measured objects. The goal of this thesis is to fuse data from individual sensors, and to study how camera can be added to an already running radar system to improve the output data. To detect the vehicles from video feed, YOLOv4 is used to detect vehicles from video feed images, and DeepSORT is used to track the vehicles. Placement of detected vehicles from images are transformed from pixel coordinates to geographic coordinates to be able to do comparison with the radar measurements. The new camera system is added to the radar setup to a busy road before an intersection in Jätkäsaari Helsinki. Radar and video detections are inspected offline. As ships arrive to harbour in Jätkäsaari, a large amount of trucks are exiting from the harbour to the road and cause peaks to traffic. With the added camera, vehicle type classification was improved from classifications made with radar. Radar sensor was efficient for estimating the traffic states and the trajectories of vehicles.Liikennevalojen optimointiin ruuhkaisessa liikenteessä voidaan käyttää menetelmiä, jotka jäljittävät useita eri ajoneuvoja samanaikaisesti. Jos liikennevalojen optimointi onnistuu, matkustusajat lyhenevät ja koska ajoneuvot eivät ole tyhjäkäynnillä, ilmanlaatu paranee. Useiden ajoneuvojen jäljitys on vaikeaa ruuhkaisessa liikenteessä, jossa liikkuu paljon erilaisia ajoneuvotyyppejä. Ajoneuvot ajavat toistensa ohi ja ovat usein tiiviissä rykelmissä. Ajoneuvot voivat kadota erilaisten sensorien näkökentästä esimerkiksi jos toinen ajoneuvo peittää näkymän toiseen ajoneuvoon. On vaikeaa ylläpitää tietoa siitä, missä mikäkin ajoneuvo on ilman että ajoneuvoja sekoittaa toisiinsa. Tässä diplomityössä tutkitaan, miten sensorifuusio voi parantaa ajoneuvojen jäljitystä ruuhkaisella alueella verrattuna siihen, jos jäljitystä tehdään erillisillä sensoreilla yhdistämättä tietoa. Lisäämällä uuden sensorin jo olemassa olevaan sensoriasennukseen ja yhdistämällä niiden tulostetta, voidaan tulosteesta saada tarkempi tai siihen voidaan tuoda uutta informaatiota. Tässä työssä Doppler tutkan havainnot fuusioidaan videolta konenäön avulla tehtäviin havaintoihin. Tutkan tekemiin havaintoihin lisätään videon havaintojen perusteella tieto siitä, mitä ajoneuvotyyppiä tutkan havainnot edustavat. Työn tavoitteena on tutkia, miten kamera voidaan lisätä jo olemassa olevaan tutkahavainnointiyksikköön niin, että ajoneuvojen havaitsemistuloksesta saadaan parempi. Ajoneuvoja havaitaan videolta YOLO-algoritmin avulla ja ajoneuvojen jäljitys tapahtuu DeepSort-algoritmilla. Videolta tunnistettujen ajoneuvojen sijainti lasketaan muuttamalla havaintojen sijainti videolla pikselikoordinaateista geograafisiin koordinaatteihin. Uusi kamera asennetaan ruuhkaiselle risteystä edeltävälle kadulle Jätkäsaareen Helsinkiin. Kamera asennetaan samalle paikalle, kuin missä radar sensori jo sijaistee. Radar havaintoja ja videolla tehtäviä havaintoja tutkitaan nauhoitetuilta pätkiltä. Kadulle saapuu paljon rekkoja satamasta joiden tunnistusta halutaan parantaa videolta tehtävien havaintojen avulla. Kameran avulla ajoneuvotyypit pystyttiin luokittelemaan paremmin kuin tutkasta saatavan tiedon avulla. Tutkaa käytettäessä ajoneuvojen liikettä ja liikenteen ruuhkatilannetta pystyttiin seuraamaan hyvin.Description
Supervisor
Tammi, KariThesis advisor
Vepsäläinen, JariKeywords
sensor fusion, machine vision, camera calibration, YOLO, Deepsort, Doppler radar