MMWR-Tracker: A Deep Learning -Based Solution for Identifying and Tracking Humans with Millimeter-Wave Radar

Abstract

In the modern society, automation plays a big part in the next multi-industrial revolution. Tracking of passenger position and habits in public transport is beneficial to discover optimal routing. However, tracking whenever the passengers enter and exit the transport is not a simple problem, as the moment a particular person enters and exits the transport must be known. Hence, this problem is reduced to a problem of object identification and tracking.

While camera-based systems are a proven solution to this problem, they have many downsides. Many have voiced their issues in installing cameras in their vicinity. Moreover, it is not impossible that a malicious third party, gains access to the camera data. Thirdly, bad weather conditions or impurities in the camera lens negatively affect camera-based object detection performance—a problem for systems installed in public spaces.

Motivated by this problem, the Millimeter-Wave Radar Tracker (MMWRTracker)—a general solution for anonymous object detection, tracking and identification via millimeter-waves—is proposed. Utilizing a radar, its received signal retains object anonymity and penetrates surfaces, thus eliminating the issues stemming from bad weather conditions or impurities obstructing camera lens. In a similar fashion to other pre-existing systems using the millimeter-wave (MMWave) technology, the MMWR-Tracker first processes the MMWave signal into point-cloud format. In the object detection step, instead of relying on a classical algorithm like DBSCAN, a U-Net is employed to discover objects within the point-cloud image. The advantages of using the U-Net in system generalization to dataset noise and improved detection accuracy are demonstrated in experiments. When tested on two sequential datasets, the system achieves mean identification accuracies of approximately 61% and approximately 57%, and median path tracking errors of approximately 0.23m and approximately 0.10m. While these results do not beat the SOTA, they show promise for future work in developing the MMWR-Tracker into a system that integrates the superior object tracking architecture from pre-existing literature into the well-functioning Object Detection Module.

Modernissa yhteiskunnassa automaatio on merkittävässä asemassa monien teollisuudenalojen tulevaisuudessa. Reittien optimointi joukkoliikenteessä on eräs tällainen tutkimuksenala. Joukkoliikenteen reittejä voidaan suunnitella, jos tiedetään millä pysäkeillä matkustaja nousee ja poistuu reitiltä. Matkustajien käyttäytymisen seuraaminen ei kuitenkaan ole yksinkertainen ongelma. Tästä syystä se voidaan redusoida kohteiden tunnistamisen ja seurannan ongelmaksi.

Vaikka kamerapohjaiset järjestelmät ovat hyväksi todettu ratkaisu tähän ongelmaan, niissä on todettu ongelmia yksityisyyden suhteen. Monet ihmiset kokevat, että kameroiden asentaminen heidän läheisyyteensä ei kunnioita heidän yksityisyyttään. Lisäksi on mahdollista, että haitallinen kolmas osapuoli pääsee käsiksi kameratietoihin. Kolmantena, huono sää tai likainen linssi heikentää kohteiden tunnistusta kamerapohjaisissa järjestelmissä.

Ratkaisuna näihin ongelmiin tässä työssä esitellään Millimeter-Wave Radar Tracker (MMWR-Tracker) -yleisratkaisu anonyymien kohteiden havaitsemiseen, seurantaan ja tunnistamiseen millimetriaaltojen avulla. Koska systeemi hyödyntää tutkaa, sen vastaanottama signaali säilyttää havaittujen kohteiden yksityisyyden ja läpäisee pintoja välttäen ongelmat, jotka ovat seurausta huonosta säästä tai liasta. Samalla tavalla kuin muut olemassa olevat järjestelmät, jotka käyttävät millimetriaaltotekniikkaa (MMWave), MMWR-Tracker ensin käsittelee MMWave-signaalin pistepilvimuotoon. Sen sijaan, että kohde havaittaisiin pistepilvestä klassisilla algoritmeilla, kuten DBSCAN, MMWR-Tracker käyttää U-Net-neuroverkkoarkkitehtuuria pistepilvikuvan kohteiden löytämiseen. Arkkitehtuurin etu järjestelmän generalisoitumisessa kohinalle osoitetaan kokeilla. Kokeissa järjestelmä saavuttaa keskimääräiset kohteiden tunnistustarkkuudet 61 % ja 57 % sekä polun seurantavirheiden mediaanit 0,23 m ja 0,10 $m. Vaikka tulokset eivät voita parhaita tuloksia aiemmassa kirjallisuudessa, ne ovat lupaavia jatkotutkimuksen kannalta, jossa MMWR-Tracker kehitetään järjestelmäksi, joka integroi hyvin toimivan objektinseuranta- ja tunnistusarkkitehtuurin aiemmasta kirjallisuudesta työn kokeissa hyväksi todettuun Object Detection Module -moduuliin.