Road detection in adversarial weather conditions using RGB and LiDAR data

Thumbnail Image

Files

master_Lehtimäki_Miika_2021.pdf (56.77 MB)

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2021-08-23

Department

Major/Subject

Translational Engineering

Mcode

ELEC3023

Degree programme

AEE - Master’s Programme in Automation and Electrical Engineering (TS2013)

Language

en

Pages

72

Series

Abstract

Autonomous vehicles have previously used road markings as a reference for drivable area detection. For autonomous driving to be possible in weather conditions where these markings are not visible (for example snow cover, ice, heavy rain), the drivable area needs to be determined by other means. In this work the use of machine learning models based on fully convolutional neural networks is evaluated for this task. The models use data projected into bird's eye view format, enabling detections agnostic to variations in sensor properties, such as resolution. In order to find an optimal model architecture, two hyperparameter searches are performed on different resolutions and parameter ranges. A tool for partially automating the process of such dataset creation is described and implemented. The tool enables a human labeler to label a single global bird's eye view image for each driving sequence, improving the labeling efficiency by a factor of thousands compared to individually labeling the camera images. The dataset tool also demonstrates real-time production of LiDAR and RGB bird's eye view frames that are used as inputs for the neural network models. The dataset tool was able to produce a dataset of sufficient quality for the machine learning model training and evaluation. Minor defects were observed that can most likely be rectified with relatively simple modifications. The models were able to successfully predict the general shape of surrounding roads, but exhibited noise on road edges and uncertainty in areas of little input data.

Autonomiset autot ovat perinteisesti havainneet ajokelpoista aluetta tiemerkintöjen avulla. Jotta autonominen ajaminen olisi mahdollista sääolosuhteissa, joissa tiemerkinnät eivät ole näkyvissä (esimerkiksi lumipeitteen, jään tai kovan sateen takia), tulee ajokelpoinen alue havaita muilla tavoin. Tässä työssä arvioidaan täyskonvoluutioneuroverkkoihin perustuvien koneoppimismallien soveltuvuutta em. tarkoitukseen. Mallit hyödyntävät lintuperspektiivin projisoitua tietoformaattia, mahdollistaen sensoriominaisuuksista, kuten resoluutiosta riippumattoman havainnoinnin. Kaksi hyperparametrihakua eri resoluutioilla ja parametriavaruuksilla suoritetaan optimaalisen mallin arkkitehtuurin löytämiseksi. Työkalu tällaisen tietojoukon luomisprosessin osittaiseksi automatisoinniksi kuvataan ja implementoidaan. Työkalun ansiosta ihmisen tarvitsee merkitä tie vain yhteen ajosekvenssiä vastaavaan, globaaliin lintuperspektiivikuvaan, parantaen ihmistyön tehokkuutta monituhatkertaisesti yksittäisten kamerakuvien merkintään verrattuna. Työkalun implementaatiossa myös demonstroidaan neuroverkkomallien syötteenä käytettävien LiDAR ja RGB-lintuperspektiivikuvien reaaliajassa tuottaminen. Työkalu kykeni tuottamaan riittävän laadukkaan tietojoukon koneoppimismallin kouluttamiseksi sekä arvioimiseksi. Pieniä vikoja oli havaittavissa, mutta ne ovat luultavasti korjattavissa verraten yksinkertaisilla muutoksilla. Mallit onnistuivat havaitsemaan ympäröivien teiden yleismuodon, mutta havainnoissa oli kohinaa erityisesti teiden reunoilla sekä epävarmuutta alueilla, joilla syötedata oli vähäistä.

Description

Supervisor

Kyrki, Ville

Thesis advisor

Hietanen, Antti

Keywords

autonomous driving, weather, drivable area detection, machine learning, bird's eye view

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202108298579

Collections

[dipl] Sähkötekniikan korkeakoulu / ELEC