Pixelwise Road Surface Slipperiness Estimation for Autonomous Driving with Weakly Supervised Learning

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2023-10-09
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
82
Series
Abstract
This thesis proposes a method for estimating road surface slipperiness at the input image pixel level to enable improvements in autonomous and non-autonomous driving in adverse weather conditions. The proposed method uses a fully convolutional neural network to process an image taken by a forward-facing camera on a car to produce a pixelwise slipperiness estimation with the resolution of the input image. To find the best-performing model multiple deep learning methods were tested and analyzed for improvements on the task, and the performance of the final model was further examined quantitatively and qualitatively. The model was trained using a recently collected dataset collected from various weather conditions. The data consisted of camera images, which were used as input, and grip measurements, which were used as the ground truth labels. The data was preprocessed to formulate a weakly supervised learning task and it was found that the model can be trained with sparsely labelled data to produce meaningfully accurate results while greatly improving the resolution of slipperiness estimations compared to prior existing solutions. The method was improved with auxiliary learning, weighted sampling during training, and pretrained models, while results on the use of thermal camera input were inconclusive. While the study left space to optimize many hyperparameters further the results imply that fully convolutional networks or other similar models could be used to improve autonomous and non-autonomous driving in adverse weather conditions by increasing the amount of slipperiness information available to other autonomous driving software components or the human driver.

Tässä diplomityössä esitellään menetelmä tienpinnan liukkauden arvioimiseksi pikselikohtaisesti, autonomisen ja manuaalisen ajamisen parantamiseksi haitallisissa keliolosuhteissa. Esitelty menetelmä hyödyntää täysin konvolutiivisia neuroverkkoja auton etukameralla otetun kuvan käsittelemiseksi ja pikselikohtaisista liukkausarvoista koostuvan kuvan luomiseksi. Luodun kuvan erottelukyky on yhtä suuri kuin alkuperäisen syötteenä annetun kuvan. Useita syväoppimismenetelmiä testattiin ja analysoitiin parhaiten toimivan mallin löytämiseksi ja parhaiten toimivien mallien tuloksia tutkittiin erikseen sekä kvantitatiivisesti että kvalitatiivisesti. Malli koulutettiin käyttäen dataa, joka oli kerätty useista tiesääolosuhteista. Data koostui kamerakuvista, joita käytettiin mallin syötteenä, ja tienpinnan liukkausmittauksista, joita käytettiin mallin tuottamien arvojen vertailuun. Data esikäsiteltiin ja muotoiltiin heikosti ohjattavaksi koneoppimistehtäväksi, josta selvisi, että tällainen malli voidaan kouluttaa harvasti merkityllä datalla niin että se tuottaa merkityksellisiä tuloksia ja samalla parantaa merkittävästi olemassa olevien menetelmien erottelukykyä. Menetelmää parannettiin rinnakkaisoppimisella, painotetulla koulutusdatan otantamenetelmällä ja esikoulutetuilla malleilla, kun taas lämpökameran käytön suhteen tulokset eivät olleet ratkaisevia. Vaikka tutkimus jätti tilaa hyperparametrien lisäoptimoinnille, tulokset antavat ymmärtää, että täysin konvolutiivista neuroverkkoa tai muuta samankaltaista mallia voisi käyttää autonomisen ja manuaalisen ajamisen parantamiseksi haitallisissa keliolosuhteissa lisäämällä muilla autonomisen ajamisen ohjelmistokomponenteilla tai ihmiskuskilla saatavilla olevan tiedon määrää.
Description
Supervisor
Laaksonen, Jorma
Thesis advisor
Maanpää, Jyri
Keywords
autonomous driving, computer vision, weakly supervised learning, adverse weather conditions, deep learning
Other note
Citation