End-to-End Deep Learning for Autonomous Steering of Self-Driving Cars

Thumbnail Image

Files

master_Maanpää_Jyri_2019.pdf (55.53 MB)

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2019-08-20

Department

Major/Subject

Applied Mathematics

Mcode

SCI3053

Degree programme

Master’s Programme in Mathematics and Operations Research

Language

en

Pages

59+2

Series

Abstract

Autonomous driving is challenging on roads without lane markings and in difficult weather conditions. In this master's thesis we present a deep learning method for autonomous steering in various road types and weather conditions when the driving objective is to stay on the current lane. The method utilizes a convolutional neural network architecture for analyzing a frontal colour camera image and a range image generated from a lidar sensor, and it predicts the car steering wheel angle in this end-to-end approach. The model was trained with 28 hours of driving data collected in Southern Finland and Western Lapland areas. The training data was augmented by simulating small positional changes in the sensor locations for training the model to steer back to the lane center from displaced positions. Several models utilizing different types of sensor data were trained in order to compare the operational reliability between them. Our best methods achieved a 96% level of autonomy (fraction of autonomously driven time when staying on the current lane) on a challenging 9.5 km road with lane lines, several steep curves and hills and 98% level of autonomy on a 3.7 km road without lane lines, consisting mostly of a gravel road. We observed a 0-3% increase in the level of autonomy when the model utilizing both lidar and camera data was compared to a model utilizing only camera data. Various other tests of successful autonomous steering were also performed in different road and weather conditions.

Autonominen ajaminen on haastavaa kaistaviivattomilla teillä ja vaikeissa sääolosuhteissa. Tässä diplomityössä esitetään syväoppimismenetelmä autonomiseen ohjaukseen lukuisilla eri tietyypeillä ja vaihtelevissa sääolosuhteissa, kun ajon päämäärä on pysyä nykyisellä kaistalla. Menetelmä käyttää konvolutiivista neuroverkkoa auton etukameran värikuvan ja laserkeilaindatasta tuotetun etäisyyskuvan analysointiin ja se ennustaa ratin ohjauskulman tässä "päästä päähän" -tyyppisessä toteutuksessa. Malli koulutettiin 28 tunnilla ajodataa, joka on kerätty Etelä-Suomen ja Länsi-Lapin alueelta. Mallin koulutusdata augmentoitiin lisäämällä siihen pieniä sensorien sijaintipoikkeamia, jotta malli oppisi korjaamaan auton poikenneesta sijainnista takaisin kaistan keskelle. Useita malleja koulutettiin erilaisilla sensorisyötteillä, jotta niiden toimintavarmuutta voidaan verrata keskenään. Parhaimmilla menetelmillä saavutettiin 96% tason autonomia (autonomisen ajon ajallinen osuus, kun pysytään nykyisellä kaistalla) haastavalla 9.5 km pitkällä kaistaviivoitetulla, mutkaisella ja mäkisellä tiellä ja 98% tason autonomia 3.5 km pitkällä kaistaviivattomalla tiellä, joka koostui enimmäkseen soratiestä. Verrattuna pelkkää kameraa käyttävään malliin sekä lidar- että kameradataa hyödyntävä algoritmi tuotti 0-3% autonomian tason nousun. Työssä tehtiin myös lukuisia muita onnistuneita autonomisen ohjauksen testejä eri tie- ja sääolosuhteissa.

Description

Supervisor

Hyvönen, Nuutti

Thesis advisor

Kaijaluoto, Risto

Keywords

deep learning, convolutional neural networks, self-driving, autonomous mobile robotics, autonomous steering, visual backpropagation

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-201908254948

Collections

[dipl] Perustieteiden korkeakoulu / SCI