Scale Model Autonomous Driving Benchmark for Deep Reinforcement Learning Algorithms

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2021-08-24
Department
Major/Subject
Mathematics and Operations Research
Mcode
SCI3055
Degree programme
Master’s Programme in Mathematics and Operations Research
Language
en
Pages
61
Series
Abstract
Reinforcement learning has seen major advancements in recent years and displayed superhuman performance in many tasks like board and video games. Thus far, the success has been limited to environments that can be simulated, as reinforcement learning algorithms traditionally require many interactions with the environment, up to millions of steps, which is easier to achieve in a simulation. In real-life reinforcement learning, algorithm development is hindered by many common engineering problems like reduced control over the environment and expensive scalability, making it challenging to apply reinforcement learning solutions to real-life problems, for example, autonomous driving. In this thesis, we present a low-cost framework for testing reinforcement learning algorithms in the real-world setting on a simple autonomous driving task. The framework is based on a hardware and software package, Donkey Car, modified to support reinforcement learning tasks. We train a soft actor-critic reinforcement learning agent on a lane following task and test its learning performance, generalization between similar problems and benchmark it to a supervised learning model and a human. We demonstrate that it is possible to train a reinforcement learning agent in 10 minutes of real-world time on a lane following task, making training feasible for real-world testing. Furthermore, the agent is able to learn comparable to or even surpass human skills on a high-speed driving task, and the models generalize between different tasks. We also show that results obtained from a simulated platform translate onto the real platform.

Vahvistusoppimisella on ratkaistu monia ongelmia, jotka ovat aikaisemmin olleet tekoälyn saavuttamattomissa, kuten monimutkaisten video- ja lautapelien pelaaminen jopa ihmisiä korkeammalla tasolla. Perinteisesti vahvistusoppimiseen perustuvat lähestymistavat ovat kuitenkin rajoittuneet simuloituihin ympäristöihin. Vakaan ratkaisun saavuttaminen neuroverkkoihin perustuvalla vahvistusoppimisalgoritmilla vaatii usein jopa miljoonien otosten kokoisen koulutusaineiston, mikä on tehnyt vahvistusoppimisratkaisujen soveltamisesta simulaattoreiden ulkopuolella epäkäytännöllistä. Fyysisillä robottialustoilla useat käytännön ongelmat, kuten ympäristön vaikeampi kontrollointi ja heikompi skaalautuvuus vaikeuttavat vahvistusoppimisratkaisuiden soveltamista esimerkiksi itseohjautuviin autoihin. Tässä työssä esitellään lähestymistapa vahvistusoppimisalgoritmien testaamiseen oikeassa maailmassa, joka perustuu Donkey Car -alustaan. Donkey Car on itseohjautuva pienoismallirobottiauto ja sen ohjaamiseen käytettävä ohjelmisto, joka on lisäksi muokattu tukemaan myös vahvistusoppimista. Auton ohjaamiseen koulutetaan soft actor-critic -vahvistusoppimismalli ajamaan yksinkertaisella ajoradalla tutkien kouluttamiseen kuluvaa aikaa, mallin yleistymistä muille vastaaville radoille ja suoriutumista ohjattuun oppimiseen perustuvaa mallia ja ihmistä vastaan. Työssä osoitetaan, että vahvistusoppimismallin kouluttaminen radanseuraamistehtävään onnistuu kymmenessä minuutissa, jolloin tehtävä on käytännöllinen vahvistusoppimisen testaamiseen myös fyysisillä roboteilla. Koulutetut mallit myös yleistyvät erilaisten ratojen välillä ja parhaimmillaan ne ylittävät ihmisen ja ohjatun oppimisen mallien suorituskyvyn. Fyysisen robotin tulokset vastaavat myös alustan simulaattorin tuottamia tuloksia.
Description
Supervisor
Kannala, Juho
Thesis advisor
Boney, Rinu
Keywords
reinforcement learning, Donkey Car, soft actor-critic, variational autoencoder, neural networks, autonomous driving
Other note
Citation