Autonomous Vehicle Perception and Navigation in Adverse Conditions

Thumbnail Image
Files
isbn9789526417158.pdf (5.59 MB)
Journal Title
Journal ISSN
Volume Title
School of Engineering | Doctoral thesis (article-based) | Defence date: 2024-04-26
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2024
Department
Konetekniikan laitos
Department of Mechanical Engineering
Major/Subject
Mcode
Degree programme
Language
en
Pages
80 + app. 38
Series
Aalto University publication series DOCTORAL THESES, 53/2024
Abstract
Autonomous mobility has gained popularity in recent years due to the promise of safer and more efficient transportation systems. However, multiple challenges hinder the realization of fully autonomous transportation, e.g., safety, operational environment limitations, and efficiency. This thesis addresses challenges related to the perception and navigation of outdoor mobile robots in adverse conditions. These conditions refer to adverse weather and limited communication between a remote operator and the robot. Adverse weather conditions affect the perception systems, namely light detection and ranging (LiDAR) sensors, causing specific types of noise to the data. This work aims to denoise this data and thus provide clean data for downstream systems. Two deep-learning-based denoising approaches are proposed: a supervised approach that utilizes a spatiotemporal module and a selfsupervised multi-echo approach. The supervised method's spatiotemporal module enables efficient data usage and generalization from semi-synthetic to fully real-world data. The self-supervised approach learns by predicting the correlation of data points to their neighbors and utilizes multiecho point clouds for recovering the points representing solid objects. Experiments show that both approaches achieved state-of-the-art performance. Another challenge addressed in this thesis is the navigation in adverse conditions. These challenges refer to limited remote communication caused, for example, by adverse weather conditions. The limited communication between teleoperators and semi-autonomous mobile robots is studied. Semi-autonomous control strategies are proposed to aid the teleoperators when communication signal limits the system's performance. Experiments with a mobile robot prototype revealed that the strategies improved the navigation. Future research should focus on testing the denoising with downstream algorithms and assessing the control strategies in more complex environments. Many adverse and unexpected scenarios must be addressed to realize fully autonomous vehicles in complex environments. Therefore, more unified solutions tackling multiple issues simultaneously are desired in future research.

Autonomiset ajoneuvot ovat kasvattaneet suosiotaan viime vuosina lupaamalla turvallisempia ja tehokkaampia liikennejärjestelmiä. Täysin autonomisten ajoneuvojen toteutumista haittaavat kuitenkin monet haasteet, kuten turvallisuus, toimintaympäristön rajoitukset ja tehokkuus. Tämä väitöskirja käsittelee haasteita, jotka liittyvät ulkona liikkuvien robottien havaitsemiseen ja navigointiin epäsuotuisissa olosuhteissa. Nämä olosuhteet viittaavat huonoon säähän ja rajoitettuun viestintään etäkäyttäjän ja robotin välillä. Epäsuotuisat sääolosuhteet vaikuttavat havainnointijärjestelmiin, nimittäin valontunnistus- ja etäisyysantureihin (LiDAR) aiheuttaen tietyntyyppistä kohinaa dataan. Tämän työn tarkoituksena on poistaa tämä kohinaa ja siten tarjota puhdasta dataa loppupään järjestelmille. Ehdotetaan kahta syvään oppimiseen perustuvaa kohinanpoistomenetelmää: ohjattua menetelmää, joka hyödyntää spatiotemporaalista moduulia ja itseohjattua monikaikumenetelmää. Ohjatun menetelmän spatiotemporaalinen moduuli mahdollistaa tehokkaamman datan hyödyntämisen ja puolisynteettisestä koulutuksesta täysin todelliseen dataan yleistämisen. Itseohjattu menetelmä oppii ennustamalla datapisteiden korrelaatiota naapureihinsa ja hyödyntää monikaikupistepilviä kiinteitä esineitä edustavien pisteiden löytämiseen. Kokeet osoittavat, että molemmat menetelmät saavuttivat huipputason suorituskyvyn. Toinen tässä väitöskirjassa käsitelty haaste on navigointi epäsuotuisissa olosuhteissa. Nämä haasteet viittaavat rajoitettuun etäviestintään, joka johtuu esimerkiksi epäsuotuisista sääolosuhteista. Teleoperaattoreiden ja puoliautonomisten mobiilirobottien välistä rajallista kommunikaatiota tutkitaan. Puoliautonomisia ohjausstrategioita ehdotetaan auttamaan teleoperaattoreita, kun viestintäsignaali rajoittaa järjestelmän suorituskykyä. Kokeet mobiilirobotin prototyypillä paljastivat, että strategiat paransivat navigointia. Tulevaisuuden tutkimuksessa tulisi keskittyä kohinanpoiston testaamiseen loppupään algoritmeilla ja ohjausstrategioiden arviointiin monimutkaisemmissa ympäristöissä. Moniin haitallisiin ja odottamattomiin skenaarioihin on puututtava täysin autonomisten ajoneuvojen toteuttamiseksi monimutkaisissa ympäristöissä. Siksi jatkotutkimuksessa toivotaan yhtenäisempiä ratkaisuja, jotka pyrkivät ratkaisemaan useita haasteita samanaikaisesti.
Description
Supervising professor
Tammi, Kari, Prof., Aalto University, School of Engineering Finland
Keywords
autonomous vehicle, adverse conditions, computer vision, deep learning, autonominen ajoneuvo, epäsuotuisat olosuhteet, konenäkö, syväoppiminen
Other note
Parts
  • [Publication 1]: Seppänen, Alvari; Ojala, Risto; Tammi, Kari. 4DenoiseNet: Adverseweather denoising from adjacent point clouds. IEEE Robotics and AutomationLetters, 8 (1), 456-463.
    Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202301181197
    DOI: 10.1109/LRA.2022.3227863, January2023. View at publisher
  • [Publication 2]: Seppänen, Alvari; Ojala, Risto; Tammi, Kari. Self-Supervised MultiechoPoint Cloud Denoising in Adverse Weather. Pattern RecognitionLetters, manuscript, September 2023.
  • [Publication 3]: Seppänen, Alvari; Vepsäläinen, Jari; Ojala, Risto; Tammi, Kari. Comparisonof Semi-autonomous Mobile Robot Control Strategies in Presenceof Large Delay Fluctuation. Journal of Intelligent & Robotic Systems,106 (1), 28.
    Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202209285785
    DOI: 10.1007/s10846-022-01711-3, September2022. View at publisher
Citation
Permanent link to this item
https://urn.fi/URN:ISBN:978-952-64-1715-8
Collections
[diss] Insinööritieteiden korkeakoulu / ENG