Temporal Depth Completion for Autonomous Vehicle Lidar Depth Sensing

Abstract

Autonomous vehicles (AVs) are equipped with an extensive sensor setup for gathering information about the environment. Light detection and ranging (lidar) sensors are commonly employed to construct a three-dimensional model of the environment. Depth completion aims at increasing the resolution of this mapping by interpolating and infilling the sparse lidar point cloud. In this thesis, we investigate techniques for utilizing temporal information in the depth completion problem using deep neural networks.

We extend a state-of-the-art depth completion algorithm to utilize the information from past lidar measurements using recurrence and explicit multi-frame approaches. Our methods for integrating temporal information into the neural network architectures are general and could be applied to other depth completion models. The proposed methods are trained and evaluated on the popular KITTI depth completion dataset, which provides a large amount of data with semi-dense ground truth.

Our best recurrent model demonstrates improved accuracy over existing methods on the KITTI depth completion validation set. The accuracy is especially improved for faraway objects and regions containing a low amount of sparse depth lidar samples. The improvement is achieved with under a percent of additional overhead in terms of both neural network parameters and floating point operations required by the whole algorithm.

Itseajavat autot on varustettu monilla sensoreilla, joilla kerätään tietoa auton ympäristöstä. Valotutkia eli lidar-antureita käytetään yleisesti muodostamaan kolmiulotteinen pistepilvi auton ympäristöstä. Syvyydentäydennys-menetelmillä pyritään lisäämään tämän mittauksen tarkkuutta interpoloimalla ja täyttämällä harvaa valotutkan tuottamaa pistepilveä. Tässä työssä tutkimme menetelmiä, joilla voidaan hyödyntää ajallista informaatiota syvyydentäydennysongelmassa syväoppimisen avulla.

Laajennamme viimeisintä syvyydentäydennysmallia hyödyntämään aiemmista valotutkan mittauksista saatua tietoa käyttämällä rekurrenssia ja useisiin havaintoihin perustuvia menetelmiä. Menetelmämme ajallisen informaation lisäämiseksi neuroverkkoarkkitehtuureihin ovat yleisiä, ja niitä voidaan soveltaa myös muihin syvyydentäydennysmalleihin. Käyttämämme menetelmät koulutetaan ja arvioidaan KITTI depth completion -aineistolla. Aineisto tarjoaa suuren määrän dataa, jolle on laskettu puolitiheät totuushavainnot.

Paras rekurrentti mallimme saavuttaa nykyisiä menetelmiä paremman tarkkuuden KITTI depth completion -validointiaineistolle. Tarkkuus paranee erityisesti kaukana sijaitsevien kohteiden ja sellaisten alueiden osalta, joissa valotutkan mittaus on erityisen harva. Lisäksi sekä neuroverkon parametrien määrä että koko algoritmin liukulukuoperaatioiden määrä kasvaa vain alle prosenttiyksiköllä verrokkimenetelmiin verrattuna.