Position-aided road auto-labeling with self-supervised features in winter driving conditions

Abstract

Road segmentation is a critical task for enabling the safe operation of autonomous cars. Currently, most road segmentation models rely on manually labeled data (supervised learning), making the training process very resource-heavy. Also, there is a lack of data in adverse conditions like winter and supervised models generalize poorly to domains they have not seen during training.

In this thesis, a road segmentation model that requires no manual labeling (self-supervised learning) is presented. Training and testing are conducted in challenging winter driving conditions but the method can be adapted to any domain with no modifications. The proposed method includes two parts: Position-Aided Road Auto-labeling with Self-supervised features (PARAS) and learning from the PARAS auto-labels. In PARAS auto-labeling, the driven area is extracted based on Global Navigation Satellite System (GNSS) poses, and then the rest of the road is collected by comparing the mean similarity to the driven area with a pre-trained self-supervised feature extractor. Then a segmentation model is trained with the autogenerated labels using a custom loss function. The proposed method improves the current state of the art of self-supervised road segmentation in the winter driving domain (74.8 IoU vs 73.0 IoU) but can't yet compete with supervised methods. Most of the error in our method is caused by the inability to collect all road pixels by comparing feature similarity with the driven area. Performance could be increased by using a more accurate feature extractor or more advanced similarity metric than the simple mean that is used here.

The scalability of our proposed model is excellent as only GNSS and camera sensors are required and it avoids the label-assigning problem that is present in other approaches that utilize self-supervised features. In the current work, labels are assigned by simply clustering similar features together or using manually labeled data to learn projection from features to classes.

Tien tunnistus pikselitasolla, eli segmentointi, kaikissa olosuhteissa on edellytys turvalliselle autonomiselle ajamiselle. Tällä hetkellä suurin osa tien tunnistusmenetelmistä nojaa manuaalisesti merkattuun koulutusdataan (ohjattu oppiminen) ja datan merkkaaminen on hyvin aikaavievää prosessi. Lisäksi koulutusdataa ei löydy juurikaan poikkeavissa olosuhteissa, kuten talvella, ja mallit toimivat heikosti olosuhteissa, joissa niitä ei ole koulutettu.

Tässä työssä esitetään tien tunnistusmenetelmä, joka ei tarvitse lainkaan manuaalisia merkintöjä(itse-ohjattu oppiminen). Koulutus ja testaus suoritetaan vaativissa talviolosuhteissa, mutta menetelmää voidaan soveltaa mihin tahansa olosuhteisiin ilman muutoksia. Menetelmässä on kaksi osaa: automaattinen tiemerkintöjen luonti itsekehitetyllä PARAS (Position-Aided Road Auto-labeling with Self-supervised features)-menetelmällä ja tiensegmentointimallin kouluttaminen näillä merkinnöillä. PARAS-menetelmällä tiemerkinnät luodaan automaattisesti erottelemalla ajettu alue sateellittipaikannauksen (GNSS) avulla ja vertaamalla muiden kuva-alueiden samankaltaisuutta ajettuun alueeseen itseohjatulla piirteiden erotus mallilla. Tien tunnistusmalli voidaan sitten kouluttaa tällä autogeneroidulla datalla. Autogeneroitujen merkintöjen heikkouksia kompensoidaan itsekehitellyllä hukkafunktiolla. Menetelmä parantaa nykyistä itseohjatun tientunnistuksen tasoa talviolosuhteissa (74.8 IoU vs 73.0 IoU) mutta ei vielä pärjää ohjatuille menetelmille. Vaihe, jossa koko tie etsitään vertaamalla muiden alueiden piirteitä ajetun alueen piirteisiin, on menetelmän merkittävin virhelähde. Tarkkuuta voidaan parantaa käyttämällä parempaa piirteiden erotus mallia tai vertaamalla samankaltaisuutta kehittyneemmällä tavalla kuin keskiarvo, jota on käytetty tässä työssä.

Menetelmän skaalautuvuus on erinomainen, sillä vaatimuksena on ainoastaan kamera ja GNSS-paikannusanturi. Lisäksi muissa itseohjatuissa malleissa esiintyvä ongelma luoda tiemerkinnät piirteiden perusteella ratkaistaan käyttämällä hyväksi GNNS-paikkatietoa. Olemassa olevissa ratkaisuissa tiemerkinnät täytyy luoda joko yksinkertaisesti ryhmittämällä samankaltaiset piirteet yhteen tai kouluttamalla manuaalisesti merkatulla datalla projektio piirteistä luokkamerkintöihin.