Weakly supervised learning for semantic segmentation of multispectral 3D point clouds from Finnish river environments

Abstract

Semantic segmentation is a powerful technique for utilizing 3D point cloud data. Especially, methods based on deep learning have proven promising performance for the task of point cloud semantic segmentation in the supervised learning (SL) setting. However, a major difficulty in deep learning-based 3D point cloud semantic segmentation is the limitation of fully annotated datasets due to the time-consuming and laborious nature of acquiring ground truth annotations. To address the scarcity of labeled point cloud data, semantic segmentation methods based on weakly supervised learning (WSL), where only small part of the data needs to be labeled, can be utilized.

The objective of this research is to assess developed weakly supervised frameworks for semantic segmentation of multispectral 3D point cloud data, and evaluate the performance of the selected methods on a novel point cloud dataset collected from northern Finnish riverine environments. Existing research on point cloud semantic segmentation is mostly evaluated on a few standard benchmarking datasets that are collected from indoor environments. Thus, assessing performance of weakly supervised point cloud semantic segmentation frameworks on multispectral data from outdoor environments is important for practical applications and further development of WSL-based point cloud semantic segmentation. Several WSL frameworks for point cloud semantic segmentation are evaluated in the study, and a modified implementation of a method based on point cloud masking is developed. The developed point cloud masking method is compared against WSL and SL baselines. Experiments performed at different levels of labeled data indicate that learning contextual representations based on point cloud masking is a challenging task when using point cloud data from outdoor environments.

However, the results give evidence that WSL-based semantic segmentation with a limited amount of labeled points can achieve high accuracy, but also highlight the importance of accuracy of the limited labels. Additionally, the study evaluates the value of multispectral data compared to single- and two-channel point cloud data, demonstrating the added value of multispectral data.

Semanttinen segmentointi on tehokas menetelmä 3D-pistepilvidatan hyödyntämiseen. Erityisesti syväoppimiseen pohjautuvat metodit ovat osoittautuneet lupaaviksi menetelmiksi pistepilvien semanttiseen segmentointiin. Merkittävä haaste syväoppimiseen pohjautuvien segmentointi menetelmien käytölle on kuitenkin labeloidun datan puute, sillä pistepilvien labelointi on työlästä. Labeloidun pistepilvidatan niukkuutta voidaan ratkaista hyödyntämällä heikosti ohjattuun oppimiseen (weakly supervised learning, WSL) perustuvia menetelmiä, joilloin vain pieni osa datasta tarvitsee olla labeloitua.

Tämän työn tavoitteena on arvioida heikosti ohjattuun oppimiseen perustuvia menetelmiä multispektraalisen 3D-pistepilvidatan semanttiseen segmentointiin sekä arvioida menetelmien suorituskykyä Pohjois-Suomen jokiympäristöistä kerätyllä pistepilvidatalla. Aikaisempi tutkimus pistepilvien semanttisesta segmentoinnista perustuu suurelta osin vakiintuneisiin data-aineistoihin, jotka on kerätty sisätiloista. Siitä johtuen heikosti ohjattuun oppimiseen perustuvien semanttisen segmentoinnin menetelmien arviointi ulkoympäristöistä kerätyllä monikanavaisella pistepilvidatalla on tärkeää menetelmien käytännön sovelluksille.

Tässä työssä arvioidaan WSL:ään perustuvia pistepilvien semanttisen segmentoinnin menetelmiä ja kehitetään sovellettu toteutus yhdestä pistepilvien maskaamiseen (masking) perustuvasta metodista. Kehitettyä pistepilvien maskaamiseen perustuvaa menetelmää verrataan soveltuviin baseline menetelmiin. Menetelmiä arvioidaan eri määrillä labeloitua dataa suoritetuilla kokeilla. Tulokset osoittavat, että pistepilvien maskaamiseen perustuvilla menetelmillä on hankalaa oppia kontekstuaalisia representaatioita ulkoympäristöistä kerätystä pistepilvidatasta.

Tulokset kuitenkin osoittavat, että heikosti ohjattuun oppimiseen pohjautuvat pistepilvien semanttisen segmentoinnin menetelmät saavuttavat korkean tarkkuuden, vaikka labeloidun datan määrä on hyvin rajallinen. Lisäksi tulokset korostavat rajallisten labeleiden tarkkuuden tärkeyttä. Työssä tutkittiin lisäksi multispektraalisen pistepilvidatan hyötyä verrattuna yksi- tai kaksikanavaiseen pistepilvidataan todistaen, että multispektraalinen data lähtökohtaisesti tuo lisäarvoa.