aalto1 untyped-item.component.html
Unsupervised semantic segmentation of multispectral point clouds
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
SCI3055
Degree programme
Language
en
Pages
83
Series
Abstract
Accurate and high-density point clouds acquired from aerial platforms by laser scanning provide large-scale and precise surface information from complex scenes rapidly. The diverse applications with point clouds vary from urban planning to reducing the effects of climate change. However, many of the applications require efficient segmentation of the point clouds which remains a great challenge, especially on an urban scale.
This thesis aims to semantically segment a novel high-density multispectral urban-scale aerial laser scanning point cloud data in an unsupervised manner exploiting deep learning techniques. To reach the goal, the GrowSP algorithm is implemented. GrowSP is a fully unsupervised algorithm intended to semantically segment point clouds. First, the point cloud is oversegmented into semantically consistent superpoints which are then clustered to semantic primitives thus providing pseudo-labels. Then, a neural network extracts pointwise features which are classified using the centroids of the semantic primitives.
The state-of-the-art multispectral point cloud collected with three wavelengths is highly dense with more than 1300 points on a square meter. After preprocessing, the data set is split into training and test sets. The test set is annotated semi-automatically into ten classes often present in literature.
Different segmentation setups are explored to find the best segmentation accuracy. The importance of multispectral information is evaluated in an ablation study. Additionally, different superpoint construction methods are tested as the superpoints act as pseudo-labels and thus set the upper bound for the final segmentation accuracy.
The segmentation results with a different number of predicted classes are examined. The evaluation is done both quantitatively and qualitatively. The segmentation results improve with each added reflectance attribute when the number of predicted classes is low. However, allowing a larger number of predicted classes improves the results more and decreases the importance of the multispectral information. Of the different superpoint construction methods, hierarchical partition provides the best segmentation.
Pistepilvien kerääminen ilmasta käsin tuottaa suuria määriä tarkkoja mittauksia monimutkaisista ympäristöistä nopeasti ja luotettavasti. Näitä tiheitä pistepilviä voidaan hyödyntää laajasti monissa sovelluksissa aina kaupunkiympäristöjen suunnittelusta ilmastonmuutoksen vastaiseen toimintaan. Vaatimuksena monissa sovelluksissa on kuitenkin pistepilvien tehokas segmentointi, joka on erityisen haastavaa urbaanilla skaalalla. Tämän työn tavoitteena on semanttisesti segmentoida valvomatomatonta syväoppimista hyödyntäen ennennäkemättömän tiheä multispektripistepilvi, joka on keilattu urbaanista ympäristöstä ilmasta käsin.
Semanttinen segmentointi suoritetaan tehtävää varten suunnatulla, täysin valvomattomalla GrowSP-algoritmilla. Aluksi pistepilvi ylisegmentoidaan semanttisesti yhtenäisiin superpisteisiin, jotka luokitellaan semanttisiin primitiiveihin eli valeluokkiin. Tämän jälkeen kaikille pisteille lasketaan piirrevektori syväoppijan avulla. Jokainen piste voidaan luokitella piirrevektoreiden ja semanttisten primitiivien avulla.
Tässä työssä käytetty kolmella keilaimella kerätty multispektridata on erityisen tiheää sisältäen yli 1300 pistettä neliömetriä kohden. Esikäsittelyn jälkeen datajoukko jaetaan koulutus- ja testijoukkoihin. Testijoukko annotoidaan puoliautomaatiota hyödyntäen kymmeneen kirjallisuudessa yleiseen luokkaan.
Erilaisia segmentointiasetelmia tutkitaan parhaan lopputuloksen saavuttamiseksi. Tätä varten multispektri-informaation tärkeyttä arvioidaan ablatiivisessa kokeessa ja erilaisia superpisteiden luomismenetelmiä sekä ennustettujen luokkien määrän vaihtelua kokeillaan. Superpisteet ohjaavat valvomattoman luokittelijan oppimista, ja asettavat siksi ylärajan lopulliselle segmentointitarkkuudelle.
Lopullisia tuloksia arvioidaan sekä kvalitatiivisesti että kvantitatiivisesti. Kun ennustettujen luokkien määrä on matala, segmentointitulokset paranevat jokaisen uuden keilaimen myötä. Segmentointitarkkuus kuitenkin kasvaa huomattavasti enemmän sallimalla suurempi määrä ennustettuja luokkia, jolloin myös multispektri-informaation tärkeys vähenee. Eri superpisteiden luontimenetelmistä hierarkkinen jako toimii parhaiten.
Description
Supervisor
Hannukainen, AnttiThesis advisor
Lehtomäki, MattiTaher, Josef