Benchmarking Unsupervised Tree Segmentation Algorithms on High-Density Airborne LiDAR in Urban Boreal Forests

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis

Department

Mcode

SCI3029

Language

en

Pages

37

Series

Abstract

Forest data can be utilized in several economic and ecological applications, creating significant demand for accurate tree-level information. Remote sensing methods, particularly laser scanning (LS), enable rapid and accurate data collection across large forest areas. Individual tree segmentation (ITS), which consists of identifying and extracting individual trees from point clouds, is a fundamental component of 3D LS forest data analysis. However, due to the abundance of existing ITS algorithms, selecting the optimal approach for a given task is challenging. Systematic benchmarking of ITS methods facilitates evidence-based algorithm selection, maximizing the utility of tree-level forest data. In this thesis, we benchmark four conventional, unsupervised ITS algorithms: watershed, 3D adaptive mean shift (AMS3D), layer stacking and Treeiso. The benchmarking is performed on a complex, multispectral, high-density airborne laser scanning dataset. To evaluate algorithm performance, we employ 3D intersection over union for matching the algorithms' predictions to reference data. To ensure maximal performance and a fair comparison, we conduct a comprehensive hyperparameter optimization for each algorithm using two distinct derivative-free optimization methods, specifically Bayesian optimization and random search. All algorithms demonstrate relatively low segmentation accuracies compared to prior studies. The best performance is achieved by Treeiso using only tree points as input, producing an F1-score of 52.5 percent. With the default input configuration, Treeiso achieves an F1-score of 48.9 percent. The purely 2D-based watershed emerges as the second-best performer with an F1-score of 48.1 percent. AMS3D and layer stacking attain F1-scores of 41.2 percent and 34.9 percent, respectively. Notably, all algorithms produce similar results on the test and training split of the data, indicating great generalization capability. Finally, by comparing results achieved with default and optimized parameters, we demonstrate a clear increase in F1-scores from parameter optimization for all benchmarked algorithms.

Yksityiskohtaisella metsädatalla on useita sovelluskohteita sekä ekologian että talouden saralla, minkä vuoksi tarkka informaatio metsistä yksittäisen puun tasolla on arvokasta. Datan keräämiseen käytetään kaukokartoitusmenetelmiä ja erityisesti laserkeilausta, joka mahdollistaa tarkan tiedon keräämisen nopeasti laajoilta alueilta. Kolmiulotteisen laserkeilausmetsädatan analyysissä keskeisessä osassa on yksittäisten puiden segmentointi (engl. individual tree segmentation, ITS), jossa yksittäiset puut tunnistetaan ja erotellaan pistepilvestä. Sopivimman ITS-algoritmin valinta tiettyyn segmentointitehtävään on kuitenkin haastavaa menetelmien laajan kirjon vuoksi. Algoritmivalinnan tueksi voidaan toteuttaa systemaattista ITS-metodien vertailuanalyysiä, mikä mahdollistaa puukohtaisen metsätiedon tehokkaamman hyödyntämisen. Tässä opinnäytetyössä vertailun kohteena on neljä perinteistä, valvomatonta ITS-algoritmia: watershed, 3D adaptive mean shift (AMS3D), layer stacking ja Treeiso. Vertailuanalyysi toteutetaan haastavalla, tiheällä, multispektrisellä ilmalaserkeilausdatajoukolla. Jotta algoritmien suorituskykyä voidaan vertailla, algoritmien ennustamat puusegmentit sovitetaan referenssidatan segmentteihin käyttäen Jaccardin indeksiä kolmessa ulottuvuudessa. Algoritmien suorituskyvyn maksimoimiseksi ja reilun vertailun toteuttamiseksi algoritmien hyperparametrit optimoidaan. Parametrien optimointi toteutetaan kahdella derivaatattomalla optimointimenetelmällä: bayesialaisella optimoinnilla sekä satunnaishaulla. Jokainen vertailun algoritmeista saavuttaa suhteellisen heikon segmentointitarkkuuden verrattuna aiempaan tutkimukseen. Parhaan suorituskyvyn tuottaa Treeiso pelkät puupisteet syötteenään saavuttaen 52,5 %:n F1-arvon. Oletussyötteellä Treeison tuottama F1-arvo on 48,9 %. Täysin kaksiulotteinen watershed on vertailun toiseksi paras algoritmi 48,1 %:n F1-arvolla. AMS3D ja layer stacking saavuttavat F1-arvot 41,2 % ja 34,9 %. Jokainen algoritmeista tuottaa samantasoisia tuloksia datajoukon koulutus- ja testiosalla, mikä viittaa hyvään yleistymiskykyyn. Vertaamalla suorituskykyä oletus- ja optimiparametreillä parametrioptimoinnin osoitetaan johtavan selvään F1-arvon kasvuun kaikilla vertailun algoritmeilla.

Description

Supervisor

Hakula, Harri

Thesis advisor

Ruoppa, Lassi

Other note

Citation