SAM2 pseudolabeling for instance segmentation of tree crowns from aerial imagery

Thumbnail Image

Files

master_Rua_Stefan_2025.pdf (36.78 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-11-24

Department

Major/Subject

Machine Learning, Data Science and Artificial Intelligence

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences
Master's Programme in Computer, Communication and Information Sciences
Master's Programme in Computer, Communication and Information Sciences

Language

en

Pages

30

Series

Abstract

This thesis explores the use of zero-shot instance segmentation as a pseudolabeling preprocessing step in the context of tree crown detection from aerial imagery, where pre-existing annotations calculated from a canopy height model (CHM) are of insufficient quality. Segment Anything Model 2 (SAM2) was used for pseudolabeling and pre-existing annotations were used as bounding box prompts. To evaluate the annotation quality improvement, both pseudolabels and original annotations were compared to a manually annotated test set. In addition, to examine the effect of pseudolabeling on model training, an instance segmentation network (Mask R-CNN + ResNet50 backbone) was trained on both pseudolabels and original annotations, and the inference results on a test area were evaluated based on the manual annotations. Using manually drawn tree crown segments as ground truth, pseudolabels achieved a higher mean intersection over union (mIoU) score than the CHM-based annotations. Models trained on pseudolabels produced better inference results than models trained on CHM-based coarse annotations, both when trained on RGB images and when trained on multispectral images. The results indicate that pseudolabeling is a viable preprocessing step for datasets with approximate annotations.

Tässä diplomityössä tutkittiin zero-shot instanssisegmentaatiota pseudoannotointiesikäsittelyvaiheena puulatvuksien tunnistuksessa ilmakuvista tapauksessa, jossa aineiston olemassaolevat latvuskorkeusmallista lasketut annotaatiot ovat epätarkat. Mallia Segment Anything Model 2 (SAM2) käytettiin pseudoannotointiin, ja alkuperäisiä latvuskorkeusmallipohjaisia annotaatioita käytettiin laatikkokehotteina. Annotaatiolaadun parannuksen arviomiseksi sekä pseudoannotaatioita että alkuperäisiä verrattiin käsin annotoituun koealueeseen. Pseudoannotaatioden vaikutuksen koneoppimismallien koulutukseen arvioimiseksi koulutettiin instanssisegmentaationeuroverkko (Mask R-CNN + ResNet50 selkäranka) sekä pseudoannotaatioilla että alkuperäisillä annotaatioilla, ja inferenssitulokset arvioitiin manuaalisten annotaatioiden perusteella. Pseudoannotaatiot saavuttivat korkeamman mIoU tuloksen kuin alkuperäiset annotaatiot. Pseudoannotaatio paransi myös inferenssituloksia sekä RGB-kuvilla koulutetulla mallilla, että multispektrikuvilla koulutetulla mallilla. Tulokset viittavat siihen, että pseudoannotaatio on varteenotettava esikäsittelyvaihe aineistoille, joissa annotaatiot ovat vain suuntaa antavia.

Description

Supervisor

Laaksonen, Jorma

Thesis advisor

Pesonen, Julius

Keywords

pseudolabeling, instance segmentation, forestry, mapping, aerial imaging, multispectral imaging

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202512179400

Collections

[dipl] Perustieteiden korkeakoulu / SCI