Comparison of Deep Neural Networks in Classification of Spruce Trees Damaged by the Bark Beetle Using UAS RGB, Multi- and Hyperspectral Imagery

Abstract

European spruce bark beetle (Ips typographus L.) is one of the most destructive forest pests globally, and climate change is further escalating the damages caused by the beetle. This necessitates innovative infestation detection and management methods. Unmanned aerial system (UAS)-based remote sensing technology coupled with machine learning methods allows for efficient monitoring of forest health.

This study aimed to assess deep neural networks in detecting bark beetle infestations from UAS imagery at the single-tree level. The study compared RGB, multispectral, and hyperspectral imaging to determine which technology proves the most useful in this task. Different neural network structures were evaluated to find the best model design for each image type.

The study compared 2D- and 3D-convolutional neural networks (CNN), VGG16, and ViT for tree health classification and evaluated the performance of the classifiers against detection network You only look once (YOLO). Impacts of image augmentation and hyperparameter optimization were also explored.

The results showed that hyper- and multispectral data resulted in improved results as compared to RGB images. The best model for infested trees was a 2D-3D-CNN trained on hyperspectral images, achieving infested tree F1-score 0.760. The 2D-CNN trained on multispectral images was the next best, with F1-score of 0.722. The models trained on RGB images performed significantly worse with the best model, VGG16, achieving infested tree F1-score of 0.601. The tested classifier networks were also found to outperform YOLO's classifier module.

The good performance of multi- and hyperspectral images shows potential for detecting the early green attack infestation stage, when crown symptoms are not yet visible. However, insufficient data prevented proper green attack detection in this study, nonetheless, it is an interesting topic for future research.

The results of this study provide a foundation for exploring the use of multi- and hyperspectral imaging in insect disturbance detection. With continued development, this technology has the potential to play a crucial role in forest management efforts to combat large-scale bark beetle outbreaks.

Kirjanpainaja (Ips typographus L.) on merkittävä metsätuholainen, jonka aiheuttamat vauriot kasvavat ilmastonmuutoksen myötä. Tämä edellyttää uusien, innovatiivisten menetelmien kehittämistä tartuntojen tunnistamiseksi ja hallitsemiseksi. Droonilla tehtävää kaukokartoitusmenetelmää voidaan hyödyntää koneoppimisen kanssa tehokkaan metsänvalvonnan edistämiseksi.

Tutkimuksessa arvioitiin syväoppimismenetelmien käyttöä kirjanpainajan tartuttamien puiden tunnistamisessa ja luokittelussa. RGB-, multispektri- ja hyperspektrikuvien vertailun lisäksi tutkimuksessa arvioitiin erilaisten 2D- ja 3D-konvoluutioverkkojen, sekä VGG16- ja ViT-mallien soveltuvuutta eri kuvatyypeille puiden terveyden luokittelussa. Luokittelijoiden saavuttamia tuloksia verrattiin myös kuvantunnistuksessa suosittuun YOLO-verkkoon. Tutkimuksessa tarkasteltiin myös eri menetelmiä datasetin laajentamiseen ja mallien hyperparametrien optimointiin.

Tutkimuksen tulokset osoittavat, että multispektri- ja hyperspektrikuvien käyttö paransi tulosten tarkkuutta verrattuna RGB-kuviin. Paras malli infestoituneiden puiden luokitteluun oli hyperspektrikuvilla koulutettu 2D-3D-verkko, joka saavutti infestoiduille puille F1-arvon 0.760. Toiseksi paras tulos saavutettiin multispektrikuvilla koulutetulla 2D-verkolla, jonka F1-arvo infestoiduille puille oli 0.722. RGB-kuvia käyttävät verkot olivat selkeästi heikompia, ja paras RGB-kuvilla koulutettu malli, VGG16, saavutti F1-arvon 0.601 infestoiduille puille.

Multi- ja hyperspektrikuvien käyttö on lupaava menetelmä puiden terveystilan luokittelussa ja voi mahdollistaa tuholaistartuntojen varhaisen havaitsemisen. Tutkimuksen vähäisen datan vuoksi tartuntojen varhaista havaitsemista ei voitu toteuttaa luotettavasti, mutta tämä on kiinnostava tutkimuskohde tulevaisuuden kehitystä ajatellen. Tulokset kannustavat kehittämään ja soveltamaan multi- ja hyperspektrikuvantamista tuholaistartuntojen tarkastelussa, mikä voi olla merkittävä tekijä metsän täsmähoidossa ja laajojen metsätuhojen ehkäisyssä jatkuvan teknologisen kehityksen myötä.