Detection and Recognition of Objects from Mobile Laser Scanning Point Clouds: Case studies in a road environment and power line corridor

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Doctoral thesis (article-based) | Defence date: 2021-09-10

Date

2021

Major/Subject

Mcode

Degree programme

Language

en

Pages

89 + app. 85

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 91/2021

Abstract

Accurate and detailed three-dimensional (3D) geospatial data are needed, and they open new future possibilities. The collection and processing of data should be efficient to add value for society. Mobile laser scanning (MLS) is a detailed 3D mapping technique that can produce 3D point cloud data with a sub-centimetre relative accuracy. Data collection is efficient, and in a road environment, hundreds of kilometres can be mapped daily. MLS produces large amounts of data (eg 1 gigabyte per 1 km of road), and the processing should be automated for the technique to be practical and efficient. This thesis studies the automated interpretation of the 3D point clouds collected using MLS. First, it investigates how completely and correctly polelike objects, such as traffic signs and lampposts, can be detected from MLS point clouds in a road environment. Second, it studies if the accuracy of general object recognition from MLS point clouds can be improved using new algorithms. Third, the detection of power line components is studied outside the road network, both in forests and on farmland. Object detection and recognition algorithms are developed and tested with real-world data collected in a road environment and a power line corridor outside the road network. The algorithms' accuracies are evaluated quantitatively. The results suggest that polelike objects can be detected with an accuracy of between 70% and 87% in a suburban environment. These results are among the first to evaluate the accuracy of polelike object detection quantitatively, implying slightly higher accuracies than previous studies. For the first time, local descriptor histograms (LDHs) are applied to machine-learning-based object recognition from MLS point clouds in surveying applications. The results suggest that LDHs can increase the accuracy of the point cloud segment classification – a 9.6 percentage point increase is observed compared to a state-of-the-art accuracy of 78.3%. Undersegmentation and incomplete ground extraction are the most prominent error sources in object recognition. MLS is applied for the first time in power line detection outside the road network, in forests and on farmland. The results imply that the accuracy of automated power line detection may be higher than 93%. Most errors are caused by the inaccuracy of the trajectory and attitude determination, probably due to tall trees blocking navigation satellite signals. This dissertation demonstrates the potential of MLS in the automated mapping of the road environment and the power line corridor outside the road network. The thesis also presents techniques that may improve the accuracy of the automated data interpretation. In addition, the dissertation points out some limitations of MLS technology through error analyses, providing directions for future research.

Tarkalle ja yksityiskohtaiselle kolmiulotteiselle paikkatiedolle on tarvetta ja se avaa uusia mahdollisuuksia. Aineiston keräämisen ja käsittelyn tulisi olla tehokasta, jotta se tuottaisi lisäarvoa yhteiskunnalle. Liikkuva laserkeilaus (LL) on yksityiskohtainen kolmiulotteinen kartoitustekniikka, joka tuottaa pistepilviaineistoa, jonka suhteellinen tarkkuus on millimetriluokkaa. Datankeruu on tehokasta – päivässä voidaan kartoittaa satoja tiekilometrejä. Liikkuva laserkeilaus tuottaa suuria määriä dataa (esim. 1 Gt tiekilometriä kohden), jonka käsittely tulisi automatisoida, jotta tekniikka olisi käytännöllistä ja tehokasta. Tässä väitöskirjassa tutkitaan LL:lla kerätyn kolmiulotteisen pistepilviaineiston automaattista tulkintaa. Ensinnäkin väitöskirja tutkii, kuinka tyhjentävästi ja virheettömästi pylväsmäiset kohteet, kuten liikennemerkit ja lyhtypylväät, voidaan havaita tieympäristössä. Toiseksi se tutkii, voiko kohteen tunnistamisen tarkkuutta parantaa uusilla algoritmeilla. Kolmanneksi se tutkii sähkölinjojen havaitsemista tieverkon ulkopuolella. Väitöskirjassa kehitetään ja testataan algoritmeja, joilla voidaan automaattisesti havaita ja tunnistaa kohteita sekä tieympäristössä että sähkölinjakäytävässä tieverkon ulkopuolella. Algoritmien tarkkuudet arvioidaan kvantitatiivisesti. Väitöskirjan tulokset ovat ensimmäisten joukossa, jotka arvioivat kvantitatiivisesti pylväsmäisten kohteitten havaitsemistarkkuutta LL:n pistepilvistä (70–87 %:n tarkkuus esikaupunkialueella). Lisäksi tulokset viittaavat hiukan suurempiin tarkkuuksiin kuin aiemmat tutkimukset. Väitöskirjassa sovelletaan ensimmäistä kertaa paikallisten selittäjien jakaumia koneoppimispohjaisessa kohteentunnistuksessa pistepilvistä, jotka on kerätty LL:lla korkeita tarkkuuksia vaativia maanmittaussovelluksia varten. Tulokset viittaavat siihen, että paikalliset selittäjät tarkentavat tunnistusta – työssä havaittiin 9,6 prosenttiyksikön parannus luokittelutarkkuudessa verrattuna 78,3 %:n vallitsevaan huipputarkkuuteen. Merkittävimmät virhelähteet havaittiin kohteiden segmentoinnissa sekä maanpinnan irrotuksessa. Väitöskirjassa sovelletaan LL:sta sähkölinjojen havaitsemisessa ensimmäistä kertaa tieverkon ulkopuolella, toisin sanoen metsässä ja viljelysmaalla. Tulokset viittaavat siihen, että sähkölinjat voidaan tunnistaa vähintään 93 %:n tarkkuudella. Suurin osa virheistä aiheutuu epätarkkuuksista keilaimen sijainnin ja asennon määrittämisessä, jotka todennäköisesti johtuvat korkeista puista, jotka heikentävät satelliittipaikannuksen tarkkuutta. Väitöskirja havainnollistaa, kuinka liikkuvaa laserkeilausta voi soveltaa tieympäristön ja tieverkon ulkopuolisen sähkölinjakäytävän automaattisessa kartoituksessa. Työssä esitetään myös tekniikoita, jotka voivat tarkentaa pistepilviaineiston automaattista tulkintaa. Virheanalyysien avulla väitöskirja tuo esiin joitain LL:n tekniikan rajoituksia osoittaen näin lisätutkimuksen tarpeen.

Description

Defence is held on 10.9.2021 12:00 – 16:00 Zoom: https://aalto.zoom.us/j/66758671053

Supervising professor

Lampinen, Jouko, Prof., Aalto University, Department of Computer Science, Finland

Thesis advisor

Hyyppä, Juha, Prof., Finnish Geospatial Research Institute, Finland

Keywords

mobile laser scanning, point cloud, algorithm, automated interpretation, detection, recognition, classification, feature extraction, road, power line, liikkuva laserkeilaus, pistepilvi, algoritmi, automaattinen tulkinta, havaitseminen, tunnistus, luokittelu, piirreirrotus, tie, sähkölinja

Other note

Parts

  • [Publication 1]: Matti Lehtomäki, Anttoni Jaakkola, Juha Hyyppä, Antero Kukko, and Harri Kaartinen. Detection of vertical pole-like objects in a road environment using vehicle-based laser scanning data. Remote Sensing, 2, pp. 641–664, February 2010.
    DOI: 10.3390/rs2030641 View at publisher
  • [Publication 2]: Anttoni Jaakkola, Juha Hyyppä, Antero Kukko, Xiaowei Yu, Harri Kaartinen, Matti Lehtomäki, and Yi Lin. A low-cost multi-sensoral mobile mapping system and its feasibility for tree measurements. ISPRS Journal of Photogrammetry and Remote Sensing, 65, pp. 514–522, September 2010.
    DOI: 10.1016/j.isprsjprs.2010.08.002 View at publisher
  • [Publication 3]: Matti Lehtomäki, Anttoni Jaakkola, Juha Hyyppä, Antero Kukko, and Harri Kaartinen. Performance analysis of a pole and tree trunk detection method for mobile laser scanning data. In The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. XXXVIII-5/W12, pp. 197–202, September 2011.
    DOI: 10.5194/isprsarchives-XXXVIII-5-W12-197-2011 View at publisher
  • [Publication 4]: Matti Lehtomäki, Anttoni Jaakkola, Juha Hyyppä, Jouko Lampinen, Harri Kaartinen, Antero Kukko, Eetu Puttonen, and Hannu Hyyppä. Object classification and recognition from mobile laser scanning point clouds in a road environment. IEEE Transactions on Geoscience and Remote Sensing, 54(2), pp. 1226–1239, February 2016.
    DOI: 10.1109/TGRS.2015.2476502 View at publisher
  • [Publication 5]: Matti Lehtomäki, Antero Kukko, Leena Matikainen, Juha Hyyppä, Harri Kaartinen, and Anttoni Jaakkola. Power line mapping technique using all-terrain mobile laser scanning. Automation in Construction, 105, p. 102802, 16 pages, May 2019.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201906203853
    DOI: 10.1016/j.autcon.2019.03.023 View at publisher

Citation