Perception Systems for Autonomous Forest Machinery

Thumbnail Image
Files
isbn9789526414522.pdf (33.32 MB)

isbn9789526414522_errata.pdf (66.35 KB)
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering | Doctoral thesis (article-based) | Defence date: 2023-10-27
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2023
Department
Sähkötekniikan ja automaation laitos
Department of Electrical Engineering and Automation
Major/Subject
Mcode
Degree programme
Language
en
Pages
179 + app. 98
Series
Aalto University publication series DOCTORAL THESES, 157/2023
Abstract
A prerequisite for increasing the autonomy of forest machinery is to provide robots with digital situational awareness, including a representation of the surrounding environment and the robot's own state in it. Therefore, this article-based dissertation proposes perception systems for autonomous or semi-autonomous forest machinery as a summary of seven publications. The work consists of several perception methods using machine vision, lidar, inertial sensors, and positioning sensors. The sensors are used together by means of probabilistic sensor fusion. Semi-autonomy is interpreted as a useful intermediary step, situated between current mechanized solutions and full autonomy, to assist the operator. In this work, the perception of the robot's self is achieved through estimation of its orientation and position in the world, the posture of its crane, and the pose of the attached tool. The view around the forest machine is produced with a rotating lidar, which provides approximately equal-density 3D measurements in all directions. Furthermore, a machine vision camera is used for detecting young trees among other vegetation, and sensor fusion of an actuated lidar and machine vision camera is utilized for detection and classification of tree species. In addition, in an operator-controlled semi-autonomous system, the operator requires a functional view of the data around the robot. To achieve this, the thesis proposes the use of an augmented reality interface, which requires measuring the pose of the operator's head-mounted display in the forest machine cabin. Here, this work adopts a sensor fusion solution for a head-mounted camera and inertial sensors. In order to increase the level of automation and productivity of forest machines, the work focuses on scientifically novel solutions that are also adaptable for industrial use in forest machinery. Therefore, all the proposed perception methods seek to address a real existing problem within current forest machinery. All the proposed solutions are implemented in a prototype forest machine and field tested in a forest. The proposed methods include posture measurement of a forestry crane, positioning of a freely hanging forestry crane attachment, attitude estimation of an all-terrain vehicle, positioning a head mounted camera in a forest machine cabin, detection of young trees for point cleaning, classification of tree species, and measurement of surrounding tree stems and the ground surface underneath.

Metsäkoneiden autonomia-asteen kasvattaminen edellyttää, että robotilla on digitaalinen tilannetieto sekä ympäristöstä että robotin omasta toiminnasta. Tämän saavuttamiseksi työssä on kehitetty autonomisen tai puoliautonomisen metsäkoneen koneaistijärjestelmiä, jotka hyödyntävät konenäkö-, laserkeilaus- ja inertia-antureita sekä paikannusantureita. Työ liittää yhteen seitsemässä artikkelissa toteutetut havainnointimenetelmät, joissa useiden anturien mittauksia yhdistetään sensorifuusiomenetelmillä. Työssä puoliautonomialla tarkoitetaan hyödyllisiä kuljettajaa avustavia välivaiheita nykyisten mekanisoitujen ratkaisujen ja täyden autonomian välillä. Työssä esitettävissä autonomisen metsäkoneen koneaistijärjestelmissä koneen omaa toimintaa havainnoidaan estimoimalla koneen asentoa ja sijaintia, nosturin asentoa sekä siihen liitetyn työkalun asentoa suhteessa ympäristöön. Yleisnäkymä metsäkoneen ympärille toteutetaan pyörivällä laserkeilaimella, joka tuottaa lähes vakiotiheyksisiä 3D-mittauksia jokasuuntaisesti koneen ympäristöstä. Nuoret puut tunnistetaan muun kasvillisuuden joukosta käyttäen konenäkökameraa. Lisäksi puiden tunnistamisessa ja puulajien luokittelussa käytetään konenäkökameraa ja laserkeilainta yhdessä sensorifuusioratkaisun avulla. Lisäksi kuljettajan ohjaamassa puoliautonomisessa järjestelmässä kuljettaja tarvitsee toimivan tavan ymmärtää koneen tuottaman mallin ympäristöstä. Työssä tämä ehdotetaan toteutettavaksi lisätyn todellisuuden käyttöliittymän avulla, joka edellyttää metsäkoneen ohjaamossa istuvan kuljettajan lisätyn todellisuuden lasien paikan ja asennon mittaamista. Työssä se toteutetaan kypärään asennetun kameran ja inertia-anturien sensorifuusiona. Jotta metsäkoneiden automatisaatiotasoa ja tuottavuutta voidaan lisätä, työssä keskitytään uusiin tieteellisiin ratkaisuihin, jotka soveltuvat teolliseen käyttöön metsäkoneissa. Kaikki esitetyt koneaistijärjestelmät pyrkivät vastaamaan todelliseen olemassa olevaan tarpeeseen nykyisten metsäkoneiden käytössä. Siksi kaikki menetelmät on implementoitu prototyyppimetsäkoneisiin ja tulokset on testattu metsäympäristössä. Työssä esitetyt menetelmät mahdollistavat metsäkoneen nosturin, vapaasti riippuvan työkalun ja ajoneuvon asennon estimoinnin, lisätyn todellisuuden lasien asennon mittaamisen metsäkoneen ohjaamossa, nuorten puiden havaitsemisen reikäperkauksessa, ympäröivien puiden puulajien tunnistuksen, sekä puun runkojen ja maanpinnan mittauksen.
Description
Supervising professor
Visala, Arto, Prof., Aalto University, Department of Electrical Engineering and Automation, Finland
Thesis advisor
Lehtola, Ville, Prof., University of Twente, Netherlands
Keywords
sensors, sensor fusion, Kalman filter, particle filter, lidar, machine vision, inertial measurements, forestry, anturit, sensorifuusio, Kalman-suodin, partikkelisuodin, laserkeilaus, konenäkö, inertiamittaukset, metsätalous
Other note
Parts
  • [Publication 1]: Hyyti, Heikki, Lehtola, Ville V., and Visala, Arto. Forestry crane posture estimation with a two-dimensional laser scanner. Journal of Field Robotics, 25 pages, June 2018.
    DOI: 10.1002/rob.21793 View at publisher
  • [Publication 2]: Hyyti, Heikki and Visala, Arto. A DCM based attitude estimation algorithm for low-cost MEMS IMUs. International Journal of Navigation and Observation, 2015, Article ID 503814, 18 pages, July 2015.
    DOI: 10.1155/2015/503814 View at publisher
  • [Publication 3]: Kalmari, Jouko, Hyyti, Heikki, and Visala, Arto. Sway estimation using inertial measurement units for cranes with a rotating tool. In the 2013 IFAC Intelligent Autonomous Vehicles Symposium, Gold Coast, Australia, 6 pages, June 2013.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201501221179
    DOI: 10.3182/20130626-3-AU-2035.00050 View at publisher
  • [Publication 4]: Palonen, Tuomo, Hyyti, Heikki, and Visala, Arto. Augmented reality in forest machine cabin. In the 20th World Congress of the International Federation of Automatic Control (IFAC 2017), 8 pages, July 2017.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201710207259
    DOI: 10.1016/j.ifacol.2017.08.1075 View at publisher
  • [Publication 5]: Hyyti, Heikki, Kalmari, Jouko, and Visala, Arto. Real-time detection of young spruce using color and texture features on an autonomous forest machine. In the 2013 International Joint Conference on Neural Networks (IJCNN), Dallas, TX, USA, 8 pages, August 2013.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201501221181
    DOI: 10.1109/IJCNN.2013.6707122 View at publisher
  • [Publication 6]: Vihlman, Mikko, Hyyti, Heikki, Kalmari, Jouko, and Visala, Arto. Detection and species classification of young trees using machine perception for a semi-autonomous forest machine. In 2015 IEEE International Conference on Robotics and Automation (ICRA), Seattle, Washington, 6 pages, May 2015.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201601151015
    DOI: 10.1109/icra.2015.7139394 View at publisher
  • [Publication 7]: Hyyti, Heikki and Visala, Arto. Feature based modeling and mapping of tree trunks and natural terrain using 3D laser scanner measurement system. In the 2013 IFAC Intelligent Autonomous Vehicles Symposium, Gold Coast, Australia, 8 pages, June 2013.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201501221180
    DOI: 10.3182/20130626-3-AU-2035.00065 View at publisher
Citation
Permanent link to this item
https://urn.fi/URN:ISBN:978-952-64-1452-2
Collections
[diss] Sähkötekniikan korkeakoulu / ELEC