Extrinsic calibration of machine perception sensors and data fusion
Loading...
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2023-08-21
Department
Major/Subject
Control, Robotics and Autonomous Systems
Mcode
ELEC3025
Degree programme
AEE - Master’s Programme in Automation and Electrical Engineering (TS2013)
Language
en
Pages
67
Series
Abstract
Agriculture is among the most important industries. Especially in the future, its importance is assumed to grow as the population increases and climate change worsens. One solution to the aforementioned challenges is precision farming, which utilizes new technological methods to optimize efficiency and reduce environmental impact. The robot tractor is one example of this, and even commercial autonomous agricultural machines have been introduced lately. However, to achieve large-scale deployment of these machines, it is necessary to develop a reliable and accurate perception system. One of the first prerequisites for the development of this kind of system is accurate extrinsic calibration. This thesis equips a commercial tractor with several sensors and investigates different automatic extrinsic calibration methods between LiDARs, a GNSS device and LiDAR sensors, as well as between a LiDAR and a camera. The first calibration method developed utilizes extracted planar structures from the environment, and it is meant for extrinsic calibration between the LiDAR sensors. The requirement to calibrate extrinsic parameters between the GNSS module and LiDAR sensors, in turn led to the development of a method that utilizes motion. Finally, the LiDAR and the camera are extrinsically calibrated using a traditional checkerboard approach. The results from the extrinsic calibration indicate that the methods are able to achieve the correct and consistent calibration results. The calibration results were validated using simulation and by estimating extrinsic parameters between the LiDAR sensors by utilizing the plane-based method as well as the motion-based method. In addition, visual inspection reinforces that. In addition to extrinsic calibration, the thesis studies a 3D object detection method that utilizes calibrated sensor data from the LiDARs and the camera, as well as modern deep learning methods. The results from the object-level data fusion suggest that the calibrated data show sufficient accuracy for this application and that the method is able to obtain 3D position estimates for the objects detected at the image plane. The results from object detection also partially validate further the correctness of the calibration results since extrinsic parameters are used in the method.Maatalouden vaikutus globaaliin talouteen on merkittävä. Varsinkin tulevaisuudessa sen merkityksen oletetaan kasvavan entisestään väestön lisääntyessä ja ilmastonmuutoksen pahentuessa. Yksi ratkaisu edellä mainittuihin haasteisiin on tarkkuusviljely, jossa hyödynnetään uusia teknologisia menetelmiä tehokkuuden optimoimiseksi ja ympäristövaikutusten minimoimiseksi. Robottitraktori on yksi esimerkki tästä, ja jopa kaupallisia autonomisia maatalouskoneita on esitelty viime aikoina. Näiden koneiden laajamittaisen käyttöönoton saavuttamiseksi on kuitenkin tarpeen kehittää vankka ja tarkka havainnointijärjestelmä. Sensoreiden ulkoisten parametrien kalibrointi puolestaan on yksi tarkeimmistä tehtävistä tällaisen järjestelmän kehittämiselle. Tämä opinnäytetyö varustaa kaupallisen traktorin useilla antureilla ja tutkii erilaisia automaattisia ulkoisien parametrien kalibrointimenetelmiä LiDAR-anturien, GNSS:n ja LiDAR:n sekä LiDAR:n ja kameran välillä. Ensimmäinen kehitetty kalibrointimenetelmä perustuu ympäristöstä erotettuihin tasoihin ja se on tarkoitettu kalibrointiin LiDAR-anturien välillä. Vaatimus ulkoisten parametrien kalibroinnista GNSS:n ja LiDAR:n välillä puolestaan johti anturien liikettä hyödyntävän kalibrointimenetelmän kehittämiseen. Lopuksi LiDAR:n ja kameran ulkoiset parametrit kalibroidaan käyttämällä perinteistä shakkilautalähestymistapaa. Ulkoisten parametrien kalibroinnin tulokset osoittavat, että menetelmillä voidaan saavuttaa oikeat ja yhdenmukaiset kalibrointitulokset. Kalibrointitulokset validoitiin simulaatiolla ja arvioimalla ulkoisia parametreja LiDAR-anturien välillä kehitetyillä menetelmillä. Lisäksi visuaalinen tarkastelu vahvistaa päätelmää. Opinnäytetyössä tutkitaan ulkoisen kalibroinnin lisäksi kalibroitua anturidataa ja nykyaikaisia syväoppimismenetelmiä hyödyntävää 3D objektien havaitsemismenetelmää. Kehitetyn objektitason datafuusion tulokset osoittavat, että kalibrointitulokset osoittavat riittävää tarkkuutta tälle sovellukselle ja, että menetelmä pystyy saamaan 3D-sijaintiestimaatit 2D kuvatasolta havaituille kohteille.Description
Supervisor
Visala, ArtoThesis advisor
Backman, JuhaKeywords
extrinsic calibration, LiDAR, camera, data fusion, object detection
