Accuracy of lidar based simultaneous localization and mapping in rural environments

Abstract

Simultaneous localization and mapping (SLAM) algorithms have received much attention due to their capability of constructing globally consistent maps without external measurements. SLAM implementations are commonly evaluated in urban environments, which is why they can be expected to work accurately in urban environments. However, SLAM would have meaningful applications also in rural environments. Therefore, the aim of this thesis is to evaluate the accuracy of a SLAM algorithm (LIO-SAM), in rural environments, as well as evaluate the effect of different algorithmic configurations on the accuracy.

The accuracy is evaluated by comparing the trajectory created by the SLAM algorithm to a reference trajectory measured using a commonly employed lidar mapping method that is based on the global navigation satellite system (GNSS) and inertial measurements (IMU). By using the reference trajectory, the relative and absolute accuracy is evaluated for each SLAM configuration and dataset. Additionally, rigid alignment errors to world coordinates and local consistency errors are evaluated. The datasets of this thesis are captured using a purpose-built capture device, consisting of a Velodyne VLP-32C lidar, a Pixhawk 4 autopilot, and a u-blox ZED-F9P GNSS receiver. The datasets are captured in rural and urban environments using an unmanned aerial vehicle and a car, as well as by foot.

The results show that the obtained accuracy of SLAM depends on the SLAM configuration and on the environment. Contrary to the initial expectation, rural environments did not always have worse accuracies than urban environments. However, based on the results, the accuracy of LIO-SAM deteriorates in environments in which only few features are visible in the direction of travel (such as open fields and highways). For datasets captured in rural environments, the smallest obtained absolute errors (i.e., best accuracies) were: 0.14m RMSE and 0.23deg RMSE, and the smallest relative errors were: 0.04m RMSE and 0.07deg RMSE.

Yhtäaikainen paikannus ja kartoitus (SLAM) on ollut aktiivisen tutkimuksen kohteena johtuen sen kyvystä luoda globaalisti yhtenäisiä karttoja ilman ulkoisia mittauksia. Usein SLAM-toteutuksien tarkkuuksia testataan rakennetuissa ympäristöissä, joissa SLAM-algoritmien voidaan siten olettaa toimivan tarkasti. SLAM-algoritmeille löytyisi kuitenkin myös merkityksellisiä käyttökohteita rakentamattomista ympäristöistä. Tämän vuoksi tämän työn tavoitteena on määrittää LIO-SAM nimisen SLAM-algoritmin tarkkuus rakentamattomissa ympäristöissä käyttäen useampaa konfiguraatioita.

Tarkkuus määritetään vertaamalla SLAM-algoritmin laskemaa trajektoria referenssitrajektoriin, joka on mitattu käyttäen lidar-kartoitukseen yleisesti käytettyä satelliittipaikannukseen (GNSS) ja inertiaalimittaukseen (IMU) pohjautuvaa menetelmää. Referenssitrajektoria käyttäen määritetään SLAM algoritmin suhteellinen ja absoluuttinen tarkkuus. Lisäksi määritetään virhe globaaleihin koordinaatteihin nähden ja paikallinen yhdenmukaisuusvirhe. Työssä arvioitavat aineistot on mitattu käyttäen työtä varten kehitettyä mittalaitetta, joka muodostuu Velodyne VLP-32C lidarista, Pixhawk 4 autopilotista ja u-blox ZED-F9P GNSS vastaanottimesta. Aineistot kerättiin rakennetuissa ja rakentamattomissa ympäristöissä käyttäen miehittämätöntä ilma-alusta ja autoa, sekä jalan kulkien.

Tulokset osoittavat, että saavutettu tarkkuus riippuu konfiguraatiosta sekä ympäristöstä. Alkuperäisen oletuksen vastaisesti tarkkuus ei ollut aina rakentamattomissa ympäristöissä huonompi kuin rakennetuissa ympäristöissä. Tuloksista voidaan kuitenkin huomata, että LIO-SAM algoritmin tarkkuus heikkenee sellaisissa ympäristöissä, joissa on vain vähän vaihtelevuutta kulkusuuntaan nähden (esimerkiksi peltoaukeat ja moottoritiet). Rakentamattomissa ympäristöissä mitattujen aineistojen pienimmät absoluuttiset virheet (eli parhaat tarkkuudet) olivat: 0.14m RMSE ja 0.23deg RMSE, sekä pienimmät suhteelliset virheet olivat: 0.04m RMSE ja 0.07deg RMSE.