Data generation for visual localization of unmanned aerial vehicles

Abstract

Visual localization methods for unmanned aerial vehicles (UAV) aim to provide localization in situations where satellite-based methods are not available. Many visual localization methods rely on machine learning algorithms that require significant amounts of data. Collecting a sufficient amount of real-world data is expensive and time-consuming. An option to real data is to use a simulated environment for generating data.

To study if the generated data can be used to increase localization performance, a data generation pipeline in Unreal Engine 4 is implemented in this thesis. To measure the changes in performance, a neural network based localization model is used. The effect of using different ratios of generated data to real data and the effect of different types of variance in the generated data is evaluated. The results show that introducing generated data to the model improves performance with some real test sets. However, seasonal variance remains an issue.

Visuaaliset paikannusmenetelmät miehittämättömille ilma-aluksille (drooni) mahdollistavat paikantamisen tilanteissa, joissa satelliittipaikannus ei ole saatavilla. Monet visuaaliset paikannusmenetelmät perustuvat koneoppimisalgoritmeihin, jotka vaativat huomattavia määriä koulutusdataa. Riittävän datamäärän kerääminen todellisesta maailmasta on kallista ja aikaa vievää. Vaihtoehtona todelliselle datalle on käyttää simulaatiota datan keräämiseen.

Jotta voimme arvioida, parantaako generoidu data paikannuksen suorituskykyä, toteutetaan tässä diplomityössä datageneraattori käyttäen Unreal Engine 4:ää. Suorituskyvyn muutosta mitataan käyttäen neuroverkkoon pohjautuvan paikannusjärjestelmää. Mittaamme todellisen ja generoidun datan suhdeluvun vaikutusta, sekä generoidussa datassa olevien erilaisten varianssin lähteiden vaikutusta. Tulokset osittavat, että generoidun datan lisääminen koulutusdataan parantaa suorituskykyä osassa testijoukoista. Vuodenajoista johtuvat muutokset ympäristössä aiheuttavat kuitenkin haasteita.