Infrastructureless unmanned aerial vehicle localization
Loading...
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering |
Doctoral thesis (monograph)
| Defence date: 2024-09-06
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2024
Major/Subject
Mcode
Degree programme
Language
en
Pages
127
Series
Aalto University publication series DOCTORAL THESES, 156/2024
Abstract
The ability to localize, i.e., determine the position and orientation of a Unmanned Aerial Vehicle (UAV) with respect to a known frame of reference, is a basic requirement for autonomous flight. Common solutions for providing a UAV with localization ability have relied on the availability of an infrastructure built for this purpose, usually based on an arrangement of radio emitters, predominantly Global Navigation Satellite Systems (GNSSs). However, disruptions in the radio signal path, as well as actions taken by an adversary, such as spoofing and jamming, may hinder localization accuracy. This thesis focuses on UAV localization, in environments lacking infrastructure for that purpose, specifically using a low-size, weight and power (SWaP) sensor system consisting of a camera, an Inertial Measurement Unit (IMU), and a magnetometer. The challenges limiting this approach are associated with the difficulty of relating UAV environment measurements to a map, due to not only differences between the appearance of the map representation and the environment as observed using onboard sensors, but also natural ambiguities such as perceptual aliasing. This thesis addresses three specific problem areas and demonstrates a full localization solution running in real time on a small UAV. First, the thesis addresses the problem of how to perform localization with respect to an orthophoto map using a camera whose orientation is not strictly vertical. A method is presented for allowing variation in camera view direction by orthoprojecting camera images to a top-down view based on a planar assumption of the ground under the UAV. This would be an adequate assumption when flying over relatively flat terrain, as demonstrated through experimentation on real data. Second, this thesis addresses the problem of seasonal appearance change, where we learn a function for assessing the correspondence between an image acquired by an UAV and an orthophoto map by proposing a method that is tolerant to seasonal appearance change in the operating environment. The proposed method exceeds the state-of-the-art in the literature both in terms of the time to convergence and localization error. Third, this work addresses the wake-up robot problem. For this purpose, an approach is presented for learning a model to extract a compact descriptor vector representation from both a UAV image and from a map, thus enabling very fast confirmation or rejection of pose hypotheses, which allows localization to occur over large areas without knowledge of the initial pose. The presented method alleviates the computational challenges inherent in the problem of localization over a large area with an unknown prior starting position and orientation. The method also enables operation of a small UAV on a map covering an area of 100 square kilometers without requiring knowledge of the initial pose while tolerating seasonal appearance change and resolving ambiguities due to perceptual aliasing. Finally, the operation of the algorithm developed for the wake-up robot problem running on a small UAV is demonstrated in real time using real data. The thesis concludes by characterizing a number of open issues related to the problem domain.Paikannuskyky, eli kyky määrittää oma sijainti suhteessa tunnettuun koordinaatistoon, on eräs miehittämättömän lentävän laitteen (Unmanned Aerial Vehicle, UAV) perustoiminnallisuuksista. Yleinen ratkaisu paikannuskyvyn toteuttamiseksi on käyttää tähän tarkoitukseen rakennettua radiolähettimiin perustuvaa infrastruktuuria, yleisimmin satelliittipaikannusjärjestelmiä (Global Navigation Satellite System, GNSS). Radiosignaalin etenemisen häiriöt ja tahallinen häirintä saattavat vaikuttaa paikannustarkkuuteen. Tämä väitöskirja keskittyy UAV:n paikannukseen ympäristöissä, joissa luotettavaa paikannusinfrastruktuuria ei ole käytettävissä. Anturointina käytetään UAV:n kantamaa kameraa, inertiaalimittausjärjestelmää ja magnetometriä, jotka mahdollistavat matalan tehonkulutuksen sekä pienen koon ja painon. Haasteet tämän anturoinnin käyttämisestä paikannuksessa liittyvät UAV:n tekemien mittausten ja karttainformaation vertailemiseen, koska ympäristön ulkonäkö saattaa muuttua runsaasti kartan kuvantamisen ja lentohetken välillä, ja ympäristö saattaa sisältää samannäköisiä alueita useissa kohdissa karttaa. Tämä väitöskirja keskittyy kolmeen aihepiiriin liittyvään tutkimusongelmaan ja havainnollistaa kokonaisen paikannusratkaisun toimivuutta reaaliajassa pienen miehittämättömän lentolaitteen kantamalla laitteistolla. Ensimmäinen tutkimusongelmista liittyy siihen, miten UAV:n kantaman kameran kuvaa voidaan käyttää paikantamiseen siinä tapauksessa, että kamera ei osoita suoraan alaspäin. Väitöskirja esittelee menetelmän, jolla UAV:n kameran kuva voidaan projisoida vastaamaan ylhäältä pain kuvattua ortokuvaa, olettaen, että maa UAV:n alla on verrattain tasainen. Tämän ratkaisun toimivuutta havainnollistetaan todellisella datalla laakeassa ympäristössä. Toinen tutkimusongelma liittyy ympäristön ulkonäön merkittävään muuttumiseen vuodenaikojen mukaan. Väitöskirjassa esitellään tapa oppia datasta funktio, jonka avulla UAV:n kuvan ja kartan vastaavuutta toisiinsa voidaan arvioida välittämättä ulkonäön merkittävästä muuttumisesta vuodenaikojen takia. Ehdotettu menetelmä mahdollistaa verrokkitutkimuksia suuremman konvergoitumisnopeuden oikeaan paikkaan sekä pienemmän paikannusvirheen. Kolmanneksi, väitöskirjassa perehdytään paikannusongelmaan siinä tilanteessa, että tieto lennon aloituspaikasta on erittiäin epätarkka. Tässä väitöskirjassa esitetään menetelmä, jolla opetetaan neuroverkko tuottamaan piirrevektoreita UAV:n kuvasta tai karttakuvasta, mahdollistaen erittäin nopean paikkahypoteesien vahvistamisen tai hylkäämisen, mikä mahdollistaa laskennallisesti tehokkaan paikantamisen suuren alueen yllä ilman tietoa aloituspaikasta ja -orientaatiosta. Menetelmä toimii myös ympäristön ulkonäön muuttuessa vuodenaikaisvaihtelusta johtuen, ja se toimii ympäristössä, jossa ympäristö sisältää monia toisiaan muistuttavia paikkoja. Väitöskirjassa havainnollistetaan myös tämän algoritmin toimivuutta reaaliajassa pienellä UAV:lla. Kirjan lopussa esitellään joukko ajankohtaisia ja oleellisia aihepiiriin liittyviä tutkimuskysymyksiä.Description
Supervising professor
Kyrki, Ville, Prof., Aalto University, Department of Electrical Engineering and Automation, FinlandThesis advisor
Verdoja, Francesco, Academy Research Fellow, Aalto University, Department of Electrical Engineering and Automation, FinlandKeywords
localization, unmanned aerial vehicle, robotics, paikannus, miehittämätön lentävä laite, robotiikka
