Object tracking algorithms in embedded systems in UAV applications

Abstract

This thesis investigated class-agnostic object tracking algorithms suitable for deployment on embedded computing platforms in unmanned aerial vehicles (UAVs). The goal was to evaluate which tracking algorithms balance inference speed with accuracy under the constraints imposed by UAV-mounted challenges, such as limited hardware resources, aerial motion, and dynamic environments. The study begins with an overview of classical and deep learning-based tracking methods, including discriminative correlation filters and Siamese neural networks. A selection of trackers is evaluated using benchmarks based on UAV123 and GOT-10k dataset to measure tracking accuracy and inference speed. Experiments are conducted on multiple NVIDIA Jetson platforms. Results show that while deep trackers outperform classical ones in accuracy, only some of them, such as \textit{SiamRPN++$_\mathbf{A}$}, \textit{SiamFC++}, and \textit{TCTrack}, offer feasible real-time performance on lightweight hardware. Especially the \textit{SiamRPN++$_\mathbf{A}$} object tracker demonstrated excellent balance of inference speed and accuracy. These findings help in choosing object trackers for UAV applications requiring onboard processing.

Tässä diplomityössä tutkittiin luokka-agnostisia kohteenseurantamenetelmiä, jotka soveltuvat sulautetuille tietokoneille miehittämättömissä ilma-aluksissa (UAV). Tavoitteena oli arvioida, mitkä menetelmät tarjoavat parhaan tasapainon nopeuden ja tarkkuuden välillä ottaen huomioon UAV-alustojen asettamat rajoitteet, kuten rajalliset resurssit, kuvakulman ja dynaamisen kameran liikkeen. Diplomityö alkaa klassisten ja syväoppimiseen perustuvien kohteenseurantamenetelmien yleiskatsauksella. Tämän jälkeen valikoitu joukko menetelmiä arvioidaan UAV123- ja GOT-10k-tietokantoihin perustuvien testien avulla mittaamalla seurannan tarkkuutta ja nopeutta. Kokeet suoritettiin useilla NVIDIA Jetson -alustoilla. Tulokset osoittavat, että syväoppimiseen perustuvat kohteenseurantamenetelmät ovat tarkempia kuin perinteiset menetelmät, mutta vain osa niistä, kuten \textit{SiamRPN++}$_\mathbf{A}$,\textit{ SiamFC++} ja \textit{ TCTrack}, kykenee reaaliaikaiseen reunalaskentaan kevyellä laitteistolla. Erityisesti \textit{SiamRPN++}$_\mathbf{A}$-seurain osoitti erinomaista tasapainoa nopeuden ja tarkkuuden välillä. Nämä tulokset auttavat valitsemaan sopivat kohteenseurantamenetelmät UAV-sovelluksiin, joissa vaaditaan laskentaa reunalla.