Deep RL for Radar Applications in an Overcrowded EM Spectrum

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-04-24

Department

Major/Subject

Digital Systems and Design

Mcode

ELEC3056

Degree programme

Aalto Bachelor’s Programme in Science and Technology

Language

en

Pages

18+2

Series

Abstract

Radar systems are employed in domains ranging from maritime navigation to weather forecasting. Recently, radar systems have started to evolve with the infusion of artificial intelligence (AI), specifically through the application of reinforcement learning (RL) to combat the overcrowding of the electromagnetic (EM) spectrum. The EM spectrum is being overcrowded due to multiple factors, but the most apparent cause is the increase in spectral usage by wireless communications, such as 5G and WiFi technologies. Thus, the accuracy of radar operations is at risk in environments where plenty of wireless communication is taking place. On the flip side of the problem, radars are also affecting wireless communication by causing interference, which could be reduced with a smaller EM spectrum footprint of a radar system. This bachelor’s thesis attempts to assess the research conducted on RL for radar applications in an overcrowded ME spectrum, by reflecting on the research question: "Are RL methods applicable for spectral resource management in radar applications?" The research involved analyzing 20 papers, primarily identified through forward snowballing from key papers suggested by the thesis advisor and searching IEEE Xplorer and Scopus AI using relevant keywords, of which 11 were used as references after assessing their relevance, recentness, and trustworthiness. The key findings from the research are that RL methods, such as Q-learning and deep Q-learning, have been shown to be effective in simulations and even in a real-world experiment. This indicates an opening for more real-world experiments to further demonstrate the capabilities of RL in spectral resource management for radar applications, which would be a good opportunity to experiment with the ways sense-and-avoid (SAA) compares in real-world scenarios to RL. Interestingly, the research shows that in some simulated scenarios, a simple SAA method might be more appropriate than a complex RL method. The drawback of RL methods in some specific scenarios is mainly due to the complexity of running and training required for RL, which necessitates either more powerful computers or larger latency in the radar operations.

Tutkajärjestelmiä on käytössä monilla eri aloilla meren navigoinnista meteorologiaan. Hiljattain tutkajärjestelmät ovat alkaneet kehittymään tekoälyn integroinnin myötä, tarkemmin ottaen vahvistusoppimisen (engl. reinforcement learning) integroinnin myötä. Tämä kehitys pyrkii torjumaan ruuhkautumista elektromagneettisella (EM) spektrillä. EM-spektri ruuhkautuu entistä enemmän muutaman syyn seurauksena. Näistä ilmeisin syy on langattoman kommunikaation vaatiman kaistan laajeneminen, mikä johtuu lisääntyneestä 5G- ja WiFi-teknologiasta. Siksi tutkien toiminnan tarkkuus on riskin alla ympäristöissä, joissa tapahtuu paljon langatonta viestintää. Tämän lisäksi tutkien toiminta aiheuttaa myös häirintää langattomalle viestinnälle, mitä voitaisiin estää pienemmällä tutkan radiospektrin jalanjäljellä. Tässä kandidaatintyössä pyrittiin arvioimaan tutkimusta liittyen vahvistusoppimisen hyödyntämiseen tutkasovelluksissa ylikuormitetussa EM-spektrissä. Työssä tutkittiin tutkimuskysymystä: "Ovatko vahvistusoppimisen menetelmät soveltuvia spektri resurssien hallintaan tutkasovelluksissa?"Tässä tutkimuksessa analysoitiin 20 julkaisua, jotka oli pääasiallisesti löydetty käyttäen eteenpäin vierivällä lumipallomenetelmällä (engl. forward snowballing) pääjulkaisuista, jotka ovat työn ohjaajan suosittelemia. Loput paperit ovat löydetty hakemalla papereita IEEE Xplorerista ja Scopus AI:sta käyttäen olennaisia avainsanoja. Näistä 20 julkaisusta vain yhtätoista käytettiin lähteinä asiankuuluvuuden, ajankohtaisuuden ja luotettavuuden arvioinnin jälkeen. Tutkimuksen keskeiset löydökset osoittavat, että vahvistusoppimismenetelmät, kuten Q-oppiminen (engl. Q-learning) ja syvä Q-oppiminen (engl. deep Q-learning), ovat tehokkaita simulaatioissa ja jopa todellisen maailman kokeessa. Tämä viittaa siihen, että todellisen maailman kokeita olisi aika toteuttaa lisää vahvistusoppimisen kyvykkyyksien esittelemiseksi spektriresurssien hallinnassa tutkasovelluksissa. Tämä puolestaan tarjoaisi hyvän mahdollisuuden kokeilla, miten havaitse ja väistä (engl. sense-and-avoid) -menetelmä vertautuu vahvistusoppimiseen todellisissa tilanteissa. Mielenkiintoisesti tutkimus osoittaa, että joissakin simulaatiotilanteissa yksinkertainen havaitse ja väistä -menetelmä saattaa olla sopivampi kuin monimutkainen vahvistusoppimismenetelmä. Vahvistusoppimismenetelmien haittapuoli joissakin erityisissä tilanteissa johtuu pääasiassa vahvistusoppimisen vaatimasta suoritus- ja koulutusmonimutkaisuudesta, mikä edellyttää joko enemmän laskentatehoa tai aiheuttaa suurempaa viivettä tutkaoperaatioissa

Description

Supervisor

Ylirisku, Salu

Thesis advisor

Vorobyov, Sergiy

Keywords

reinforcement learning, radar, communication, spectral congestion

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202406114179

Collections

[kand] Perustieteiden korkeakoulu / SCI