Towards scalable frameworks for intelligent agents
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2025-10-17
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Major/Subject
Mcode
Degree programme
Language
en
Pages
79 + app. 69
Series
Aalto University publication series Doctoral Theses, 187/2025
Abstract
This dissertation examines both the scalability of game engines as environments for intelligent agents and the combined use of game engines and physical computation clusters for researching and developing intelligent agents. The popularity of using autonomous intelligent agents has increased across disciplines. The use cases for intelligent agents range from autonomous vehicles, internet of things (IoT) devices, infrastructure management, and chatbots to video game characters. The intelligence of these agents is often based on deep learning techniques that require significant amounts of data to train and test. As training and evaluating intelligent agents in a physical environment can be both expensive and dangerous, it is common to use virtual environments instead. For instance, game engines offer tools for creating such virtual environments. In addition, intelligent agents may require significant computation resources to execute deep learning models. The agents often have to act in real-time, necessitating the computation and communication latencies to be kept within reasonable bounds. The first research question of this dissertation addresses the scalability of game engines for creating and testing intelligent agents that require the image rendering, audio rendering, and physics simulation capabilities of game engines. While game engines can be used to create virtual environments, many current solutions are designed to simulate the agents on a single machine. This limits their use in scenarios where multiple intelligent agents act collaboratively in the same environment. We examine distributed computing as a solution for creating scalable virtual camera streams for evaluating autonomous vehicles. We also examine the use of game engines to create virtual audio data for concurrent audio-aware intelligent agents in the context of video games on a single machine. The second research question of this dissertation investigates the use of computing clusters in the context of intelligent agents. The increased scalability of virtual sensor data generation and the capability to concurrently simulate multiple agents enables research on more complex agent-toagent interactions, such as digital twin networks (DTNs). Such systems require moving the related computation to computing clusters, raising questions on how the computation should be managed and arranged to enable high quality of service and low energy consumption for the intelligent agents. We use simulated and physical computing clusters to analyze task scheduling and computing latencies involved in selected use cases. Finally, we propose a framework for creating, testing, and evaluating the QoS and energy efficiency of a DTN-enabled sustainable and smart cities by combining game engines to simulate sensor feeds and a physical cluster to process sensor feeds.Tässä väitöskirjassa tutkitaan pelimoottorien skaalautuvuutta älykkäiden agenttien testaamista ja kouluttamista varten, sekä erilaisten laskenta-asetelmien vaikutusta tähän liittyvään palvelunlaatuun ja energiatehokkuuteen. Älykkäiden agenttien käyttö on lisääntynyt usealla eri alalla. Niitä voidaan hyödyntää esimerkiksi itsestään ajavissa ajoneuvoissa, videopeleissä, rakennusautomaatiossa sekä tiedonsiirtoinfrastruktuurin hallinnassa. Agenttien älykkyys usein perustuu neuroverkkoihin, joiden kouluttaminen ja testaaminen vaatii suuria määriä dataa. Älykkäiden agenttien kehittämiseen käytetään usein virtuaaliympäristöjä, sillä agenttien kouluttaminen ja testaaminen fyysisessä ympäristössä on usein hidasta ja kallista. Pelimoottorit soveltuvat hyvin näiden virtuaaliympäristöjen toteuttamiseen. Virtuaaliympäristön lisäksi tarvitaan runsaasti laskentaresursseja, sillä näiden agenttien neuroverkot ovat usein laskennallisesti raskaita. Agenttien tulee usein kyetä toimimaan reaaliajassa, joka vaatii laskentainfrastruktuurilta erittäin lyhyitä laskenta- ja kommunikaatioviiveitä. Väitöskirjan ensimmäinen tutkimuskysymys tarkastelee pelimoottorien skaalautuvuutta agenttien virtuaalista sensoridatan tuottamista varten. Useimmat nykyisistä pelimoottoreista ovat suunniteltu simuloimaan erilaisia virtuaaliympäristöjä vain yksittäisen tietokoneen resursseja hyödyntäen. Tämä rajoittaa samanaikaisesti toimivien ja yhteistyötä tekevien agenttien lukumäärää saman virtuaaliympäristön sisällä. Tässä työssä tutkitaan pelimoottorien skaalautuvuutta ja hajautetun laskennan käyttöä erityisesti itsestään ajavien ajoneuvojen virtuaalikameradatan tuottamista varten. Lisäksi tässä työssä tarkastellaan pelimoottorien käyttämistä virtuaalisen audiodatan tuottamiseen usealle rinnakkaiselle ääntä hyödyntävälle agentille. Väitöskirjan toinen tutkimuskysymys tarkastelee laskentaklustereiden käyttöä älykkäiden agenttien yhteydessä. Virtuaalisensoridatan tuottamisen skaalautuvuus mahdollistaa monimutkaisempien agenttien yhteistyökuvioiden simuloinnin, esimerkiksi digitaalisten kaksosten verkoston muodossa. Tämänlainen verkosto tarvitsee laskentaklusterin, jossa on riittävästi laskentaresursseja sekä pienet laskenta- ja kommunikaatioviiveet. Tässä työssä tutkimme agenttien päätöksentekoon liittyviä laskentaviiveitä sekä laskentatehtävien aikataulutusta virtuaalisen laskentaklusterin avulla. Lisäksi ehdotamme simulaattorin ja fyysisen laskentaklusterin muodostamaa alustaa agenttien verkostojen kehittämistä ja testaamista varten, käyttämällä virtuaalista älykaupunkia testikohteena. Alustan tarkoituksena on tutkia laskentaklusterien laskennan hallintaa, agenttien käyttäytymistä, palvelunlaatua sekä energiankulutusta.Description
Supervising professor
Ylä-Jääski, Antti, Prof., Aalto University, Department of Computer Science, FinlandThesis advisor
Hirvisalo, Vesa, Senior Lecture,r Aalto University, Department of Computer Science, FinlandOther note
Parts
-
[Publication 1]: Anton Debner, Matias Hyyppä, Jussi Hanhirova, Vesa Hirvisalo. Scalability of a Machine Learning Environment for Autonomous Driving Research. In IEEE 17th International Conference on Industrial Informatics (INDIN), Helsinki, Finland, Pages: 687-692, 1 2019.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202002282294DOI: 10.1109/INDIN41052.2019.8972278 View at publisher
-
[Publication 2]: Jussi Hanhirova, Anton Debner, Matias Hyyppä, Vesa Hirvisalo. A Machine Learning Environment for Evaluating Autonomous Driving Software. In Embedded World Conference 2019, Nürnberg, Germany, 8 pages, 1 2019.
DOI: 10.48550/arXiv.2003.03576 View at publisher
- [Publication 3]: Anton Debner, Vesa Hirvisalo. Towards concurrent real-time audioaware agents with deep reinforcement learning. In 6th Northern Lights Deep Learning Conference (NLDL), Norway, PMLR 265:32-40, 1 2025. https://urn.fi/URN:NBN:fi:aalto-202506245248.
- [Publication 4]: Anton Debner, Maximilian Krahn, Vesa Hirvisalo. Scheduling conditional task graphs with deep reinforcement learning. In 5th Northern Lights Deep Learning Conference (NLDL), Norway, PMLR 233:46-52, 1 2024. https://urn.fi/URN:NBN:fi:aalto-202408065180.
-
[Publication 5]: Jaakko Harjuhahto, Anton Debner, Vesa Hirvisalo. Processing LiDAR Data from a Virtual Logistics Space. In 2nd Workshop on Fog Computing and the IoT, Open Access Series in Informatics (OASIcs), Germany, Volume 80, Pages: 4:1-12, 4 2020.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202306053549DOI: 10.4230/OASIcs.Fog-IoT.2020.4 View at publisher
- [Publication 6]: Anton Debner, Wencan Mao, Vesa Hirvisalo. dtS2C: A Data-driven Framework for Simulating and Evaluating Digital Twin Edge Networks of Smart and Sustainable Cities. Submitted to IEEE Transactions on Sustainable Computing, 12 pages, 7 2025