Planning under uncertainty for large-scale problems with applications to wireless networking

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Peltonen, Jaakko, Dr., Aalto University, Finland
dc.contributor.author Pajarinen, Joni
dc.date.accessioned 2013-01-30T09:30:21Z
dc.date.available 2013-01-30T09:30:21Z
dc.date.issued 2013
dc.identifier.isbn 978-952-60-4999-1 (electronic)
dc.identifier.isbn 978-952-60-4998-4 (printed)
dc.identifier.issn 1799-4942 (electronic)
dc.identifier.issn 1799-4934 (printed)
dc.identifier.issn 1799-4934 (ISSN-L)
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/7666
dc.description.abstract Planning actions into the future is a fundamental task in many real world problems. The uncertain outcome of actions and partial noisy observations often make planning difficult. Specifically, in a wireless network, wireless agents must reason whether to transmit data now or postpone transmission into the future, based only on noisy sensor readings and incomplete information about traffic patterns and the state of other devices. In many settings of this kind, a partially observable Markov decision process (POMDP) defines optimal actions for a single agent and a decentralized POMDP (DEC-POMDP) for multiple co-operative agents. POMDPs and DEC-POMDPs are expressive but computationally demanding models. This thesis presents new efficient POMDP and DEC-POMDP methods, motivated by challenging new wireless networking problems. The first contribution of this thesis is a method for large factored POMDPs that handles larger problems than the comparison methods. The second contribution is the first proposed method for general factored infinite-horizon DEC-POMDPs. The method solves smaller problems with similar accuracy as non-factored methods and it can solve larger problems than the comparison methods. The third contribution is a new kind of controller type for POMDPs and DEC-POMDPs, a periodic finite state controller, that allows optimization of larger controllers than previous finite state controller approaches and yields higher performance. The fourth contribution is a POMDP model for a cognitive radio device, which served as motivation for the factored POMDP method. In the model, the cognitive radio transmits on frequency channels occupied by high priority legacy users. The model takes into account varying network traffic burst lengths and reactions of legacy users and performs better than the comparison models. The fifth contribution consists of framing wireless channel access of multiple devices with complicated spatial interference as a factored DEC-POMDP. This allows optimizing over both the spatial and time dimensions and in experiments yields higher performance than the wireless comparison methods. The quality of wireless device decisions depends crucially on the cost and quality of sensor readings. The last contribution is a new spectrum sensing approach, that uses nanotechnology based computations and machine learning for mitigating nanoscale faults and classifying radio signals. en
dc.description.abstract Toimintojen suunnittelu tulevaisuuteen on tärkeä tehtävä useissa käytännön ongelmissa. Epävarmuus toimintojen lopputuloksesta ja vaillinaiset kohinaiset havainnot tekevät suunnittelusta usein vaikeaa. Erityisesti langattomissa verkoissa langattomien agenttien täytyy päättää milloin lähettää dataa, käyttäen ainoastaan kohinaisia havaintoja ja vaillinaista tietoa verkkoliikenteestä ja muiden laitteiden tilasta. Useissa tämänkaltaisissa tilanteissa osittain havaittava Markov-päätösprosessi (POMDP)-malli määrittelee optimaaliset toiminnot yhdelle agentille ja hajautettu POMDP (DEC-POMDP)-malli usealle yhteistyötä tekevälle agentille. Tämä väitöskirja esittelee uusia tehokkaita menetelmiä näille ilmaisukykyisille, mutta laskennallisesti vaativille POMDP ja DEC-POMDP-malleille. Uudet vaativat langattomat sovellukset toimivat motivaationa menetelmille. Tämän väitöskirjan ensimmäinen kontribuutio on faktoroitu POMDP-menetelmä, joka ratkaisee suurempia ongelmia kuin vertailumenetelmät. Toinen kontribuutio on ensimmäinen ehdotettu faktoroitu äärettömän horisontin DEC-POMDP-menetelmä, joka ratkaisee pienempiä ongelmia samalla tarkkuudella ja suurempia ongelmia kuin ei-faktoroidut vertailumenetelmät. Kolmas kontribuutio esittelee uudentyyppisen jaksollisen tilakonesäätimen POMDP ja DEC-POMDP-malleille, jonka avulla voidaan optimoida suurempia tilakonesäätimiä paremmalla suorituskyvyllä kuin aikaisemmilla menetelmillä. Neljäs kontribuutio on POMDP-malli kognitiiviselle radiolaitteelle, joka lähettää vanhoille radiolaitteille varatuilla taajuuskanavilla. Malli ottaa huomioon vanhojen radiolaitteiden erilaiset purskepituudet ja reaktiot ja suoriutuu paremmin kokeissa kuin vertailumallit. Viidennessä kontribuutiossa usean laitteen langaton lähetys spatiaalisen häiriön alla muotoillaan faktoroiduksi DEC-POMDP:ksi. Tämä sallii optimoinnin sekä tilan että ajan suhteen, ja lähestymistavalla saavutetaan kokeissa parempia tuloksia kuin langattomaan tiedonsiirtoon käytetyillä vertailumenetelmillä. Langattomien laitteiden päätösten laatu riippuu ratkaisevasti havaintojen hinnasta ja laadusta. Väitöskirjan viimeinen kontribuutio on uusi kaistantunnistustapa, joka käyttää nanoteknologiaan pohjautuvaa laskentaa. Uudessa tunnistustavassa koneoppimista käytetään nanomittakaavan vikojen vaimentamiseen ja signaalien luokitteluun. fi
dc.format.extent 119 + app. 85
dc.format.mimetype application/pdf
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.ispartofseries Aalto University publication series DOCTORAL DISSERTATIONS en
dc.relation.ispartofseries 20/2013
dc.relation.haspart [Publication 1]: Joni Pajarinen, Jaakko Peltonen, Ari Hottinen, and Mikko Uusitalo. Efficient Planning in Large POMDPs through Policy Graph Based Factorized Approximations. In Proceedings of ECML PKDD 2010, the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases, Barcelona, Spain, Volume 6323, pages 1–16, Lecture Notes in Computer Science, Springer, September 2010.
dc.relation.haspart [Publication 2]: Joni Pajarinen and Jaakko Peltonen. Efficient Planning for Factored Infinite-Horizon DEC-POMDPs. In Proceedings of IJCAI-11, the 22nd International Joint Conference on Artificial Intelligence, Barcelona, Spain, pages 325–331, AAAI Press, July 2011.
dc.relation.haspart [Publication 3]: Joni Pajarinen and Jaakko Peltonen. Periodic Finite State Controllers for Efficient POMDP and DEC-POMDP Planning. In Advances in Neural Information Processing Systems 24 (Proceedings of NIPS 2011), Granada, Spain, pages 2636–2644, December 2011.
dc.relation.haspart [Publication 4]: Joni Pajarinen, Jaakko Peltonen, Mikko A. Uusitalo, and Ari Hottinen. Latent state models of primary user behavior for opportunistic spectrum access. In Proceedings of PIMRC’09, the IEEE International Symposium on Personal, Indoor and Mobile Radio Communications, Tokyo, Japan, pages 1267–1271, September 2009.
dc.relation.haspart [Publication 5]: Joni Pajarinen, Ari Hottinen, and Jaakko Peltonen. Optimizing spatial and temporal reuse in wireless networks by decentralized partially observable Markov decision processes. Submitted to a journal, 14 pages, October 1st 2012.
dc.relation.haspart [Publication 6]: Jaakko Peltonen, Mikko A. Uusitalo, and Joni Pajarinen. Nano-scale fault tolerant machine learning for cognitive radio. In Proceedings of MLSP 2008, the IEEE International Workshop on Machine Learning for Signal Processing, Cancún, Mexico, pages 163–168, October 2008.
dc.relation.haspart [Publication 7]: Joni Pajarinen, Jaakko Peltonen, and Mikko A. Uusitalo. Fault tolerant machine learning for nanoscale cognitive radio. Neurocomputing, Volume 74, issue 5, pages 753–764, January 2011.
dc.subject.other Computer science en
dc.subject.other Telecommunications engineering en
dc.title Planning under uncertainty for large-scale problems with applications to wireless networking en
dc.title Päätöksenteko epävarmuuden vallitessa suurissa ongelmissa ja sovelluksia langattomaan tiedonsiirtoon fi
dc.type G5 Artikkeliväitöskirja fi
dc.contributor.school Perustieteiden korkeakoulu fi
dc.contributor.school School of Science en
dc.contributor.department Tietojenkäsittelytieteen laitos fi
dc.contributor.department Department of Information and Computer Science en
dc.subject.keyword Planning en
dc.subject.keyword POMDP en
dc.subject.keyword DEC-POMDP en
dc.subject.keyword wireless network en
dc.subject.keyword WLAN en
dc.subject.keyword cognitive radio en
dc.subject.keyword nanocomputing en
dc.subject.keyword Päätöksenteko fi
dc.subject.keyword POMDP fi
dc.subject.keyword DEC-POMDP fi
dc.subject.keyword langaton verkko fi
dc.subject.keyword WLAN fi
dc.subject.keyword kognitiivinen radio fi
dc.subject.keyword nanolaskenta fi
dc.identifier.urn URN:ISBN:978-952-60-4999-1
dc.type.dcmitype text en
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.contributor.supervisor Oja, Erkki, Prof., Aalto University, Finland
dc.opn Charpillet, François, Dr., INRIA, France
dc.rev Spaan, Matthijs, Dr., Technical University of Delft, The Netherlands
dc.rev Hyytiä, Esa, Dr., School of Electrical Engineering, Aalto University, Finland
dc.date.defence 2013-02-07


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account