A Quantitative Study of Interactions Between Coupled Empowerment Maximising and General Game Playing Agents
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2022-07-29
Department
Major/Subject
Game Design and Production
Mcode
SCI3046
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
59+6
Series
Abstract
Coupled empowerment maximisation (CEM) is an algorithm for implementing the behaviour of non-player characters (NPC) in video games. To this end, it employs empowerment, a computational intrinsic reward measuring an agent’s potential to influence the perceived environment. CEM drives the agent to maximise its own and maximise or minimise another agent’s empowerment while keeping the other agent within its influence. It has been hypothesised in previous qualitative research that CEM can drive adversarial and supportive NPC behaviour and generalises well amongst various discrete-time and discrete-space games. Integrating a CEM agent into a game requires no training and only minimal tweaks to the algorithm and game mechanics. The purpose of this thesis is to assess quantitatively whether different CEM parametrisations induce antagonistic or supportive behaviour. We recorded 39240 test runs in total, including the end score and game procession. In the test runs, a player agent controlled by an MCTS algorithm plays the test game with three different CEM agents in 120 different maps, with varying game rules. Firstly, we found that the CEM parametrisation, which we expected to yield antagonistic behaviour, did cause the player agent to score fewer points in our test game compared to an NPC that chose actions randomly. However, supportive behaviour did not emerge in our tests. Secondly, we show that the player agent and the NPC select actions with different frequencies depending on the CEM parametrisation. We conclude that changing the parametrisation can affect how and how well the player reaches their goals in the game and how they interact with the NPC. We also reflect on our findings based on observations of individual game runs.“Coupled empowerment maximisation” (CEM) on algoritmi tietokoneohjattujen pelihahmojen toteuttamiseksi. Se määrittelee hahmon vaikutuskyvyn (“empowerment”) sen mahdollisuutena vaikuttaa toimillaan ympäristöön havaittavasti. CEM ohjaa hahmoa maksimoimaan oman vaikutuskykynsä ja kaventamaan tai laajentamaan toisen hahmon vaikutuskykyä pysytellen samalla toisen hahmon vaikutuspiirissä. Näiden tavoitteiden yhdistelmä ohjaa pelihahmon toimintaa tarkemmin ennalta määräämättä. Aikaisemmissa tutkimuksissa on arvioitu, että CEM mahdollistaa sekä viha-, että ystävällismieliset tietokonehahmot ja on yleistettävissä moniin vuoropohjaisiin peleihin. CEM-hahmon lisääminen peliin vaatii vain vähäisiä muutoksia itse algoritmiin ja kohdepeliin. Tämän diplomityön tarkoitus on arvioida kvantitatiivisesti, aiheuttavatko erilaiset CEM-parametrisaatiot vihamielistä tai ystävällismielistä toimintaa. Tutkimme yhteensä 39240:n pelitestin pisteitä ja kulkua. Niissä MCTS-algoritmin ohjaama pelaaja pelasi kolmen eri tavoin parametrisoidun CEM-hahmon kanssa toteuttamaamme peliä vaihtelevin säännöin 120 erilaisella pelikentällä. Havaitsimme, että vihamieliseksi olettamamme CEM-hahmo heikensi pelaajahahmon saavuttamia pisteita testipelissämme verrattuna satunnaisesti toimivaan CEM-hahmoon. Sen sijaan pelaajaa tukevaa CEM-hahmon käytöstä emme havainneet. Toisekseen osoitimme, että pelaaja- ja CEM-hahmot valitsivat eri toimintoja riippuen CEM-hahmolle asetetuista parametreista. Päättelemme, että parametrien muuttaminen voi vaikuttaa pelaajan mahdollisuuksiin saavuttaa tavoitteitaan sekä tapaan, jolla pelaaja vuorovaikuttaa tietokonehahmon kanssa. Lisäksi havainnoimme yksittäisiä testipeleja ja ehdotamme selityksiä kvantitatiivisille tuloksillemme.Description
Supervisor
Hämäläinen, PerttuThesis advisor
Guckelsberger, ChristianKeywords
games, CEM, NPC, AI