Aggregation in Frequency Control Capacity Allocation with Reinforcement Learning
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Authors
Date
2024-09-22
Department
Major/Subject
Data Science
Mcode
Degree programme
Master's Programme in ICT Innovation
Language
en
Pages
82
Series
Abstract
The stability of the Nordic electricity grids are maintained by balancing electricity generation and consumption through the use of frequency containment reserve markets. As the power grids employ more renewable and distributed energy resources, reserve power requirements increase due to more unpredictable production. Industrial battery energy storage systems can both generate and consume energy for the grid. Managing multiple devices creates a challenging optimization and control problem, where the participation of energy storage facilities in the market is maximized without compromising the capacity of the storage facilities to provide the promised reserve service. Aggregation has proven to be a key factor in similar cases where the problems are complex and multi-dimensional. By aggregating the components of the problem into larger entities, such as treating multiple batteries as a single virtual battery, the solution to the problem may be easier to achieve. In this thesis, we evaluate whether the application of aggregation to the management of multiple limited capacity batteries affects the results of a decision making model. We organize multiple batteries as individual virtual batteries, participating in the Finnish frequency containment reserve market for normal operation. For the study, an experimental evaluation using simulation is carried out. We identify a reinforcement learning model based on the Proximal Policy Optimization algorithm as the most promising decision making method for reserve market participation, and apply an existing simulation framework to collect results. Our results show that in our test cases with one, ten, and one hundred batteries, combining multiple batteries does not show statistically significant differences in model performance between test cases. In contrast, the performance of the test cases differs significantly from the baseline strategy. These findings suggest that in an ideal simulation environment without communication interference, it may be possible to aggregate these types of resources without affecting model performance.Pohjoismaiden sähköverkkojen vakautta ylläpidetään tasapainottamalla sähköntuotantoa ja -kulutusta taajuusreservimarkkinoiden avulla. Kun sähköverkoissa käytetään yhä enemmän uusiutuvia ja hajautettuja energialähteitä, varavoimatarpeet kasvavat tuotannon ennakoimattomuuden vuoksi. Teollisuuden akkuenergian varastointijärjestelmät pystyvät sekä varastoimaan että purkamaan energiaa verkon tasapainottamiseksi. Useamman laitteen käsittely luo haastavan optimointi- ja ohjausongelman, jossa energiavarastojen osallistuminen markkinoille pyritään maksimoimaan ilman varastojen kapasiteetin vaarantumista, jolloin ne eivät pystyisi tarjoamaan luvattua reservipalvelua. Aggregointi on osoittautunut keskeiseksi tekijäksi vastaavissa tapauksissa, joissa monimutkaisille ja moniulotteisille ongelmille on haastavaa löytää ratkaisuja. Aggregoimalla ongelman osatekijöitä suuremmiksi kokonaisuuksiksi, kuten käsittelemällä useaa akkua yhtenä virtuaalisena akkuna, ongelman ratkaisu saattaa olla helpompi saavuttaa. Tässä työssä arvioidaan, vaikuttaako aggregointi useiden rajoitetun kapasiteetin akkujen päätöksentekomallin tuloksiin Suomen taajuusreservimarkkinalla normaalikäyttöön. Käsittelemme useita akkuja yksittäisinä virtuaalisina akkuina osallistuttaessa taajuusreservimarkkinalle sähköverkon tasapainottamiseksi. Tutkimusta varten suoritetaan kokeellinen arviointi simuloinnin avulla. Tunnistamme Proximal Policy Optimization -algoritmiin perustuvan vahvistusoppimismallin lupaavimmaksi päätöksentekomenetelmäksi tarjousongelmaan, ja sovellamme olemassa olevaa simulointikehystä tulosten keräämiseen. Tuloksemme osoittavat, että testitapauksissamme yhdellä, kymmenellä ja sadalla akulla, useiden akkujen yhdistäminen ei osoita tilastollisesti merkittäviä eroja mallin suorituskyvyssä testitapausten välillä. Toisaalta testitapausten suorituskyvyt eroavat merkittävästi perusstrategiasta. Nämä havainnot viittaavat siihen, että ihanteellisessa simulaatioympäristössä tämäntyyppisten resurssien yhdistäminen voi olla mahdollista ilman, että se vaikuttaa mallin suorituskykyyn.Description
Supervisor
Hämäläinen, WilhelmiinaThesis advisor
Boström, HenrikEnnadir, Sofiane
Keywords
aggregation, reinforcement learning, battery energy storage system, frequency containment reserve, control capacity, proximal policy optimization