Finding Value in Big Data - Statistical Analysis of Large Data Sets with Applications in Electric Power Systems
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering |
Doctoral thesis (article-based)
| Defence date: 2016-01-18
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2015
Major/Subject
Mcode
Degree programme
Language
en
Pages
99 + app. 86
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 224/2015
Abstract
A growing volume of data is becoming available in the field of electric power systems. The hourly automatic meter reading (AMR) electricity consumption data available from small customers, such as households and small businesses, is a significant new data source. For example, geographic data, wind speed data and phasor measurement unit data add to both the quantity and the significant variety in the available data. This thesis presents how these large data sets can be utilized in power system studies using statistical methodology. A visualization and clustering of a large AMR data set is presented, and consumption models are then estimated for the discovered clusters, i.e., consumer groups. Statistical modelling is applied to wind speed and wind generation data from multiple locations, with the emphasis on understanding the effect of the geographical distribution of wind power. In addition, combined statistical modelling of stochastic distributed generation (e.g., wind and solar power) and electricity consumption is presented, which allows the effects of stochastic generation to be analysed at the distribution system level. Interesting system operation conditions (e.g., power flows, consumption, wind generation) affecting the expected damping of the 0.35 Hz inter-area oscillation in the Nordic power system are identified, and their use in the short term prediction of damping is demonstrated using statistical methods. Several different geographically varying risk factors affecting the expected fault rates in power distribution systems are also identified, and the use of the estimated fault rates in automatic network planning is presented. It is argued that the statistical analysis of electricity consumption and generation can also be used in automatic network planning. Although the volume and variety of data are important in enabling data analyses, the value that can be extracted from the data using appropriate data analysis methods is fundamentally the most important aspect. In this thesis, multiple data visualization techniques are presented for finding patterns in the large data sets. The discovered patterns are then modelled using statistical data models. The need to model the probability distributions of the relevant random variables in detail is emphasized. This is especially important in wind power modelling, and was achieved using Monte Carlo simulation.Käytettävissä olevan datan määrä kasvaa sähkövoimajärjestelmäalalla nopeasti. Sähkönkulutuksen mittaaminen pieniltä asiakkailta, kuten kotitalouksilta ja pienyrityksiltä, automaattisesti tunneittain on merkittävä uusi datan lähde. Esimerkiksi paikkatietodata, säädata ja tuulituotantoa koskevat tiedot lisäävät saatavilla olevan datan moninaisuutta. Tässä väitöskirjassa esitellään kuinka tällaisia suuria aineistoja voidaan hyödyntää sähkövoimajärjestelmien tutkimuksessa. Väitöskirjassa esitellään miten suuria sähkönkulutusaineistoja voidaan visualisoida ja ryhmitellä. Löydetyille kulutusryhmille estimoidaan sähkönkulutusmallit. Useista kohteista mitattuun tuulennopeus- ja tuulituotantodataan sovelletaan tilastollisen mallinnuksen menetelmiä; tavoitteena on ymmärtää varsinkin tuulivoiman maantieteellisen hajautuksen vaikutukset. Työssä yhdistetään myös stokastisen hajautetun uusiutuvan energian tuotannon (esimerkiksi tuuli- ja aurinkovoiman) ja sähkönkulutuksen tilastollinen mallintaminen, mikä mahdollistaa niiden yhteisvaikutuksen analysoimisen jakeluverkkotasolla. Tilastollisia menetelmiä käytetään analysoitaessa pohjoismaisen voimajärjestelmän alueiden välisen 0,35 Hz heilahtelun vaimennuksen odotusarvon riippuvuutta voimajärjestelmän toimintaa kuvaavista muuttujista (esimerkiksi tehonsiirrosta, tuulivoimasta ja sähkönkulutuksesta). Esitetyt menetelmät soveltuvat myös lyhyen aikavälin vaimennuksen ennustamiseen. Väitöskirjassa esitetään miten useat eri maantieteellisesti vaihtelevat riskitekijät vaikuttavat vikataajuuden odotusarvoon sähkönjakelujärjestelmissä. Myös sijainnista riippuvan vikataajuuden käyttö automaattisessa jakeluverkon suunnittelussa esitellään. Työssä esitetään että myös sähkönkulutuksen ja stokastisen tuotannon tilastollista analyysiä voidaan käyttää hyödyksi automaattisessa jakeluverkon suunnittelussa. Vaikka datan määrä ja monimuotoisuus ovat tärkeitä data-analyysin mahdollistavia tekijöitä, analyysistä saatava lopputulos ja sen sovellettavuus sekä hyöty ovat lopulta tärkeimpiä analyysin onnistumisen mittareita. Väitöskirjassa esitellään useita sellaisia datan visualisoinnin menetelmiä, joilla suuresta datamäärästä voidaan löytää rakenteita ja struktuuria. Löydetyt rakenteet mallinnetaan tilastollisilla malleilla. Työssä korostetaan myös tarvetta mallintaa tärkeiden satunnaismuuttujien todennäköisyysjakaumat yksityiskohtaisesti. Tämä on erityisen tärkeää tuulivoiman tilastollisessa mallintamisessa, ja siihen päästään käyttämällä Monte Carlo ‑simulointia.Description
Supervising professor
Lehtonen, Matti, Prof., Aalto University, Department of Electrical Engineering, FinlandThesis advisor
Lehtonen, Matti, Prof., Aalto University, Department of Electrical Engineering, FinlandMellin, Ilkka, University Teacher Emeritus, Aalto University, Department of Mathematics and Systems Analysis, Finland
Keywords
copula, damping forecast, data analysis, electricity consumption, fault statistics, Monte Carlo simulation, multiple regression model, statistical modelling, vector autoregressive model, wind power, data-analyysi, kopula, Monte Carlo -simulaatio, sähkönkulutus, tilastollinen mallintaminen, tuulivoima, usean muuttujan autoregressiivinen malli, usean selittäjän regressiomalli, vaimennusestimointi, vikatilastot
Other note
Parts
-
[Publication 1]: M. Koivisto, P. Heine, I. Mellin, M. Lehtonen, ”Clustering of Connection Points and Load Modeling in Distribution Systems”, IEEE Transactions on Power Systems, vol. 28, no. 2, pp. 1255-1265, May 2013.
DOI: 10.1109/TPWRS.2012.2223240 View at publisher
-
[Publication 2]: M. Koivisto, J. Ekström, J. Seppänen, I. Mellin, E. Saarijärvi, L. Haarla, “Statistical Analysis of Large Scale Wind Power Generation Using Monte Carlo Simulations”, Power Systems Computation Conference (PSCC), Wroclaw, Poland, pp. 1-7, August 2014.
DOI: 10.1109/PSCC.2014.7038461 View at publisher
-
[Publication 3]: M. Koivisto, J. Ekström, J. Seppänen, I. Mellin, J. Millar, L. Haarla, “A Statistical Model for Comparing Future Wind Power Scenarios with Varying Geographical Distribution of Installed Generation Capacity”, Wind Energy, Early View article first published online May 15th 2015.
DOI: 10.1002/we.1858 View at publisher
-
[Publication 4]: J. Ekström, M. Koivisto, I. Mellin, J. Millar, E. Saarijärvi, L. Haarla, “Assessment of Large Scale Wind Power Generation with New Generation Locations without Measurement Data”, Renewable Energy, vol. 83, pp. 362-374, November 2015.
DOI: 10.1016/j.renene.2015.04.050 View at publisher
-
[Publication 5]: M. Koivisto, M. Degefa, M. Ali, J. Ekström, J. Millar, M. Lehtonen, “Statistical Modeling of Aggregated Electricity Consumption and Distributed Wind Generation in Distribution Systems Using AMR Data”, Electric Power Systems Research, vol. 129, pp. 217-226, December 2015.
DOI: 10.1016/j.epsr.2015.08.008 View at publisher
-
[Publication 6]: M. Degefa, M. Koivisto, R. J. Millar, M. Lehtonen, “Dynamic Thermal State Forecasting of Distribution Network Components: For Enhanced Active Distribution Network Capacity”, International Conference on Probabilistic Methods Applied to Power Systems (PMAPS), Durham, United Kingdom, pp. 1-6, July 2014.
DOI: 10.1109/PMAPS.2014.6960607 View at publisher
-
[Publication 7]: F. Sulla, M. Koivisto, J. Seppänen, J. Turunen, L. Haarla, O. Samuelsson, “Statistical Analysis and Forecasting of Damping in the Nordic Power System”, IEEE Transactions on Power Systems, vol. 30, no. 1, pp. 306-315, January 2015.
DOI: 10.1109/TPWRS.2014.2329489 View at publisher
-
[Publication 8]: E. Saarijärvi, M. Koivisto, R. J. Millar, J. Niskanen, M. Lehtonen, “Generating Fault Rate Surfaces using Network Fault Statistics and Geographic Information”, IEEE Power & Energy Society General Meeting, Washington, D.C, United States, pp. 1-5, July 2014.
DOI: 10.1109/PESGM.2014.6938901 View at publisher