Quality assurance of hydrometeorological data in urban areas
Loading...
Journal Title
Journal ISSN
Volume Title
Insinööritieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2014-05-19
Department
Major/Subject
Vesi- ja ympäristötekniikka
Mcode
R3005
Degree programme
Yhdyskunta- ja ympäristötekniikan koulutusohjelma
Language
en
Pages
92 + 3
Series
Abstract
Urban planning and decision making are widely based on the monitoring results of environmental variables. The measurements contain always missing values, outliers and noise. If these are not detected, erroneous data sequences cannot be corrected or removed. The measurement results are further used in modelling of stormwater quantity and quality and planning of stormwater structures. A need for the method development of an automatic tool which detects anomalies from data series arises from the lack of data validation guidelines and an increasing amount of online data. A tool for automatic outlier detection from online data series was developed by combining different methods found in the literature. This study focuses on high-resolution (1 min) rainfall, discharge and turbidity data series measured in a small (6,5 ha) urban catchment (62 % impervious) in southern Finland during the years 2009-2010 . First, different data assurance strategies earlier studies were recognized. Second, the study site and data were analyzed and a collection of tests and a model were chosen as a starting point for developing the tool. Third, test algorithms and a rainfall-runoff model were programmed using Matlab. The tests comprise a missing data test and a boundary test. The rainfall-runoff model is based on a two parameter gamma function which is calibrated to obtain the discharge shape in response to effective rainfall event. Finally, the results of the automatic detection of outliers were compared with the manually detected anomalies. In addition to the automatic detection, consistency checks of the measurements were carried out. Turbidity data was used for testing internal consistency and two other measurement stations were used to test the spatial consistency of rainfall. Using error boundaries the model could detect erroneous mass balance between rainfall and discharge. The suggested method shortens the time needed for data assurance and helps predicting the true value. The method can be applied to catchments where rainfall and discharge are measured concurrently with a high temporal resolution and a representative collection of rainfall events have been measured. This study provides insight into which factors should be considered before installing a new measurement station from the data validation perspective.Kaupunkisuunnittelu ja hulevesijärjestelmien mitoitus perustuvat laajalti ympäristöstä mitattaviin suureisiin ja niiden toistuvuuksiin. Mittauksissa on aina epävarmuuksia liittyen niiden edustavuuteen, mittausmenetelmään ja virheisiin. Virheet liittyvät yleensä puuttuviin arvoihin, ääriarvoihin tai kohinaan. Virheellisten mittaustulosten käyttö hulevesirakenteiden suunnittelun perusteena voi johtaa tulva- ja/tai vedenlaatuongelmiin. Samalla kun automaattisesti mitatun aineiston määrä kasvaa, on yhä suurempi tarve kehittää menetelmiä aineiston automaattiselle laadunvarmennukselle virheiden korjaamiseksi. Tässä työssä tutkittiin kirjallisuudessa käytettyjä laadunvarmennuskeinoja, joita yhdistelemällä kehitettiin automaattinen virheentunnistustyökalu koevaluma-alueelle. Kohteena oli Lahdessa sijaitseva pieni (6,5 ha) kaupunkivaluma-alue (62 % läpäisemätöntä) Lahdessa, jossa vuosina 2009–2010 mitattiin sadantaa, valuntaa ja sameutta minuutin aikaresoluutiolla. Työkalu kehitettiin valitsemalla kaksi minuuttitasolla suoritettavaa testiä ja tuntitasolla ajettava sadanta-valunta – malli. Testit koostuvat puuttuvan datan testistä ja raja-arvotestistä. Malli perustuu kahden parametrin gammajakaumaan, joka määräsi yksikkövaluntakäyrän muodon. Parametrit kalibroitiin vastaamaan valuma-alueen vasteen muotoa ajan suhteen yksikkövaluntakäyrän avulla ja virtaaman suuruus saatiin tehoisan sadannan perusteella. Mallin tuottamaa virtaamaa verrattiin mitattuun valuntaan pienimmän virheneliösumman menetelmällä. Mallille määritettiin, kuinka paljon mallin tuottama virtaama saa poiketa mitatusta virtaamasta. Sallitun virheen ylitys on merkki virheellisestä mittauksesta joko sadannassa tai valunnassa. Testien ja mallin automatisointiin käytettiin hyväksi ohjelmointia (Matlab). Automaattisten testien ja mallin lisäksi tehtiin manuaalisia tarkasteluja. Sameusmittauksia käytettiin mittausaseman mittausten yhtenäisyyden testaamiseen. Kahta lähialueen sadanta-asemaa käytettiin alueellisen yhtenäisyyden testaamiseen. Testit ja malli muodostavat työkalun, joka nopeuttaa aineiston laadunvarmennuksen suorittamista ja auttaa todellisen arvon ennustamisessa. Menetelmä on yleistettävissä muihin valuma-alueisiin, joissa on mitattu sadantaa ja valuntaa samanaikaisesti pienellä aika-askeleella. Mallin kalibrointia varten tulee olla edustava määrä eri intensiteetin ja keston sadantatapahtumia. Laadunvarmennustyökalun lisäksi työssä ehdotetaan mitä asioita tulisi ottaa huomioon aineiston laadunvarmennuksen näkökulmasta ennen uuden mittausaseman asentamista.Description
Supervisor
Koivusalo, HarriThesis advisor
Kokkonen, TeemuKeywords
outlier detection, stormwater, measurement, validation, IUH, data validation, hulevesi, mittaus, laadunvarmistus, poikkeavuuksien tunnistus, yksikkövaluntakäyrä
