Automatic quality control of optical water quality sensors
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Insinööritieteiden korkeakoulu |
Master's thesis
Authors
Date
2020-01-20
Department
Major/Subject
Mcode
Degree programme
Master's Programme in Water and Environmental Engineering (WAT)
Language
en
Pages
67
Series
Abstract
The focus of water quality monitoring has been shifting from the traditional sampling, laboratory analyses and simple data loggers to large-scale automatic sensor networks. Due to large amount of data, manual quality control is no longer a viable option or results in unnecessary long delays in data distribution. However, many environmental observations systems still lack the necessary methods to validate data automatically or obtain information about its quality. In this study the literature on different automatic quality control tests was reviewed and a set of quality control tests was implemented for oceanographical observation data. A simple measurement uncertainty estimation was also conducted and the effect of quality control on both measurement uncertainty and linear regression models was assessed. The selection of quality control test parameters with Jaccard similarity coefficient was also tested. The applied quality control tests did not have large effect on mean measurement uncertainty, but for individual measurement events the difference was occasionally important. However, this does not diminish the importance of automatic quality control, but encourages better method development for assessing its impact. There is much room for improvement, especially in determination of measurement uncertainty for automatic sensor data. Test parameter optimization with Jaccard similarity coefficient was considered useful and it could be used when assessing the performance of automatic quality control tests in different scenarios.Vedenlaatumittausten painopiste on viime aikoina siirtynyt perinteisestä näytteenotosta, laboratorioanalyyseistä ja yksinkertaisista dataloggereista kohti laajoja automaattisia sensoriverkkoja. Datan suuren määrän takia manuaalinen laadunvalvonta ei ole enää mahdollinen vaihtoehto tai johtaisi tarpeettoman suuriin viiveisiin datan jakelussa. Silti edelleen monista ympäristön seurantajärjestelmistä puuttuu tarpeelliset menetelmät datan automaattiseen validointiin tai sen laadun arviointiin. Tässä työssä tehtiin automaattisiin laadunvalvontatesteihin liittyvä kirjallisuuskatsaus ja sen pohjalta oseanografiselle havaintoaineistolle toteutettiin automaattinen laadunvalvonta. Aineistolle tehtiin myös yksinkertainen mittausepävarmuuden tarkastelu. Laadunvalvontatestien toimivuutta arvioitiin tarkastelemalla muutoksia mittausepävarmuudessa ja lineaarisissa regressiomalleissa. Työssä testattiin myös laadunvalvontatestien parametrien valintaa Jaccardin indeksin avulla. Sovelletuilla laadunvalvontatesteillä ei ollut suurta vaikutusta ainestojen mittausepävarmuuksien keskiarvoihin, mutta yksittäisten mittaustapahtumien kohdalla vaikutus oli paikoin tärkeä. Tämä ei kuitenkaan vähennä automaattisten laadunvalvontatestien merkitystä, vaan kannustaa parempien menetelmien kehittämiseen niiden vaikutusten arvioimiseksi. Etenkin mittausepävarmuuden määrittämisessä automaattiselle sensoridatalle on vielä paljon kehitettävää. Testiparametrien optimointi Jaccardin indeksin avulla todettiin kuitenkin hyödylliseksi ja tätä voisi käyttää apuna automaattisten testien käyttökelpoisuuden arvioimiseksi erilaisissa mittausskenaarioissa.Description
Supervisor
Koivusalo, HarriThesis advisor
Seppälä, JukkaNäykki, Teemu
Keywords
water quality, environmental monitoring, quality control, measurement uncertainty, chlorophyll a, turbidity