Performance metrics for the atmospheric model ECHAM5

Abstract

Climate models approximate how a state of the atmosphere develops to another, and they can be used to produce simulations of future climate or to reconstruct past climate. Due to our imperfect understanding of the atmosphere and still limited computational capacity, different climate models have varying success in reproducing different phenomena of the climate. One approach to overcome the theoretical and computational limitations is so-called parameterizations which simplify and supplement the physical relations in the model. This means that the models contain free parameters that can be used to make the model output more like the real climate.

With climate simulations, there is also no consensus of good metrics that measure how well simulations replicate observations. Usually, the traditional performance metrics in weather forecasting such as mean squared error (MSE) are employed to compare also climate simulations with observations. but their optimality has not yet been confirmed.

This thesis defines two novel performance metrics for climate models and analyzes their properties and usefulness. An experiment is conducted with the output of one well-known climate model called ECHAM5. The experiment considers several ECHAM5 simulations for a time period of one year, which are produced with different free parameters for ECHAM5, and studies how the new metrics assess the simulations. The metrics are computed to 25 different climate variables and these results are contrasted with the results of two more conventional metrics. Also overall performance metrics, which consider many climate variables together, are derived from the new metrics and they are tested with a subset of four climate variables.

The results suggest that the proposed metrics have advantages over the two conventional metrics with some variables. The results also demonstrate that the simulations are assessed quite differently depending on the climate variable that is studied. Some conclusions are that caution is needed when applying any performance metrics to climate simulations and metrics should be tested.

Ilmastomallit soveltavat ymmärrystämme ilmakehän fysiikasta ja niitä voidaan käyttää simuloimaan niin tulevaa kuin jo mennyttäkin ilmastoa. Koska sekä tietämys ilmakehän ilmiöistä että laskennalliset resurssit ovat edelleen vajavaisia, eri ilmastomallit menestyvät eri tavoin simuloidessaan eri ilmiöitä ilmastosta. Mallien epätäydellisyyksien takia joudutaan myös käyttämään niin kutsuttuja parametrisaatioita, joilla korvataan tai täydennetään mallin osia. Tämä tarkoittaa, että mallit sisältävät vapaita parametreja. joita voidaan säätää siten, että simulaatiot saataisiin lähemmäs todellista ilmastoa.

Ei ole myöskään yksimielisyyttä siitä, mikä on hyvä mittari ilmaisemaan kuinka toden- mukaisia simulaatiot ovat. Tavallisesti simulaatioita verrataan havaintoaineistoon mittareilla. joita on perinteisesti käytetty lyhytkestoisemmissa sääennustuksissa. Eräs tällainen usein käytetty mittari on keskimääräinen neliöllinen virhe (MSE). Ei ole kuitenkaan osoitettu, että nämä olisivat optimaalisia ilmastosimulaatioiden kanssa.

Tässä opinnäytetyössä määritellään kaksi uutta ilmastosimulaatioiden onnistumisen mittaria ja arvioidaan niiden ominaisuuksia sekä hyödyllisyyttä. Työssä toteutetaan koeasetelma. jossa tunnetun ECHAM5-ilmastomallin simulaatioita verrataan havaintoihin. Kokeen ilmastosimulaatiot tehdään yhden vuoden ajalle käyttämällä eri parametrien arvoja, ja nämä arvioidaan uusilla mittareilla. Mittareita sovelletaan 25 eri ilmastomuuttujan kanssa ja niiden tuloksia verrataan kahden tavallisemman mittarin tuloksiin. Mittareista myös johdetaan niin sanotut kokonaisonnistumismittarit. joilla neljän yksittäisen ilmastomuuttujan tulokset yhdistetään.

Tulokset viittaavat siihen, että työssä johdetuilla mittareilla saadaan uutta tietoa simulaatioiden onnistumisesta sekä perinteisten mittareiden luotettavuudesta tiettyjen ilmastomuuttujien kohdalla. Tulokset myös osoittavat, että simulaatioiden onnistuminen määritellään hyvin eri tavalla tarkasteltavasta muuttujasta riippuen. Tulosten perusteella esitetään. että simulaatioiden onnistumista tulee aina arvioida varovaisuudella sekä että myös muita vastaavia mittareita tulisi tarkastella.