Method for constructing an AOD-related atmospheric correction time series for the CLARA-A2 SAL data record

In the Satellite Application Facility on Climate Monitoring (CM SAF) project, financially supported by EUMETSAT, the 34-year long (1982-2015) broadband albedo time series CLARA-A2 SAL (the Surface ALbedo from the CM SAF cLoud, Albedo and RAdiation data record, second version) was produced from Advanced Very High Resolution Radiometer (AVHRR) measurements. CLARA-A2 SAL data record uses a Simplified Method for Atmospheric Correction algorithm SMAC for correcting for atmospheric effects. Aerosol optical depth (AOD) is the main input of the algorithm. Because there were no global AOD time series for the whole needed time period (1982-2015), the AOD-related time series were constructed, and the method for calculating it is described in this report

Very High Spatial Resolution Soil Moisture Observation of Heterogeneous Subarctic Catchment Using Nonlocal Averaging and Multitemporal SAR Data

A soil moisture estimation method was developed for Sentinel-1 synthetic aperture radar (SAR) ground range detected high resolution (GRDH) data to analyze moisture conditions in a gently undulating and heterogeneous subarctic area containing forests, wetlands, and open orographic tundra. In order to preserve the original 10-m pixel spacing, PIMSAR (pixel-based multitemporal nonlocal averaging) nonlocal mean filtering was applied. It was guided by multitemporal statistics of SAR images in the area. The gradient boosted trees (GBT) machine learning method was used for the soil moisture algorithm development. Discrete and continuous in situ soil moisture values were used for training and validation of the algorithm. For surface soil moisture, the root mean square error (RMSE) of the method was 6.5% and 8.8% for morning and evening images, respectively. The corresponding maximum errors were 34.1% and 33.8%. The pixelwise sensitivity to the training set and method choice was estimated as the variance of the soil moisture values derived using the algorithms for the three best methods with respect to the criteria: the smallest maximum error, the smallest RMSE value, and the highest coefficient of determination (R-2) value. It was, on average, 6.3% with a standard deviation of 5.7%. Our approach successfully produced instantaneous high-resolution soil moisture estimates on daily basis for the subarctic landscape and can further be applied to various hydrological, biogeochemical, and management purposes.Peer reviewe

Very High Spatial Resolution Soil Moisture Observation of Heterogeneous Subarctic Catchment Using Nonlocal Averaging and Multitemporal SAR Data

A soil moisture estimation method was developed for Sentinel-1 synthetic aperture radar (SAR) ground range detected high resolution (GRDH) data to analyze moisture conditions in a gently undulating and heterogeneous subarctic area containing forests, wetlands, and open orographic tundra. In order to preserve the original 10-m pixel spacing, PIMSAR (pixel-based multitemporal nonlocal averaging) nonlocal mean filtering was applied. It was guided by multitemporal statistics of SAR images in the area. The gradient boosted trees (GBT) machine learning method was used for the soil moisture algorithm development. Discrete and continuous in situ soil moisture values were used for training and validation of the algorithm. For surface soil moisture, the root mean square error (RMSE) of the method was 6.5% and 8.8% for morning and evening images, respectively. The corresponding maximum errors were 34.1% and 33.8%. The pixelwise sensitivity to the training set and method choice was estimated as the variance of the soil moisture values derived using the algorithms for the three best methods with respect to the criteria: the smallest maximum error, the smallest RMSE value, and the highest coefficient of determination (R-2) value. It was, on average, 6.3% with a standard deviation of 5.7%. Our approach successfully produced instantaneous high-resolution soil moisture estimates on daily basis for the subarctic landscape and can further be applied to various hydrological, biogeochemical, and management purposes.Peer reviewe

Effect of small-scale snow surface roughness on snow albedo and reflectance

The primary goal of this paper is to present a model of snow surface albedo accounting for small-scale surface roughness effects. The model is based on photon recollision probability, and it can be combined with existing bulk volume albedo models, such as Two-streAm Radiative Trans-fEr in Snow (TARTES). The model is fed with in situ measurements of surface roughness from plate profile and laser scanner data, and it is evaluated by comparing the computed albedos with observations. It provides closer results to empirical values than volume-scattering-based albedo simulations alone. The impact of surface roughness on albedo increases with the progress of the melting season and is larger for larger solar zenith angles. In absolute terms, small-scale surface roughness can decrease the total albedo by up to about 0.1. As regards the bidirectional reflectance factor (BRF), it is found that surface roughness increases backward scattering especially for large solar zenith angle values

Parametrien estimointi sovellettuna Pandora-instrumentin mittauksiin

Tutkielmassa käsitellään parametrien estimointia. Estimointitapoja on useita, ja tässä tutkielmassa keskitytään pienimmän neliösumman menetelmään. Työn lähtökohtana oli halu tutkia Ilmatieteen laitoksen Pandora-nimisen instrumentin herkkyyttä vakioiduille oletusarvoille lisäämällä sen parametrien estimointiin bayesiläisen estimoinnin elementtejä. Tutkielman aluksi esitellään työn läpi käymisen kannalta tärkeitä käsitteitä ja lauseita. Keskeisen asian esittely aloitetaan inversion eli käänteisongelman yleisestä teoriasta ja siihen liittyvien tärkeimpien käsitteiden määrittelystä. Yksi niistä on residuaali, joka on mittauksen ja sovitetun mallin antaman ennusteen erotus. Seuraavaksi esitellään Bayesin kaava tilastotieteen näkökulmasta, minkä jälkeen kaava esitellään inversio-ongelmissa käytetyin termein ilmaistuna. Tämän jälkeen perehdytään tarkemmin pienimmän neliösumman menetelmään lineaarisen ja epälineaarisen mallin näkökulmasta. Lineaarisen mallin ollessa kyseessä esitellään SVD-menetelmä eli singulaariarvohajotelma-menetelmä, ja epälineaarisen mallin tapauksessa esitellään puolestaan Levenberg-Marquardt -menetelmä, jotka molemmat osoittavat omalla kohdallaan sen, kuinka residuaalien neliösumma minimoidaan. Työn lopuksi käsitellään Pandora-instrumentin analyysiohjelmaan lisättyjen bayesiläisten elementtien vaikutusta otsonin ja nitridioksidin määrien arvoihin.

Parametrien estimointi sovellettuna Pandora-instrumentin mittauksiin

Tutkielmassa käsitellään parametrien estimointia. Estimointitapoja on useita, ja tässä tutkielmassa keskitytään pienimmän neliösumman menetelmään. Työn lähtökohtana oli halu tutkia Ilmatieteen laitoksen Pandora-nimisen instrumentin herkkyyttä vakioiduille oletusarvoille lisäämällä sen parametrien estimointiin bayesiläisen estimoinnin elementtejä. Tutkielman aluksi esitellään työn läpi käymisen kannalta tärkeitä käsitteitä ja lauseita. Keskeisen asian esittely aloitetaan inversion eli käänteisongelman yleisestä teoriasta ja siihen liittyvien tärkeimpien käsitteiden määrittelystä. Yksi niistä on residuaali, joka on mittauksen ja sovitetun mallin antaman ennusteen erotus. Seuraavaksi esitellään Bayesin kaava tilastotieteen näkökulmasta, minkä jälkeen kaava esitellään inversio-ongelmissa käytetyin termein ilmaistuna. Tämän jälkeen perehdytään tarkemmin pienimmän neliösumman menetelmään lineaarisen ja epälineaarisen mallin näkökulmasta. Lineaarisen mallin ollessa kyseessä esitellään SVD-menetelmä eli singulaariarvohajotelma-menetelmä, ja epälineaarisen mallin tapauksessa esitellään puolestaan Levenberg-Marquardt -menetelmä, jotka molemmat osoittavat omalla kohdallaan sen, kuinka residuaalien neliösumma minimoidaan. Työn lopuksi käsitellään Pandora-instrumentin analyysiohjelmaan lisättyjen bayesiläisten elementtien vaikutusta otsonin ja nitridioksidin määrien arvoihin.

Construction of reliable albedo time series

A reliable satellite-based black-sky albedo time series is a crucial part of detecting changes in the climate. This thesis studies the solutions to several uncertainties impairing the quality of the black-sky albedo time series. These solutions include creating a long dynamic aerosol optical depth time series for enhancing the removal of atmospheric effects, a method to fill missing data to improve spatial and temporal coverage, and creating a function to correctly model the diurnal variation of melting snow albedo. Mathematical methods are the center pieces of the solutions found in this thesis. Creating a melting snow albedo function and the construction of an aerosol optical depth time series lean on a linear regression approach, whereas the process to fill missing values is based on gradient boosting, a machine learning method that is in turn based on decision trees. These methods reflect the basic nature of these problems as well as the need to take into account the large amounts of satellite-based data and computational resources available.Luotettava aikasarja mustan taivaan albedosta eli heijastuskyvystä on välttämätön tutkittaessa muuttuvaa ilmastoa. Maailmanlaajuisesti kattavimmat heijastuvuustiedot saadaan satelliittimittauksista. Pitkän satelliittipohjaisen albedoaikasarjan luominen on kuitenkin herkkä epävarmuuksille. Tässä työssä esitetään ratkaisuja kolmeen epävarmuutta aiheuttavaan tekijään. Nämä ratkaisut ovat 1) pitkä aikasarja aerosolien optisesta paksuudesta, jota käytetään parantamaan ilmakehäkorjausta; 2) menetelmä, jolla täytetään puuttuvia datoja ja jota käytetään parantamaan ajallista ja paikallista kattavuutta; sekä 3) funktio, jolla voidaan mallintaa sulavan lumen albedon vuorokausivaihtelua. Matemaattiset menetelmät ovat näiden ratkaisujen keskiössä. Sulavan lumen albedon funktion luomisessa ja aerosolien optisen paksuuden aikasarjan rakentamisessa on käytetty lineaarista regressiota, kun taas puuttuvien datojen täyttämisprosessi nojautuu gradient boosting -nimiseen koneoppimismenetelmään, joka puolestaan perustuu päätöspuihin. Käsiteltävän epävarmuustekijän ominaisuudet, käytettävissä oleva laskentakapasiteetti sekä tarvittavan aineiston määrä vaikuttavat valittavaan menetelmään.peerReviewe

Construction of reliable albedo time series

A reliable satellite-based black-sky albedo time series is a crucial part of detecting changes in the climate. This thesis studies the solutions to several uncertainties impairing the quality of the black-sky albedo time series. These solutions include creating a long dynamic aerosol optical depth time series for enhancing the removal of atmospher-ic effects, a method to fill missing data to improve spatial and temporal coverage, and creating a function to correctly model the diurnal variation of melting snow albedo. Mathematical methods are the center pieces of the solutions found in this thesis. Creating a melting snow albedo function and the construction of an aerosol optical depth time series lean on a linear regression approach, whereas the process to fill missing values is based on gradient boosting, a machine learning method that is in turn based on decision trees. These methods reflect the basic nature of these problems as well as the need to take into account the large amounts of satellite-based data and computational resources available.Luotettava aikasarja mustan taivaan albedosta eli heijastuskyvystä on välttämätön tutkittaessa muuttuvaa ilmas-toa. Maailmanlaajuisesti kattavimmat heijastuvuustiedot saadaan satelliittimittauksista. Pitkän satelliittipohjaisen albedoaikasarjan luominen on kuitenkin herkkä epävarmuuksille. Tässä työssä esitetään ratkaisuja kolmeen epä-varmuutta aiheuttavaan tekijään. Nämä ratkaisut ovat 1) pitkä aikasarja aerosolien optisesta paksuudesta, jota käytetään parantamaan ilmakehäkorjausta; 2) menetelmä, jolla täytetään puuttuvia datoja ja jota käytetään paran-tamaan ajallista ja paikallista kattavuutta; sekä 3) funktio, jolla voidaan mallintaa sulavan lumen albedon vuoro-kausivaihtelua. Matemaattiset menetelmät ovat näiden ratkaisujen keskiössä. Sulavan lumen albedon funktion luomisessa ja aerosolien optisen paksuuden aikasarjan rakentamisessa on käytetty lineaarista regressiota, kun taas puuttuvien datojen täyttämisprosessi nojautuu gradient boosting -nimiseen koneoppimismenetelmään, joka puolestaan pe-rustuu päätöspuihin. Käsiteltävän epävarmuustekijän ominaisuudet, käytettävissä oleva laskentakapasiteetti sekä tarvittavan aineiston määrä vaikuttavat valittavaan menetelmään

Black and White-Sky Albedo Values of Snow: In Situ Relationships for AVHRR-Based Estimation Using CLARA-A2 SAL

The relationship of black-sky and white-sky albedo values of snow-covered terrain is studied using empirical measurements of six BSRN sites and the Finnish Meteorological Institute Sodankylä site, where albedo measurements are carried out both in an open area and above coniferous forest. In addition, a forest model was used to provide simulated albedo values to cover a wider leaf area index range. Linear regression formulas for estimating the monthly mean white-sky albedo value on the basis of the monthly statistics of the black-sky albedo were derived separately for open and forested areas. The statistical parameters used were the mean, median, standard deviation, skewness and kurtosis. In addition, the monthly mean solar zenith angle value was used as well. The mean absolute difference between the estimated monthly mean white-sky albedo and the empirical value was 0.027 for open areas and 0.015 for forested areas. The derived formulas were applied to the satellite black-sky albedo product CLARA-A2 SAL to generate white-sky albedo maps. Using the open snow area regression for the sea ice area produced values comparable to measured values both around the Antarctic and in the Arctic sea ice area

Filling gaps of black-sky surface albedo of the Arctic sea ice using gradient boosting and brightness temperature data

Surface albedo is a necessary parameter for climate studies and modeling. There is a need for a full spatial coverage of albedo data, but clouds and high solar zenith angle cause missing values to the optical satellite products, especially around the polar areas. Therefore, our motivation is to develop gap filling models. For that purpose, we will apply monthly gradient boosting (GB) based models to the Arctic sea ice area of the 34 years long albedo time series of the Satellite Application Facility on Climate Monitoring (CM SAF) project. We demonstrate the ability of the GB models to accurately fill missing data using albedo monthly mean, brightness temperature, and sea ice concentration as model inputs. Monthly GB models produce the most unbiased, precise, and robust estimates when compared to alternative estimates presented, such as monthly mean albedo values or estimates from monthly linear regression (LR) models. The mean relative differences between GB based estimates and original pentad values vary from −20% to 20% with RMSE being 0.048, compared to relative differences varying from −20% to over 60% with RMSE varying from 0.054 to 0.074 between other estimates and original pentad values. Pixelwise mean differences and standard deviations (std) over the whole Arctic sea ice area show that GB based estimates are more accurate (mean differences from −0.02 to 0.02) and more precise (std from 0.02 to 0.08) than other estimates (mean differences varying between −0.05 to over 0.05, and std varying from around 0.03 to over 0.1). Also, albedo of the melting sea ice is predicted better by the GB model, with negligible mean differences, compared to the LR model. Based on these results, we show that GB method is a useful technique to fill missing data, and the brightness temperature and sea ice concentration are useful additional model input data sources