Optimal Estimation of Water Vapour Profiles using a Combination of Raman Lidar and Microwave Radiometer

In der vorliegenden Arbeit wird ein zweistufiger Algorithmus, das sogenannte Retrieval, zur Ableitung von Wasserdampfprofilen aus einer Kombination von Ramanlidar und Mikrowellenradiometer zur operationellen Anwendung vorgestellt. Beide Instrumente kamen während einer groß angelegten Kampagne nahe Jülich im Frühjahr 2013 zum Einsatz (HOPE). Ziel der Arbeit ist es, kontinuierliche Zeitreihen der vertikalen Wasserdampfverteilung abzuleiten. Dies erfordert eine Kalibrierung des Ramanlidars. Im Rahmen dieser Arbeit wurde ein automatisches Kalibrierschema entwickelt, welches auf dem integrierten Wasserdampfgehalt abgeleitet aus Mikrowellenradiometermessungen basiert. Die Methode zeigt eine gute Übereinstimmung mit herkömmlichen Ansätzen, welche auf Radiosondenaufstiegen beruhen. Der Kalibrierfaktor ist sehr stabil mit einer relativen Abweichung von 5 %. Diese Stabilität bietet den Vorteil, das Lidar auch unter bewölkten Bedingungen zu kalibrieren. Hierfür wird der Kalibrierfaktor des letzten wolkenfreien Zeitraums herangezogen. Dies ermöglicht die kontinuierliche Messung von Wasserdampfprofilen bis zu einer möglichen Wolkenbasis. Um verlässliche Wasserdampfinformationen innerhalb und oberhalb einer Wolke zu erhalten, wird ein zweistufiger Algorithmus angewandt. Der erste Schritt ist ein Kalman Filter, der die an der Wolkenbasis abgeschnittenen Wasserdampfprofile vom Ramanlidar mittels eines vorherigen Profils zu einem kompletten Profil (bis zu 10 km) kombiniert. Das komplette Wasserdampfprofil dient dann als Input für die eindimensionale variationelle (1D- VAR) Methode, auch als optimale Schätzung bekannt. Für dieses Profil werden die Helligkeitstemperaturen simuliert, die das Mikrowellenradiometer in der gegebenen Atmosphäre messen würde und anschließend mit den tatsächlich gemessenen verglichen. Das Profil wird dann iterativ entsprechend seiner Fehlerbalken so lange modifiziert, bis die modellierten mit den gemessenen Helligkeitstemperaturen hinreichend übereinstimmen. Die Funktionsweise des Retrievals wird mit Hilfe von Fallstudien unter verschiedenen Bedingungen detailliert beleuchtet. Eine statistische Analyse zeigt, dass die Verfügbarkeit von Ramanlidardaten (nachts) die Genauigkeit der abgeleiteten Profile verbessert. Tagsüber resultiert das Fehlen der Lidarinformationen in größeren Unterschieden zu Referenzradiosonden. Die Datenabdeckung der kompletten Lidarprofile von 17 % während der zweimonatigen Kampagne wird durch Anwendung des Retrievals auf 60 % signifikant erhöht. Da die relative Feuchte oft mals ein nützliches Maß für die Beschreibung von Wolkenbildung und Aerosolwachstum ist, wird die Bestimmung der relativen Feuchte aus den abgeleiteten Profilen unter verschiedenen Temperaturannahmen behandelt. Die Annahme eines Temperaturprofils vom Mikrowellenradiometer resultiert in einem absoluten Bias von 4.7 g/kg . Weiterhin wird in der Arbeit die flexible und vielfältige Anwendung des Retrievals an verschiedenen Messstationen in Jülich, Lindenberg und auf dem Forschungsschiff Polarstern sowie unterschiedlichen Ramanlidargeräten und Mikrowellenradiometern präsentiert. Ein besonders hervorzuhebender positiver Aspekt der Arbeit ist die Implementierung des Retrievals in die Cloudnet-Prozessierung, welche die Untersuchung von Wolken und Niederschlag bereichert. Die gewonnenen Profile werden außerdem für eine Evaluierung des Klima- und Vorhersagemodells ICON verwendet

Optimal estimation of water vapour profiles using a combination of Raman lidar and microwave radiometer

In this work, a two-step algorithm to obtain water vapour profiles from a combination of Raman lidar and microwave radiometer is presented. Both instruments were applied during an intensive 2-month measurement campaign (HOPE) close to Julich, western Germany, during spring 2013. To retrieve reliable water vapour information from inside or above the cloud a two-step algorithm is applied. The first step is a Kalman filter that extends the profiles, truncated at cloud base, to the full height range (up to 10 km) by combining previous information and current measurement. Then the complete water vapour profile serves as input to the one-dimensional variational (1D-VAR) method, also known as optimal estimation. A forward model simulates the brightness temperatures which would be observed by the microwave radiometer for the given atmospheric state. The profile is iteratively modified according to its error bars until the modelled and the actually measured brightness temperatures sufficiently agree. The functionality of the retrieval is presented in detail by means of case studies under different conditions. A statistical analysis shows that the availability of Raman lidar data (night) improves the accuracy of the profiles even under cloudy conditions. During the day, the absence of lidar data results in larger differences in comparison to reference radiosondes. The data availability of the full-height water vapour lidar profiles of 17% during the 2-month campaign is significantly enhanced to 60% by applying the retrieval. The bias with respect to radiosonde and the retrieved a posteriori uncertainty of the retrieved profiles clearly show that the application of the Kalman filter considerably improves the accuracy and quality of the retrieved mixing ratio profiles

Identifying cloud droplets beyond lidar attenuation from vertically pointing cloud radar observations using artificial neural networks

In mixed-phase clouds, the variable mass ratio between liquid water and ice as well as the spatial distribution within the cloud plays an important role in cloud lifetime, precipitation processes, and the radiation budget. Data sets of vertically pointing Doppler cloud radars and lidars provide insights into cloud properties at high temporal and spatial resolution. Cloud radars are able to penetrate multiple liquid layers and can potentially be used to expand the identification of cloud phase to the entire vertical column beyond the lidar signal attenuation height, by exploiting morphological features in cloud radar Doppler spectra that relate to the existence of supercooled liquid. We present VOODOO (reVealing supercOOled liquiD beyOnd lidar attenuatiOn), a retrieval based on deep convolutional neural networks (CNNs) mapping radar Doppler spectra to the probability of the presence of cloud droplets (CD). The training of the CNN was realized using the Cloudnet processing suite as supervisor. Once trained, VOODOO yields the probability for CD directly at Cloudnet grid resolution. Long-term predictions of 18 months in total from two mid-latitudinal locations, i.e., Punta Arenas, Chile (53.1 S, 70.9 W), in the Southern Hemisphere and Leipzig, Germany (51.3 N, 12.4 E), in the Northern Hemisphere, are evaluated. Temporal and spatial agreement in cloud-droplet-bearing pixels is found for the Cloudnet classification to the VOODOO prediction. Two suitable case studies were selected, where stratiform, multi-layer, and deep mixed-phase clouds were observed. Performance analysis of VOODOO via classification-evaluating metrics reveals precision > 0.7, recall ≈ 0.7, and accuracy ≈ 0.8. Additionally, independent measurements of liquid water path (LWP) retrieved by a collocated microwave radiometer (MWR) are correlated to the adiabatic LWP, which is estimated using the temporal and spatial locations of cloud droplets from VOODOO and Cloudnet in connection with a cloud parcel model. This comparison resulted in stronger correlation for VOODOO (≈ 0.45) compared to Cloudnet (≈ 0.22) and indicates the availability of VOODOO to identify CD beyond lidar attenuation. Furthermore, the long-term statistics for 18 months of observations are presented, analyzing the performance as a function of MWR-LWP and confirming VOODOO's ability to identify cloud droplets reliably for clouds with LWP > 100 g m-2. The influence of turbulence on the predictive performance of VOODOO was also analyzed and found to be minor. A synergy of the novel approach VOODOO and Cloudnet would complement each other perfectly and is planned to be incorporated into the Cloudnet algorithm chain in the near future

Vertical aerosol distribution in the southern hemispheric midlatitudes as observed with lidar in Punta Arenas, Chile (53.2° and 70.9° W), during ALPACA

Within this publication, lidar observations of the vertical aerosol distribution above Punta Arenas, Chile (53.2 S and 70.9 W), which have been performed with the Raman lidar PollyXT from December 2009 to April 2010, are presented. Pristine marine aerosol conditions related to the prevailing westerly circulation dominated the measurements. Lofted aerosol layers could only be observed eight times during the whole measurement period. Two case studies are presented showing long-range transport of smoke from biomass burning in Australia and regionally transported dust from the Patagonian Desert, respectively. The aerosol sources are identified by trajectory analyses with the Hybrid Single-Particle Lagrangian Integrated Trajectory (HYSPLIT) and FLEXible PARTicle dispersion model (FLEXPART). However, seven of the eight analysed cases with lofted layers show an aerosol optical thickness of less than 0.05. From the lidar observations, a mean planetary boundary layer (PBL) top height of 1150 350m was determined. An analysis of particle backscatter coefficients confirms that the majority of the aerosol is attributed to the PBL, while the free troposphere is characterized by a very low background aerosol concentration. The ground-based lidar observations at 532 and 1064 nm are supplemented by the Aerosol Robotic Network (AERONET) Sun photometers and the space-borne Cloud-Aerosol Lidar with Orthogonal Polarization (CALIOP) aboard the Cloud-Aerosol Lidar and Infrared Pathfinder Satellite Observation (CALIPSO). The averaged aerosol optical thickness (AOT) determined by CALIOP was 0:02 0:01 in Punta Arenas from 2009 to 2010. © Author(s) 2019. This work is distributed under the Creative Commons Attribution 4.0 License

The HD(CP)² Observational Prototype Experiment (HOPE) – an overview

The HD(CP)2 Observational Prototype Experiment (HOPE) was performed as a major 2-month field experiment in Jülich, Germany, in April and May 2013, followed by a smaller campaign in Melpitz, Germany, in September 2013. HOPE has been designed to provide an observational dataset for a critical evaluation of the new German community atmospheric icosahedral non-hydrostatic (ICON) model at the scale of the model simulations and further to provide information on land-surface–atmospheric boundary layer exchange, cloud and precipitation processes, as well as sub-grid variability and microphysical properties that are subject to parameterizations. HOPE focuses on the onset of clouds and precipitation in the convective atmospheric boundary layer. This paper summarizes the instrument set-ups, the intensive observation periods, and example results from both campaigns. HOPE-Jülich instrumentation included a radio sounding station, 4 Doppler lidars, 4 Raman lidars (3 of them provide temperature, 3 of them water vapour, and all of them particle backscatter data), 1 water vapour differential absorption lidar, 3 cloud radars, 5 microwave radiometers, 3 rain radars, 6 sky imagers, 99 pyranometers, and 5 sun photometers operated at different sites, some of them in synergy. The HOPE-Melpitz campaign combined ground-based remote sensing of aerosols and clouds with helicopter- and balloon-based in situ observations in the atmospheric column and at the surface. HOPE provided an unprecedented collection of atmospheric dynamical, thermodynamical, and micro- and macrophysical properties of aerosols, clouds, and precipitation with high spatial and temporal resolution within a cube of approximately 10  ×  10  ×  10 km3. HOPE data will significantly contribute to our understanding of boundary layer dynamics and the formation of clouds and precipitation. The datasets have been made available through a dedicated data portal. First applications of HOPE data for model evaluation have shown a general agreement between observed and modelled boundary layer height, turbulence characteristics, and cloud coverage, but they also point to significant differences that deserve further investigations from both the observational and the modelling perspective

An overview of the first decade of PollyNET: An emerging network of automated Raman-polarization lidars for continuous aerosol profiling

A global vertically resolved aerosol data set covering more than 10 years of observations at more than 20 measurement sites distributed from 63° N to 52° S and 72° W to 124° E has been achieved within the Raman and polarization lidar network PollyNET. This network consists of portable, remote-controlled multiwavelength-polarization-Raman lidars (Polly) for automated and continuous 24/7 observations of clouds and aerosols. PollyNET is an independent, voluntary, and scientific network. All Polly lidars feature a standardized instrument design with different capabilities ranging from single wavelength to multiwavelength systems, and now apply unified calibration, quality control, and data analysis. The observations are processed in near-real time without manual intervention, and are presented online at http://polly.tropos.de/. The paper gives an overview of the observations on four continents and two research vessels obtained with eight Polly systems. The specific aerosol types at these locations (mineral dust, smoke, dust-smoke and other dusty mixtures, urban haze, and volcanic ash) are identified by their Ångström exponent, lidar ratio, and depolarization ratio. The vertical aerosol distribution at the PollyNET locations is discussed on the basis of more than 55 000 automatically retrieved 30 min particle backscatter coefficient profiles at 532 nm as this operating wavelength is available for all Polly lidar systems. A seasonal analysis of measurements at selected sites revealed typical and extraordinary aerosol conditions as well as seasonal differences. These studies show the potential of PollyNET to support the establishment of a global aerosol climatology that covers the entire troposphere

Optimal Estimation of Water Vapour Profiles using a Combination of Raman Lidar and Microwave Radiometer

In der vorliegenden Arbeit wird ein zweistufiger Algorithmus, das sogenannte Retrieval, zur Ableitung von Wasserdampfprofilen aus einer Kombination von Ramanlidar und Mikrowellenradiometer zur operationellen Anwendung vorgestellt. Beide Instrumente kamen während einer groß angelegten Kampagne nahe Jülich im Frühjahr 2013 zum Einsatz (HOPE). Ziel der Arbeit ist es, kontinuierliche Zeitreihen der vertikalen Wasserdampfverteilung abzuleiten. Dies erfordert eine Kalibrierung des Ramanlidars. Im Rahmen dieser Arbeit wurde ein automatisches Kalibrierschema entwickelt, welches auf dem integrierten Wasserdampfgehalt abgeleitet aus Mikrowellenradiometermessungen basiert. Die Methode zeigt eine gute Übereinstimmung mit herkömmlichen Ansätzen, welche auf Radiosondenaufstiegen beruhen. Der Kalibrierfaktor ist sehr stabil mit einer relativen Abweichung von 5 %. Diese Stabilität bietet den Vorteil, das Lidar auch unter bewölkten Bedingungen zu kalibrieren. Hierfür wird der Kalibrierfaktor des letzten wolkenfreien Zeitraums herangezogen. Dies ermöglicht die kontinuierliche Messung von Wasserdampfprofilen bis zu einer möglichen Wolkenbasis. Um verlässliche Wasserdampfinformationen innerhalb und oberhalb einer Wolke zu erhalten, wird ein zweistufiger Algorithmus angewandt. Der erste Schritt ist ein Kalman Filter, der die an der Wolkenbasis abgeschnittenen Wasserdampfprofile vom Ramanlidar mittels eines vorherigen Profils zu einem kompletten Profil (bis zu 10 km) kombiniert. Das komplette Wasserdampfprofil dient dann als Input für die eindimensionale variationelle (1D- VAR) Methode, auch als optimale Schätzung bekannt. Für dieses Profil werden die Helligkeitstemperaturen simuliert, die das Mikrowellenradiometer in der gegebenen Atmosphäre messen würde und anschließend mit den tatsächlich gemessenen verglichen. Das Profil wird dann iterativ entsprechend seiner Fehlerbalken so lange modifiziert, bis die modellierten mit den gemessenen Helligkeitstemperaturen hinreichend übereinstimmen. Die Funktionsweise des Retrievals wird mit Hilfe von Fallstudien unter verschiedenen Bedingungen detailliert beleuchtet. Eine statistische Analyse zeigt, dass die Verfügbarkeit von Ramanlidardaten (nachts) die Genauigkeit der abgeleiteten Profile verbessert. Tagsüber resultiert das Fehlen der Lidarinformationen in größeren Unterschieden zu Referenzradiosonden. Die Datenabdeckung der kompletten Lidarprofile von 17 % während der zweimonatigen Kampagne wird durch Anwendung des Retrievals auf 60 % signifikant erhöht. Da die relative Feuchte oft mals ein nützliches Maß für die Beschreibung von Wolkenbildung und Aerosolwachstum ist, wird die Bestimmung der relativen Feuchte aus den abgeleiteten Profilen unter verschiedenen Temperaturannahmen behandelt. Die Annahme eines Temperaturprofils vom Mikrowellenradiometer resultiert in einem absoluten Bias von 4.7 g/kg . Weiterhin wird in der Arbeit die flexible und vielfältige Anwendung des Retrievals an verschiedenen Messstationen in Jülich, Lindenberg und auf dem Forschungsschiff Polarstern sowie unterschiedlichen Ramanlidargeräten und Mikrowellenradiometern präsentiert. Ein besonders hervorzuhebender positiver Aspekt der Arbeit ist die Implementierung des Retrievals in die Cloudnet-Prozessierung, welche die Untersuchung von Wolken und Niederschlag bereichert. Die gewonnenen Profile werden außerdem für eine Evaluierung des Klima- und Vorhersagemodells ICON verwendet

Optimal Estimation of Water Vapour Profiles using a Combination of Raman Lidar and Microwave Radiometer

In der vorliegenden Arbeit wird ein zweistufiger Algorithmus, das sogenannte Retrieval, zur Ableitung von Wasserdampfprofilen aus einer Kombination von Ramanlidar und Mikrowellenradiometer zur operationellen Anwendung vorgestellt. Beide Instrumente kamen während einer groß angelegten Kampagne nahe Jülich im Frühjahr 2013 zum Einsatz (HOPE). Ziel der Arbeit ist es, kontinuierliche Zeitreihen der vertikalen Wasserdampfverteilung abzuleiten. Dies erfordert eine Kalibrierung des Ramanlidars. Im Rahmen dieser Arbeit wurde ein automatisches Kalibrierschema entwickelt, welches auf dem integrierten Wasserdampfgehalt abgeleitet aus Mikrowellenradiometermessungen basiert. Die Methode zeigt eine gute Übereinstimmung mit herkömmlichen Ansätzen, welche auf Radiosondenaufstiegen beruhen. Der Kalibrierfaktor ist sehr stabil mit einer relativen Abweichung von 5 %. Diese Stabilität bietet den Vorteil, das Lidar auch unter bewölkten Bedingungen zu kalibrieren. Hierfür wird der Kalibrierfaktor des letzten wolkenfreien Zeitraums herangezogen. Dies ermöglicht die kontinuierliche Messung von Wasserdampfprofilen bis zu einer möglichen Wolkenbasis. Um verlässliche Wasserdampfinformationen innerhalb und oberhalb einer Wolke zu erhalten, wird ein zweistufiger Algorithmus angewandt. Der erste Schritt ist ein Kalman Filter, der die an der Wolkenbasis abgeschnittenen Wasserdampfprofile vom Ramanlidar mittels eines vorherigen Profils zu einem kompletten Profil (bis zu 10 km) kombiniert. Das komplette Wasserdampfprofil dient dann als Input für die eindimensionale variationelle (1D- VAR) Methode, auch als optimale Schätzung bekannt. Für dieses Profil werden die Helligkeitstemperaturen simuliert, die das Mikrowellenradiometer in der gegebenen Atmosphäre messen würde und anschließend mit den tatsächlich gemessenen verglichen. Das Profil wird dann iterativ entsprechend seiner Fehlerbalken so lange modifiziert, bis die modellierten mit den gemessenen Helligkeitstemperaturen hinreichend übereinstimmen. Die Funktionsweise des Retrievals wird mit Hilfe von Fallstudien unter verschiedenen Bedingungen detailliert beleuchtet. Eine statistische Analyse zeigt, dass die Verfügbarkeit von Ramanlidardaten (nachts) die Genauigkeit der abgeleiteten Profile verbessert. Tagsüber resultiert das Fehlen der Lidarinformationen in größeren Unterschieden zu Referenzradiosonden. Die Datenabdeckung der kompletten Lidarprofile von 17 % während der zweimonatigen Kampagne wird durch Anwendung des Retrievals auf 60 % signifikant erhöht. Da die relative Feuchte oft mals ein nützliches Maß für die Beschreibung von Wolkenbildung und Aerosolwachstum ist, wird die Bestimmung der relativen Feuchte aus den abgeleiteten Profilen unter verschiedenen Temperaturannahmen behandelt. Die Annahme eines Temperaturprofils vom Mikrowellenradiometer resultiert in einem absoluten Bias von 4.7 g/kg . Weiterhin wird in der Arbeit die flexible und vielfältige Anwendung des Retrievals an verschiedenen Messstationen in Jülich, Lindenberg und auf dem Forschungsschiff Polarstern sowie unterschiedlichen Ramanlidargeräten und Mikrowellenradiometern präsentiert. Ein besonders hervorzuhebender positiver Aspekt der Arbeit ist die Implementierung des Retrievals in die Cloudnet-Prozessierung, welche die Untersuchung von Wolken und Niederschlag bereichert. Die gewonnenen Profile werden außerdem für eine Evaluierung des Klima- und Vorhersagemodells ICON verwendet

Optimal estimation of water vapour profiles using a combination of Raman lidar and microwave radiometer

In this work, a two-step algorithm to obtain water vapour profiles from a combination of Raman lidar and microwave radiometer is presented. Both instruments were applied during an intensive 2-month measurement campaign (HOPE) close to Julich, western Germany, during spring 2013. To retrieve reliable water vapour information from inside or above the cloud a two-step algorithm is applied. The first step is a Kalman filter that extends the profiles, truncated at cloud base, to the full height range (up to 10 km) by combining previous information and current measurement. Then the complete water vapour profile serves as input to the one-dimensional variational (1D-VAR) method, also known as optimal estimation. A forward model simulates the brightness temperatures which would be observed by the microwave radiometer for the given atmospheric state. The profile is iteratively modified according to its error bars until the modelled and the actually measured brightness temperatures sufficiently agree. The functionality of the retrieval is presented in detail by means of case studies under different conditions. A statistical analysis shows that the availability of Raman lidar data (night) improves the accuracy of the profiles even under cloudy conditions. During the day, the absence of lidar data results in larger differences in comparison to reference radiosondes. The data availability of the full-height water vapour lidar profiles of 17% during the 2-month campaign is significantly enhanced to 60% by applying the retrieval. The bias with respect to radiosonde and the retrieved a posteriori uncertainty of the retrieved profiles clearly show that the application of the Kalman filter considerably improves the accuracy and quality of the retrieved mixing ratio profiles