Genetic Ensemble (G-Ensemble): An Evolutionary Computing Technique for Numerical Weather Prediction Enhancement

El objetivo principal del presente trabajo es abordar el problema de precisión y tiempo de espera en la predicción meteorológica, la cual es habitualmente llevada a cabo por aplicaciones computaciones conocidas como modelos de predicción meteorológica numérica (Numerical Weather Prediction, NWP). Estos modelos han sido muy desarrollados en las últimas décadas y su rendimiento mejora constantemente con el aumento de la potencia de cómputo. Sin embargo, en la práctica, la comunidad científica aun esta dedicando considerables esfuerzos para reducir el problema ampliamente conocido como 'tiempo limitado de predicción' (weather limited predictability). Principalmente, los dos mayores retos son la voluntad de obtener predicciones meteorológicas más fiables y realizarlas más rápidamente. Como en muchas otras áreas de la modelización medioambiental, los modelos NWP, la mayoría de del software de simulación trabaja con modelos sólidos y ampliamente aceptados. Por lo tanto, la necesidad de optimización de los parámetros de entrada del simulador representa un problema conocido y tratado en numerosas ocasiones por la comunidad científica. En estos entornos en particular no se puede disponer de parámetros de entrada correctos a tiempo. Se requiere utilizar una estrategia de estimación y optimización computacionalmente eficiente para minimizar la desviación entre el escenario predicho y el comportamiento real del fenómeno. Basándose en lo mencionado previamente, esta tesis trata de: 1 Proveer un estudio de sensibilidad del efecto de los parámetros de entrada del modelo NWP en la calidad de la predicción. 2 Proponer un framework, el cual permita realizar búsquedas de los valores óptimos de los parámetros de entrada del modelo que, según nuestra hipótesis, proveerá una mejor calidad de predicción. 3 Reducir el tiempo de espera necesitado para obtener predicciones meteorológicas más fiables. Para cumplir los objetivos de la propuesta presentada, se ha introducido un nuevo esquema de predicción meteorológica. Este nuevo esquema implementa un algoritmo de cómputo evolutivo, el cual se centra en la calibración de los parámetros de entrada del modelo NWP. El esquema presentado se denomina Genetic Ensemble, compuesto por dos etapas: etapa de calibración y etapa de predicción. Mediante la etapa de calibración, esta aproximación aplica un Algoritmo Genético de forma iterativa, para encontrar los 'mejores' valores de los parámetros de entrada del modelo NWP que acto seguido, serán utilizados en la siguiente etapa de predicción. Han sido desarrolladas diversas estrategias del Genetic Ensemble, como la extensión para calibrar más de un nivel de parámetros de entrada, y también para evaluar estos valores utilizando diferentes estrategias. Por otro lado, el esquema propuesto es paralelizado utilizando un paradigma Master/Worker, y es apto para ser ejecutado en plataformas de computación de altas prestaciones (HPC) gracias a las cuales el tiempo total de ejecución se reduce. Este esquema ha sido evaluado ejecutando experimentos de predicción meteorológica correspondientes a una catástrofe muy conocida, el huracán Katrina en 2005. Los resultados obtenidos mostraron una mejora en la calidad de la predicción meteorológica y una reducción significativa del tiempo de ejecución total.The main goal of the presented work is to tackle the problem of accuracy and waiting time in weather forecasting, which are normally conducted by computational applications known as Numerical Weather Prediction (NWP) models. These models have been strongly developed in the last decades and their performance constantly increases with the advances in computational power. However, in practice, many serious are still gaining considerable efforts by the scientific community in order to reduce what is widely known as 'weather limited predictability'. Mainly, the major two challenges are the willingness to get more reliable weather predictions, and to do it faster. As in many other areas of environmental modeling, most simulation software works with well-founded and widely accepted models. Hence, the need for input parameter optimization to improve model output is a long¬known and often-tackled problem. Particularly, in such environments where correct and timely input parameters cannot be provided. Efficient computational parameter estimation and optimization strategies are required to minimize the deviation between the predicted scenario and the real phenomenon behaviour. Based on the before mentioned, this thesis intends to: 1. Provide a sensitivity study of the effect of NWP model input parameters on prediction quality. 2. Propose a valid framework, which allows to search for the most 'optimal' values of model input parameters which, in our hypothesis, will provide better prediction quality. 3. Reduce the waiting time needed to get more reliable weather predictions. To accomplish the objectives of the presented proposal, a new weather prediction scheme is introduced. This new scheme implements an evolutionary computing algorithm, which focuses on the calibration of input parameters in NWP models. The presented scheme is called Genetic Ensemble, which is composed of two-phases: calibration phase and prediction phase. Through the calibration phase, the presented approach applies Genetic Algorithm operators iteratively, in order to find 'best' values of NWP model input parameters, which consequently, will be used in the consequent prediction phase. Many strategies of the Genetic Ensemble have been developed, as such, it s extended to calibrate more than one level of input parameters, and also to evaluate their values using different strategies. On the other hand, the proposed scheme is paralleled using a Master/Worker programming paradigm, and is suitable to be executed in high performance computing (HPC) platforms, by which, execution time is intended to be reduced. The presented scheme has been evaluated by running weather prediction experiments over a well-known weather catastrophe; Hurricane Katrina 2005. Obtained results showed both significant improvement in weather prediction quality, and a considerable reduction in the over all execution time

Genetic ensemble (G-Ensemble) : an evolutionary computing technique for numerical weather prediction enhancement /

El objetivo principal del presente trabajo es abordar el problema de precisión y tiempo de espera en la predicción meteorológica, la cual es habitualmente llevada a cabo por aplicaciones computaciones conocidas como modelos de predicción meteorológica numérica (Numerical Weather Prediction, NWP). Estos modelos han sido muy desarrollados en las últimas décadas y su rendimiento mejora constantemente con el aumento de la potencia de cómputo. Sin embargo, en la práctica, la comunidad científica aun esta dedicando considerables esfuerzos para reducir el problema ampliamente conocido como 'tiempo limitado de predicción' (weather limited predictability). Principalmente, los dos mayores retos son la voluntad de obtener predicciones meteorológicas más fiables y realizarlas más rápidamente. Como en muchas otras áreas de la modelización medioambiental, los modelos NWP, la mayoría de del software de simulación trabaja con modelos sólidos y ampliamente aceptados. Por lo tanto, la necesidad de optimización de los parámetros de entrada del simulador representa un problema conocido y tratado en numerosas ocasiones por la comunidad científica. En estos entornos en particular no se puede disponer de parámetros de entrada correctos a tiempo. Se requiere utilizar una estrategia de estimación y optimización computacionalmente eficiente para minimizar la desviación entre el escenario predicho y el comportamiento real del fenómeno. Basándose en lo mencionado previamente, esta tesis trata de: 1Proveer un estudio de sensibilidad del efecto de los parámetros de entrada del modelo NWP en la calidad de la predicción. 2Proponer un framework, el cual permita realizar búsquedas de los valores óptimos de los parámetros de entrada del modelo que, según nuestra hipótesis, proveerá una mejor calidad de predicción. 3Reducir el tiempo de espera necesitado para obtener predicciones meteorológicas más fiables. Para cumplir los objetivos de la propuesta presentada, se ha introducido un nuevo esquema de predicción meteorológica. Este nuevo esquema implementa un algoritmo de cómputo evolutivo, el cual se centra en la calibración de los parámetros de entrada del modelo NWP. El esquema presentado se denomina Genetic Ensemble, compuesto por dos etapas: etapa de calibración y etapa de predicción. Mediante la etapa de calibración, esta aproximación aplica un Algoritmo Genético de forma iterativa, para encontrar los 'mejores' valores de los parámetros de entrada del modelo NWP que acto seguido, serán utilizados en la siguiente etapa de predicción. Han sido desarrolladas diversas estrategias del Genetic Ensemble, como la extensión para calibrar más de un nivel de parámetros de entrada, y también para evaluar estos valores utilizando diferentes estrategias. Por otro lado, el esquema propuesto es paralelizado utilizando un paradigma Master/Worker, y es apto para ser ejecutado en plataformas de computación de altas prestaciones (HPC) gracias a las cuales el tiempo total de ejecución se reduce. Este esquema ha sido evaluado ejecutando experimentos de predicción meteorológica correspondientes a una catástrofe muy conocida, el huracán Katrina en 2005. Los resultados obtenidos mostraron una mejora en la calidad de la predicción meteorológica y una reducción significativa del tiempo de ejecución total.The main goal of the presented work is to tackle the problem of accuracy and waiting time in weather forecasting, which are normally conducted by computational applications known as Numerical Weather Prediction (NWP) models. These models have been strongly developed in the last decades and their performance constantly increases with the advances in computational power. However, in practice, many serious are still gaining considerable efforts by the scientific community in order to reduce what is widely known as 'weather limited predictability'. Mainly, the major two challenges are the willingness to get more reliable weather predictions, and to do it faster. As in many other areas of environmental modeling, most simulation software works with well-founded and widely accepted models. Hence, the need for input parameter optimization to improve model output is a long¬known and often-tackled problem. Particularly, in such environments where correct and timely input parameters cannot be provided. Efficient computational parameter estimation and optimization strategies are required to minimize the deviation between the predicted scenario and the real phenomenon behaviour. Based on the before mentioned, this thesis intends to: 1. Provide a sensitivity study of the effect of NWP model input parameters on prediction quality. 2. Propose a valid framework, which allows to search for the most 'optimal' values of model input parameters which, in our hypothesis, will provide better prediction quality. 3. Reduce the waiting time needed to get more reliable weather predictions. To accomplish the objectives of the presented proposal, a new weather prediction scheme is introduced. This new scheme implements an evolutionary computing algorithm, which focuses on the calibration of input parameters in NWP models. The presented scheme is called Genetic Ensemble, which is composed of two-phases: calibration phase and prediction phase. Through the calibration phase, the presented approach applies Genetic Algorithm operators iteratively, in order to find 'best' values of NWP model input parameters, which consequently, will be used in the consequent prediction phase. Many strategies of the Genetic Ensemble have been developed, as such, it s extended to calibrate more than one level of input parameters, and also to evaluate their values using different strategies. On the other hand, the proposed scheme is paralleled using a Master/Worker programming paradigm, and is suitable to be executed in high performance computing (HPC) platforms, by which, execution time is intended to be reduced. The presented scheme has been evaluated by running weather prediction experiments over a well-known weather catastrophe; Hurricane Katrina 2005. Obtained results showed both significant improvement in weather prediction quality, and a considerable reduction in the over all execution time