Extending the usability of a dynamic tuning environment

Consultable des del TDXTítol obtingut de la portada digitalitzadaLa demanda de cómputo de altas prestaciones está en constante especialmente en el área científica ya que debe resolver problemas complejos. En general, el volumen de datos y las operaciones que deben realizarse sobre ellos requieren la utilización de sistemas muy potentes. Ello ha conducido a una mayor utilización del paradigma paralelo/distribuido. El proceso de optimización, denominado proceso de sintonización, es el proceso mediante el cual el comportamiento de la aplicación es adaptado y mejorado a travÎs de la modificación de sus parámetros críticos. El proceso de sintonización incluye varias fases. En primer lugar, durante una fase de monitorización se recoge información acerca del comportamiento de la aplicación. A continuación, dicha información es analizada para detectar problemas, deducir las causas y determinar soluciones. Finalmente, deben aplicarse los cambios necesarios en el código de la aplicación para resolver el problema y así mejorar su rendimiento. Afortunadamente, existen diferentes herramientas y aproximaciones para ayudar a los usuarios en las diferentes fases de optimización (monitorización, análisis o sintonización). Una de las herramientas disponibles es MATE (Monitoring, Analysis and Tuning Environment), un entorno para la sintonización dinámica y automática de aplicaciones paralelas. MATE, como su nombre indica, consiste en tres fases continuas e iterativas para adaptar el comportamiento de la aplicación de acuerdo al estado actual del ambiente de ejecución. El conocimiento que utiliza MATE para sintonizar los problemas de rendimiento es encapsulado en módulos de software denominados «tunlets». Cada tunlet provee la lógica necesaria para recolectar información de la ejecución de la aplicación, analizarla y decidir cuáles son las acciones de sintonización necesarias. El objetivo del presente trabajo es extender la usabilidad de MATE, cubriendo dos aspectos diferentes de MATE: - la mejora del rendimiento alcanzado por el análisis centralizado realizado por MATE, dado que representa un cuello de botella cuando la aplicación crece. En este trabajo presentamos una alternativa para lograr que MATE escale. - hacer de MATE una herramienta más amigable para facilitar la inclusión de conocimiento en MATE. De esta manera, se logra que MATE sea transparente. Respecto del primer aspecto, se propone una nueva aproximación para ejecutar el proceso de análisis, denominada Distributed-Hierarchical Collecting-Preprocessing Approach. Esta nueva aproximación se basa en la recolección distribuida de eventos lo que alivia la recolección centralizada realizada por MATE en su implementación original, así como también el preprocesamiento de las operaciones acumulativas o comparativas, siempre que sea posible. De esta manera, el Global Analyzer recibe de cada Collector-Preprocessor una estructura que condensa resumida sólo la información necesaria para la evaluación global de modelo de rendimiento, lo que reduce considerablemente la sobrecarga sufrida en la aproximación centralizada. De esta manera, MATE presenta propiedades de escalabilidad. Respecto del segundo aspecto, se propone una metodología, incluyendo un lenguaje y un traductor dise-ados y desarrollados ad hoc para insertar tunlets (conocimiento) en MATE de forma automática. Utilizando la metodología propuesta, el usuario no necesita entrar en detalles de implementación de MATE. Así, mediante la definición de un conjunto de abstracciones sobre la aplicación y sobre el modelo de rendimiento, las abstracciones pueden formalizarse en la especificación de un tunlet por medio del lenguaje propuesto. Tal especificación será automáticamente traducida en un tunlet listo para utilizarse en MATE. Escalabilidad y transparencia son dos cualidades necesarias en MATE para que sea una herramienta más útil y amigable para los usuarios. Las propuestas presentadas intentan proveer MATE con tales características. La experimentación, confirma la viabilidad de las propuestas.In the last years, computing performance demand has been in increase specially in the scientific field that has to solve complex problems. In general the data set size and the complexity of the operations over them require the use of very powerful systems. Thus, the increasing necessity for high performance systems/computing has been directing the attention of the scientific field towards the parallel/distributed paradigm. The optimization process, so-called tuning process, is the process followed in order to adapt and improve the behaviour of the applications by modifying their critical parameters. It includes several and successive phases. Firstly, during a monitoring phase the information about the behaviour of the application is captured. Next, the information is analyzed, by looking for bottlenecks, deducing their causes and trying to determine the adequate actions to eliminate them. Finally, appropriate changes have to be applied to the code to solve the problems and improve the performance. Fortunately, through the years different approaches and tools have been developed with the aim of helping the user during some of the optimization phases (monitoring, analysis or tuning phases). One of the available tools is MATE (Monitoring, Analysis and Tuning Environment), which is an automatic and dynamic tuning environment for parallel applications. MATE works in three continuous and iterative phases in order to adapt the deployment of the application according to the current state of the execution environment. MATE includes the knowledge to tune performance problems in pieces of software called ''tunlets'. Each tunlet includes the logic to collect behavioural information, analyze it on the fly and decide what the required tuning actions are. The objective of this work is to extend the usability of MATE. Our work covers two different aspects of MATE: - the improvement of the performance reached by the centralized analysis executed by MATE, due to it turns in a bottleneck as the size of the application increases. Thus, we provide an alternative to make MATE scalable. - the increase in the user-friendliness of MATE in order to facilitate the inclusion of new performance knowledge in it. Thus, we make MATE transparent for the users. According to the first aspect, we propose a novel approach to execute the analysis process, called Distributed-Hierarchical Collecting-Preprocessing Approach. This approach is based on the distributed collection of events which alleviates the centralized old-fashion in which collection was done, and in the preprocessing of cumulative or comparative operations as possible. Thus, the Global Analyzer receives just the necessary information condensed in a unique message from each Collector-Preprocessor, which considerably reduces the overload of Global Analyzer. In this way, MATE is provided with scalability properties. According to the second aspect, we provide a methodology, including a designed language and a developed translator to automatically insert tunlets (knowledge) in MATE. When some problem has to be tuned in a parallel application the user has to develop the corresponding tunlet. By using our methodology, the user is exempted from being involved in implementation details of MATE. Thus, by defining a set of abstractions about the application and the performance model, such abstractions can be formalized in a tunlet specification using the provided language. Such specification will be automatically translated in a tunlet ready to be used in MATE. Both scalability and transparency of MATE are qualities necessary to make MATE a more useful and user-friendly tool. The proposals and developments presented attempt to provide MATE with such characteristics. Experiments showed the viability of the proposals

A methodology for transparent knowledge specification in a dynamic tuning environment

The increasing use of parallel/distributed applications demands a continuous support to take significant advantages from parallel power. This includes the evolution of performance analysis and tuning tools which automatically allows for obtaining a better behavior of the applications. Different approaches and tools have been proposed and they are continuously evolving to cover the requirements and expectations of users. One such tool is MATE (Monitoring Analysis and Tuning Environment), which provides automatic and dynamic tuning for parallel/distributed applications. The knowledge used by MATE to analyze and take decisions is based on performance models which include a set of performance parameters and a set of mathematical expressions modeling the solution of the performance problem. These elements are used by the tuning environment to conduct the monitoring and analysis steps, respectively. The tuning phase depends on the results of the performance analysis. This paper presents a methodology to specify performance models. Each performance model specification can be automatically and transparently translated into a piece of software code encapsulating the knowledge to be straightforwardly included in MATE. Applying this methodology, the user does not have to be involved in the implementation details of MATE, which makes the usage of the tool more transparent.Fil: Caymes Scutari, Paola Guadalupe. Universidad Tecnológica Nacional. Facultad Regional de Mendoza; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Mendoza; ArgentinaFil: Morajko, A.. Universitat Autònoma de Barcelona; EspañaFil: Margalef, T.. Universitat Autònoma de Barcelona; EspañaFil: Luque, E.. Universitat Autònoma de Barcelona; Españ

Método Híbrido paralelo de reducción de incertidumbre aplicado a la predicción del comportamiento de incendios forestales

Año a año, los incendios forestales consumen aproximadamente dos millones de hectáreas de forestación alrededor del mundo, causando enormes pérdidas y daños. Con el objetivo de reducir los efectos provocados por éstos, continuamente se desarrollan estrategias y herramientas para la prevención, monitoreo y/o predicción de incendios. Los sistemas de predicción suelen verse afectados por la incertidumbre presente en los parámetros de entrada del modelo de comportamiento de fuego. Ante esta problemática, los métodos de reducción de incertidumbre permiten contrarrestar dichos efectos mejorando la calidad de predicción por medio de diferentes técnicas y estrategias. El Sistema Estadístico Evolutivo con Modelo de Islas (ESS-IM) es un método general de reducción de incertidumbre que ha sido aplicado satisfactoriamente en la predicción del comportamiento de incendios forestales. ESS-IM utiliza Computación de Alto Rendimiento, Análisis Estadístico y Algoritmos Evolutivos Paralelos como metaheurística interna. En este trabajo se presenta una nueva arquitectura de ESS-IM donde se utilizan múltiples metaheurísticas operando en paralelo, bajo un esquema híbrido de paralelismo basado en los paradigmas "master-worker" y "modelo de islas". La nueva arquitectura es validada mediante la aplicación del método a un conjunto de quemas reales controladas, evaluando tanto calidad de predicción como rendimiento.Fil: Méndez, Miguel Ángel. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Bianchini, German. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; ArgentinaFil: Caymes Scutari, Paola Guadalupe. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Tardivo, María Laura. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; Argentina. Universidad Nacional de Río Cuarto. Facultad de Ciencias Exactas Fisicoquímicas y Naturales. Departamento de Computación; Argentin

Reducción de incertidumbre con Evolución Diferencial en la predicción de incendios forestales: Sintonización y Análisis de Parámetros

El modelado de cualquier fenómeno natural representa un gran desafíodesde el punto devista matemático y computacional. Pronosticar el comportamiento de losincendios forestales no es la excepción. Los modelos de predicción deincendios forestales generalmente son alimentados por parámetros deentrada que representan el estado del terreno en el instante previo a lapredicción, así como también las condiciones de las variables queintervienen en el desarrollo del incendio (velocidad y dirección delviento, humedad del terreno, tipo de vegetación). Sin embargo, para lograrcierto grado de precisión al momento de la predicción se hace necesariocontar con el valor real de cada parámetrode entrada. La falta de exactitud o incertidumbre sobre el valor de losparámetros de entrada es un problema crucial que puede producir gravesconsecuencias si la salida del modelo proporciona predicciones erróneas.Los métodos de reducción de incertidumbre permiten mejorar la calidad depredicción contrarrestando los efectos negativos que produce laimposibilidad de cuantificar los valores de los parámetros en tiempo real.Tal es el caso del método ESSIM-DE (Evolutionary Statistical System withIsland Model and Differential Evolution), el cual ha sido aplicado alproblema de predicción del comportamiento de incendios forestales.ESSIM-DE utiliza análisis estadístico, cómputo paralelo/distribuido y lametaheurística Evolución Diferencial como estrategia para la búsqueda denuevas soluciones. En el uso de toda metaheurística, es importanterealizar una correcta elección de los parámetros de entrada propios de lametaheurística, ya que de ellos depende el comportamiento de laestrategia, y en consecuencia también condiciona la calidad de lapredicción. En este trabajo se desarrolla un análisis de sintonizaciónestática de los parámetros evolutivos de ESSIMDE a fin de encontrar mejorcalidad de predicción.Fil: Tardivo, María Laura. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad Nacional de Río Cuarto. Facultad de Ciencias Exactas Fisicoquímicas y Naturales. Departamento de Computación; Argentina. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; ArgentinaFil: Caymes Scutari, Paola Guadalupe. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; ArgentinaFil: Bianchini, German. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; ArgentinaFil: Mendez Garabetti, Miguel. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; Argentin

Un módulo de desambiguación morfosintáctica para el castellano basado en conocimiento lingüístico

En el presente artículo describimos una herramienta informática de desambiguación morfológica para el español, diseñada para ser integrada en un sistema de corrección gramatical avanzada para el castellano y el catalán basado en la combinación de dos tipos de herramientas, a saber: a) Un analizador morfosintáctico de bajo nivel y b) Un analizador sintáctico/semántico de alto nivel. Actualmente, el proyecto se halla en la fase de desarrollo de las herramientas de bajo nivel que, a medio plazo, deberían ser la base de un módulo de corrección gramatical capaz de capturar errores simples en texto irrestricto. El archivo de reglas contiene 743 reglas sobre ambigüedad morfológica, que en el corpus de desarrollo se aplican un total de 130.751 veces. El corpus de desarrollo recién etiquetado presenta un grado de ambigüedad del 4'78%, incluyendo aquí cualquier tipo de ambigüedad, tanto de categorías mayores, como de categorías menores. Después del proceso, el grado de ambigüedad se reduce a un 13'86%.In this paper we describe a computational tool for morphological disambiguation for the Spanish language, designed to be eventually part of a larger gramar checking system for both Spanish and Catalan. This system is based on two different types of tools, namely, a) a low-level morphological parser, and b) a high-level syntactic-semantic parser. At present, we are developing all low-level tools, which, in the mid term, should constitute the basis for a grammar-checking module capable of capturing simple errors in unrestricted text. The rule file contains some 743 rules for morphological ambiguity, which are applied 130.751 times over our development corpus. This corpus, once performed the morphological tagging, has a degree of ambiguity of 64'78% including both major and minor category ambiguities. After going through the disambiguation process, remaining ambiguities in the corpus amount to just a 13'86%

Método estadístico-evolutivo para la reducción de incertidumbre en procesos de predicción

Existen diversos factores que dificultan y limitan el modelado y la implementación de fenómenos ambientales, y que impactan en la calidad de la predicción arrojada por la evaluación del modelo en función de los parámetros de entrada. Por su parte, existen diferentes métodos para la reducción de incertidumbre, los cuales permiten reducir los efectos negativos provocados por los aspectos no representables o cuantificables ya sea matemática o computacionalmente. En este trabajo se describe un método de reducción de incertidumbre basado en la estadística, la computación evolutiva y el paralelismo, denominado Evolutionary-Statistical System o ESS. El método es iterativo y dirigido por datos con solución múltiple solapada. Su potencia se basa en aumentar la predicción realizada por el modelo implementado en el simulador con la orientación de la búsqueda y la calibración de los resultados.Fil: Bianchini, Germán. Universidad Tecnologica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Informacion. Laboratorio de Investigacion en Computo Paralelo/Distribuido; Argentina; ArgentinaFil: Caymes Scutari, Paola Guadalupe. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad Tecnologica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Informacion. Laboratorio de Investigacion en Computo Paralelo/Distribuido; Argentina; Argentin

Tuned Forest Fire Prediction: Static Calibration of the Evolutionary Component of ESS

Los incendios forestales representan un factor de alto riesgo con fuerte impacto a nivel ecológico-ambiental como socio-económico, por lo que resulta importante su estudio y modelado. No obstante, tales modelos suelen presentar un cierto nivel de incertidumbre en los parámetros a raíz de la dificultad de medirlos en tiempo real, por lo que suelen ser estimados. Ello ha originado el desarrollo de diversos métodos de reducción de incertidumbre, cuyo compromiso entre precisión y complejidad puede variar notablemente. El sistema ESS (Evolutionary-Statistical System) es un método orientado a la reducción de incertidumbre que aplica Análisis Estadístico, Computación de Alto Rendimiento (HPC) y Algoritmos Evolutivos Paralelos (AEP). Estos últimos involucran en su funcionamiento diversos parámetros que requieren ajuste, y que determinan la calidad de su utilización. Dicho ajuste resulta una tarea crucial para el buen desempeño de los mismos. En este trabajo se ha realizado un estudio empírico del ajuste estático de los parámetros de sintonización para evaluar la efectividad de las distintas configuraciones y el impacto sobre la aplicación de Incendios Forestales.Forest fires are a major risk factor with strong impact at eco-environmental and socio-economical levels, reasons why their study and modeling are very important. However, the models frequently have a certain level of uncertainty in some input parameters given that they must be approximated or estimated, as a consequence of diverse difficulties to accurately measure the conditions of the phenomenon in real time. This has resulted in the development of several methods for the uncertainty reduction, whose trade-off between accuracy and complexity can vary significantly. The system ESS (Evolutionary-Statistical System) is a method whose aim is to reduce the uncertainty, by combining Statistical Analysis, High Performance Computing (HPC) and Parallel Evolutionary Algorithms (PEAs). The PEAs use several parameters that require adjustment and that determine the quality of their use. The calibration of the parameters is a crucial task for reaching a good performance and to improve the system output. This paper presents an empirical study of the parameters tuning to evaluate the effectiveness of different configurations and the impact of their use in the Forest Fires prediction.Fil: Bianchini, German. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Mendoza; ArgentinaFil: Caymes Scutari, Paola Guadalupe. Universidad Tecnológica Nacional. Facultad Regional Mendoza. Departamento de Sistemas de Información. Laboratorio de Investigación en Cómputo Paralelo/Distribuido; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Mendoza; Argentin

Evolutionary-Statistical System: A parallel method for improving forest fire spread prediction

Fighting fires is a very risky job, where loss of life is a real possibility. Proper training is essential. Several firemen academies offer courses and programs whose goal is to enhance the ability of fire and emergency services to deal more effectively with fire. Among the tools that can be found in the training process are fire simulators, which are used both for training and for the prediction of forest fires. In many cases, the used simulators are based on models that present a series of limitations related to the need for a large number of input parameters. Moreover, such parameters often have some degree of uncertainty due to the impossibility of measuring all of them in real time. Therefore, they have to be estimated from indirect measurements, which negatively impacts on the output of the model. In this paper we present a method which combines Statistical Analysis with Parallel Evolutionary Algorithms to improve the quality of the model output.Fil: Bianchini, German. Instituto Nacional de Tecnología Agropecuaria. Centro Regional Mendoza-San Juan; ArgentinaFil: Caymes Scutari, Paola Guadalupe. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Instituto Nacional de Tecnología Agropecuaria. Centro Regional Mendoza-San Juan; ArgentinaFil: Méndez, Miguel Ángel. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Instituto Nacional de Tecnología Agropecuaria. Centro Regional Mendoza-San Juan; Argentin

Sintonización de un Método de Reducción de Incertidumbre: un proceso de medición-mejora para incrementar la eficiencia

La reducción de incertidumbre constituye un proceso complejo orientado a contrarrestar o paliar los efectos negativos que ocasiona la imprecisión en los datos de entrada de un programa o en los cálculos que se realiza con ellos. ESS (Evolutionary Statistical System) constituye un método de reducción de incertidumbre en el proceso de predicción de fenómenos de propagación, y su funcionamiento tiene tres pilares como fundamento: un algoritmo evolutivo para guiar la búsqueda, la estadística para determinar la tendencia, y el paralelismo para potenciar la cantidad de procesamiento computacional que debe realizarse. Si bien ESS obtiene predicciones suficientemente acertadas, en este proyecto se propone incorporarle capacidades para la sintonización dinámica y automática. Ello significa que debe desarrollarse un modelo de medición-mejora, con la finalidad de detectar las situaciones de sobrecarga computacional que se susciten durante la ejecución, para ajustar y/o adecuar el comportamiento dinámico de la aplicación y así lograr una ejecución globalmente más eficiente y precisa.Fil: Caymes Scutari, Paola Guadalupe. Universidad Tecnológica Nacional; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Mendoza; ArgentinaFil: Bianchini, German. Universidad Tecnológica Nacional; ArgentinaFil: Mendez Garabetti, Miguel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Mendoza; Argentina. Universidad Tecnológica Nacional; ArgentinaXXIII WICC (Workshop de Investigadores en Ciencias de la Computación)ChilecitoArgentinaUniversidad Nacional de ChilecitoRed de Universidades con Carreras de Informátic

Detección anticipada de convergencia y estancamiento para la mejora en el rendimiento de aplicaciones basadas en Computación Evolutiva Poblacional

Existen diversas metaheurísticas de propósito general, utilizadas en distintas áreas de la ciencia y la ingeniería. En particular, una de las aplicaciones que poseen algunas metaheurísticas basadas en algoritmos evolutivos poblacionales, es la orientación de búsqueda en procesos de predicción de fenómenos naturales, como pueden ser los incendios forestales. Este tipo de algoritmos considera una muestra del espacio de búsqueda denominada población, que mediante diferentes operadores es transformada sucesivamente hasta converger en una solución aceptable. En ocasiones, las características del problema dificultan la convergencia hacia el óptimo, y el algoritmo sufre de estancamiento o convergencia prematura, dos situaciones indeseadas que suele ser complejo superar. En este trabajo, proponemos un modelo para la detección anticipada de convergencia prematura y estancamiento que pueda utilizarse como motor de conocimiento durante el proceso de sintonización de las aplicaciones. El proceso de Sintonización es el que precisamente permite adaptar el comportamiento de la aplicación, para alcanzar una ejecución más eficiente, sea en términos de calidad de resultados, de tiempo de ejecución, y/o de utilización de recursos.Fil: Caymes Scutari, Paola Guadalupe. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Mendoza; Argentina. Universidad Tecnológica Nacional; ArgentinaFil: Bianchini, German. Universidad Tecnológica Nacional; ArgentinaFil: Tardivo, María Laura. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad Nacional de Río Cuarto; ArgentinaCongreso de Investigaciones y Desarrollos en Tecnología y CienciaVilla MaríaArgentinaUniversidad Tecnológica Naciona