Sistemas Paralelos

El objetivo de esta línea es investigar en Sistemas Paralelos, esto es, la combinación de problemas de software asociados con la utilización de arquitecturas de procesamiento paralelo, especialmente sistemas multiprocesador distribuidos. Los temas fundamentales abarcan la especificación, transformación, optimización y verificación de algoritmos ejecutables en sistemas paralelos/distribuidos, la optimización de clases de soluciones en función de modelos de arquitectura multiprocesador, las métricas de complejidad y eficiencia relacionadas con el procesamiento paralelo, la influencia del balance de carga y la asignación de tareas a procesadores, la escalabilidad de los sistemas paralelos, así como simulación y diseño de arquitecturas VLSI orientadas a multiprocesamiento. Asimismo se ha iniciado el estudio de los modelos de predicción de performance en sistemas paralelos. Interesa la aplicación de las investigaciones en áreas como el procesamiento de datos numéricos en cómputo científico, el procesamiento de imágenes digitales y las bases de datos distribuidas. Para esto, se trabaja experimentalmente con distintos modelos de arquitectura disponibles o accesibles desde el III-LIDI.Eje: Sistemas distribuidos y tiempo realRed de Universidades con Carreras en Informática (RedUNCI

Investigación en sistemas paralelos

El objetivo de esta línea es investigar en Sistemas Paralelos, esto es, la combinación de problemas de software asociados con la utilización de arquitecturas de procesamiento paralelo, especialmente sistemas multiprocesador distribuidos (como clusters y multiclusters). Los temas fundamentales abarcan la especificación, transformación, optimización y verificación de algoritmos ejecutables en sistemas paralelos/distribuidos, la optimización de clases de soluciones en función de modelos de arquitectura multiprocesador, las métricas de complejidad y eficiencia relacionadas con el procesamiento paralelo, la influencia del balance de carga y la asignación de tareas a procesadores, la escalabilidad de los sistemas paralelos, los modelos de predicción de performance en sistemas paralelos, así como aspectos de simulación y diseño de arquitecturas VLSI orientadas a multiprocesamiento. Interesa la aplicación de las investigaciones en áreas con procesamiento masivo de datos tales como cómputo científico, procesamiento de imágenes digitales, bases de datos distribuidas, reconocimiento de patrones en secuencias y algoritmos no numéricos complejos. Para esto, se trabaja experimentalmente con distintos modelos de arquitectura disponibles o accesibles desde el III-LIDI y arquitecturas disponibles en distintas Universidades del país y el exterior con las cuales se tienen convenios de cooperación. El proyecto está financiado por la Universidad Nacional de La Plata, la Comisión de Investigaciones Científicas de la Provincia de Buenos Aires y la Agencia Nacional de Promoción Científica y Técnica.Eje: OtrosRed de Universidades con Carreras en Informática (RedUNCI

Investigación en sistemas paralelos

El objetivo de esta línea es investigar en Sistemas Paralelos, esto es, la combinación de problemas de software asociados con la utilización de arquitecturas de procesamiento paralelo, especialmente sistemas multiprocesador distribuidos (como clusters y multiclusters).\nLos temas fundamentales abarcan la especificación, transformación, optimización y verificación de algoritmos ejecutables en sistemas paralelos/distribuidos, la optimización de clases de soluciones en función de modelos de arquitectura multiprocesador, las métricas de complejidad y eficiencia relacionadas con el procesamiento paralelo, la influencia del balance de carga y la asignación de tareas a procesadores, la escalabilidad de los sistemas paralelos, los modelos de predicción de performance en sistemas paralelos, así como aspectos de simulación y diseño de arquitecturas VLSI orientadas a multiprocesamiento.\nInteresa la aplicación de las investigaciones en áreas con procesamiento masivo de datos tales como cómputo científico, procesamiento de imágenes digitales, bases de datos distribuidas, reconocimiento de patrones en secuencias y algoritmos no numéricos complejos. Para esto, se trabaja experimentalmente con distintos modelos de arquitectura disponibles o accesibles desde el III-LIDI y arquitecturas disponibles en distintas Universidades del país y el exterior con las cuales se tienen convenios de cooperación.\nEl proyecto está financiado por la Universidad Nacional de La Plata, la Comisión de Investigaciones Científicas de la Provincia de Buenos Aires y la Agencia Nacional de Promoción Científica y Técnica.Eje: Otro

Performance Prediction of Cloud-Based Big Data Applications

Big data analytics have become widespread as a means to extract knowledge from large datasets. Yet, the heterogeneity and irregular- ity usually associated with big data applications often overwhelm the existing software and hardware infrastructures. In such con- text, the exibility and elasticity provided by the cloud computing paradigm o er a natural approach to cost-e ectively adapting the allocated resources to the application’s current needs. However, these same characteristics impose extra challenges to predicting the performance of cloud-based big data applications, a key step to proper management and planning. This paper explores three modeling approaches for performance prediction of cloud-based big data applications. We evaluate two queuing-based analytical models and a novel fast ad hoc simulator in various scenarios based on di erent applications and infrastructure setups. The three ap- proaches are compared in terms of prediction accuracy, nding that our best approaches can predict average application execution times with 26% relative error in the very worst case and about 7% on average

MapReduce performance models for Hadoop 2.x

MapReduce is a popular programming model for distributed processing of large data sets. Apache Hadoop is one of the most common open-source implementations of such paradigm. Performance analysis of concurrent job executions has been recognized as a challenging problem, at the same time, that it may provide reasonably accurate job response time at significantly lower cost than experimental evaluation of real setups. In this paper, we tackle the challenge of defining MapReduce performance models for Hadoop 2.x. While there are several efficient approaches for modeling the performance of MapReduce workloads in Hadoop 1.x, the fundamental architectural changes of Hadoop 2.x require that the cost models are also reconsidered. The proposed solution is based on an existing performance model for Hadoop 1.x, but it takes into consideration the architectural changes of Hadoop 2.x and captures the execution flow of a MapReduce job by using queuing network model. This way the cost model adheres to the intra-job synchronization constraints that occur due the contention at shared resources. The accuracy of our solution is validated via comparison of our model estimates against measurements in a real Hadoop 2.x setup. According to our evaluation results, the proposed model produces estimates of average job response time with error within the range of 11% - 13.5%.Peer ReviewedPostprint (published version

The Analysis of Parallelism of Apache Storm

Big data processing is rapidly growing in recent years due to the immediate demanding of many applications. This growth compels industries to leverage scheduling in order to optimally allocate the resources to the big data streams which require data-driven big data analysis. Moreover, optimal scheduling of big data stream process should guarantee the QoS requirements of computing tasks. Execution time of tasks within the streams is specified as one of the most significant QoS factors. In this paper, I will introduce the currently widely used stream processing framework Storm, a distributed real-time computation platform, and study the scheduling and execution strategies of big data stream processes within it. First, a queueing theory approach to the modeling of the streams as a collection of sequential and parallel tasks is proposed. It is assumed that heterogeneous threads are required to handle various big data tasks such as processing, storing and searching which may have quite general service time distributions. Then, with the proposed model, an optimization problem is defined to minimize the total number of resources required to serve the big data streams while guarantying the QoS requirements of their tasks. An algorithm is also proposed to mitigate the complexity order of the optimization problem. The objective of this research is to minimize the stream processing resources in terms of threads with constraints over the task waiting time of the application tasks. I apply the proposed scheduling algorithm to Apache Storm to optimize the cloud resource requirements. The experiment results validate the analysis