Técnicas de coscheduling y herramientas de monitorización para clusters no dedicados

En este trabajo presentamos el diseño e implementación de un cluster de PCs en un entorno PVM/Linux que ofrece un sistema dual computador paralelo - computador tradicional. Nuestro proyecto está centrado en el desarrollo del software necesario para la construcción de máquinas paralelas de bajo costo, que nos permitan, a partir de componentes comerciales, abordar problemáticas de cómputo paralelo sin afectar demasiado la ejecución de las aplicaciones que se están ejecutando de forma rutinaria en el sistema. Hemos implementado tanto técnicas de coscheduling explícito, implícito como dinámico, y analizado y comparado, tanto la eficiencia como el costo que suponen la implementación de los métodos comentados anteriormente mediante benchmarks standards. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Técnicas de coscheduling y herramientas de monitorización para clusters no dedicados

En este trabajo presentamos el diseño e implementación de un cluster de PCs en un entorno PVM/Linux que ofrece un sistema dual computador paralelo - computador tradicional. Nuestro proyecto está centrado en el desarrollo del software necesario para la construcción de máquinas paralelas de bajo costo, que nos permitan, a partir de componentes comerciales, abordar problemáticas de cómputo paralelo sin afectar demasiado la ejecución de las aplicaciones que se están ejecutando de forma rutinaria en el sistema. Hemos implementado tanto técnicas de coscheduling explícito, implícito como dinámico, y analizado y comparado, tanto la eficiencia como el costo que suponen la implementación de los métodos comentados anteriormente mediante benchmarks standards. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Técnicas de coscheduling y herramientas de monitorización para clusters no dedicados

En este trabajo presentamos el diseño e implementación de un cluster de PCs en un entorno PVM/Linux que ofrece un sistema dual computador paralelo - computador tradicional. Nuestro proyecto está centrado en el desarrollo del software necesario para la construcción de máquinas paralelas de bajo costo, que nos permitan, a partir de componentes comerciales, abordar problemáticas de cómputo paralelo sin afectar demasiado la ejecución de las aplicaciones que se están ejecutando de forma rutinaria en el sistema. Hemos implementado tanto técnicas de coscheduling explícito, implícito como dinámico, y analizado y comparado, tanto la eficiencia como el costo que suponen la implementación de los métodos comentados anteriormente mediante benchmarks standards. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

A self-mobile skeleton in the presence of external loads

Multicore clusters provide cost-effective platforms for running CPU-intensive and data-intensive parallel applications. To effectively utilise these platforms, sharing their resources is needed amongst the applications rather than dedicated environments. When such computational platforms are shared, user applications must compete at runtime for the same resource so the demand is irregular and hence the load is changeable and unpredictable. This thesis explores a mechanism to exploit shared multicore clusters taking into account the external load. This mechanism seeks to reduce runtime by finding the best computing locations to serve the running computations. We propose a generic algorithmic data-parallel skeleton which is aware of its computations and the load state of the computing environment. This skeleton is structured using the Master/Worker pattern where the master and workers are distributed on the nodes of the cluster. This skeleton divides the problem into computations where all these computations are initiated by the master and coordinated by the distributed workers. Moreover, the skeleton has built-in mobility to implicitly move the parallel computations between two workers. This mobility is data mobility controlled by the application, the skeleton. This skeleton is not problem-specific and therefore it is able to execute different kinds of problems. Our experiments suggest that this skeleton is able to efficiently compensate for unpredictable load variations. We also propose a performance cost model that estimates the continuation time of the running computations locally and remotely. This model also takes the network delay, data size and the load state as inputs to estimate the transfer time of the potential movement. Our experiments demonstrate that this model takes accurate decisions based on estimates in different load patterns to reduce the total execution time. This model is problem-independent because it considers the progress of all current computations. Moreover, this model is based on measurements so it is not dependent on the programming language. Furthermore, this model takes into account the load state of the nodes on which the computation run. This state includes the characteristics of the nodes and hence this model is architecture-independent. Because the scheduling has direct impact on system performance, we support the skeleton with a cost-informed scheduler that uses a hybrid scheduling policy to improve the dynamicity and adaptivity of the skeleton. This scheduler has agents distributed over the participating workers to keep the load information up to date, trigger the estimations, and facilitate the mobility operations. On runtime, the skeleton co-schedules its computations over computational resources without interfering with the native operating system scheduler. We demonstrate that using a hybrid approach the system makes mobility decisions which lead to improved performance and scalability over large number of computational resources. Our experiments suggest that the adaptivity of our skeleton in shared environment improves the performance and reduces resource contention on nodes that are heavily loaded. Therefore, this adaptivity allows other applications to acquire more resources. Finally, our experiments show that the load scheduler has a low incurred overhead, not exceeding 0.6%, compared to the total execution time