Coscheduling techniques and monitoring tools for non-dedicated cluster computing

Our efforts are directed towards the understanding of the coscheduling mechanism in a NOW system when a parallel job is executed jointly with local workloads, balancing parallel perfor-mance against the local interactive response. Explicit and implicit coscheduling techniques in a PVM-Linux NOW (or cluster) have been implemented. Furthermore, dynamic coscheduling remains an open question when parallel jobs are executed in a non-dedicated Cluster. A basis model for dynamic coscheduling in Cluster systems is presented in this paper. Also, one dynamic coscheduling algorithm for this model is proposed. The applicability of this algorithm has been proved and its performance ana-lyzed by simulation. Finally, a new tool (named Monito) for monitoring the different queues of messages in such an environments is presented. The main aim of implementing this facility is to provide a mean of capturing the bottlenecks and overheads of the communication system in a PVM-Linux cluster.Facultad de Informátic

Applying backfilling over a non-dedicated cluster

The resource utilization level in open laboratories of several universities has been shown to be very low. Our aim is to take advantage of those idle resources for parallel computation without disturbing the local load. In order to provide a system that lets us execute parallel applications in such a non-dedicated cluster, we use an integral scheduling system that considers both Space and Time sharing concerns. For dealing with the Time Sharing (TS) aspect, we use a technique based on the communication-driven coscheduling principle. This kind of TS system has some implications on the Space Sharing (SS) system, that force us to modify the way job scheduling is traditionally done. In this paper, we analyze the relation between the TS and the SS systems in a non-dedicated cluster. As a consequence of this analysis, we propose a new technique, termed 3DBackfilling. This proposal implements the well known SS technique of backfilling, but applied to an environment with a MultiProgramming Level (MPL) of the parallel applications that is greater than one. Besides, 3DBackfilling considers the requirements of the local workload running on each node. Our proposal was evaluated in a PVM/MPI Linux cluster, and it was compared with several more traditional SS policies applied to non-dedicated environmentsVI Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Técnicas de coscheduling y herramientas de monitorización para clusters no dedicados

En este trabajo presentamos el diseño e implementación de un cluster de PCs en un entorno PVM/Linux que ofrece un sistema dual computador paralelo - computador tradicional. Nuestro proyecto está centrado en el desarrollo del software necesario para la construcción de máquinas paralelas de bajo costo, que nos permitan, a partir de componentes comerciales, abordar problemáticas de cómputo paralelo sin afectar demasiado la ejecución de las aplicaciones que se están ejecutando de forma rutinaria en el sistema. Hemos implementado tanto técnicas de coscheduling explícito, implícito como dinámico, y analizado y comparado, tanto la eficiencia como el costo que suponen la implementación de los métodos comentados anteriormente mediante benchmarks standards. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Técnicas de coscheduling y herramientas de monitorización para clusters no dedicados

En este trabajo presentamos el diseño e implementación de un cluster de PCs en un entorno PVM/Linux que ofrece un sistema dual computador paralelo - computador tradicional. Nuestro proyecto está centrado en el desarrollo del software necesario para la construcción de máquinas paralelas de bajo costo, que nos permitan, a partir de componentes comerciales, abordar problemáticas de cómputo paralelo sin afectar demasiado la ejecución de las aplicaciones que se están ejecutando de forma rutinaria en el sistema. Hemos implementado tanto técnicas de coscheduling explícito, implícito como dinámico, y analizado y comparado, tanto la eficiencia como el costo que suponen la implementación de los métodos comentados anteriormente mediante benchmarks standards. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Técnicas de coscheduling y herramientas de monitorización para clusters no dedicados

En este trabajo presentamos el diseño e implementación de un cluster de PCs en un entorno PVM/Linux que ofrece un sistema dual computador paralelo - computador tradicional. Nuestro proyecto está centrado en el desarrollo del software necesario para la construcción de máquinas paralelas de bajo costo, que nos permitan, a partir de componentes comerciales, abordar problemáticas de cómputo paralelo sin afectar demasiado la ejecución de las aplicaciones que se están ejecutando de forma rutinaria en el sistema. Hemos implementado tanto técnicas de coscheduling explícito, implícito como dinámico, y analizado y comparado, tanto la eficiencia como el costo que suponen la implementación de los métodos comentados anteriormente mediante benchmarks standards. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Coscheduling techniques and monitoring tools for non-dedicated cluster computing

Our efforts are directed towards the understanding of the coscheduling mechanism in a NOW system when a parallel job is executed jointly with local workloads, balancing parallel perfor-mance against the local interactive response. Explicit and implicit coscheduling techniques in a PVM-Linux NOW (or cluster) have been implemented. Furthermore, dynamic coscheduling remains an open question when parallel jobs are executed in a non-dedicated Cluster. A basis model for dynamic coscheduling in Cluster systems is presented in this paper. Also, one dynamic coscheduling algorithm for this model is proposed. The applicability of this algorithm has been proved and its performance ana-lyzed by simulation. Finally, a new tool (named Monito) for monitoring the different queues of messages in such an environments is presented. The main aim of implementing this facility is to provide a mean of capturing the bottlenecks and overheads of the communication system in a PVM-Linux cluster.Facultad de Informátic

Scheduling paralelo orientado a cluster de ordenadores no dedicados

La demanda actual de grandes capacidades de cómputo ha comportado un importante progreso de los sistemas paralelos. Asimismo, diferentes estudios constatan la baja utilización de los recursos de cómputo disponibles en una red de ordenadores. Considerando ambas situaciones, la comunidad científica ha trabajado en el desarrollo de entornos que permitan el uso de estas redes de ordenadores, también denominadas clusters, con una doble funcionalidad: ejecutar aplicaciones paralelas aprovechando los recursos ociosos presentes a lo largo del cluster, sin perturbar el rendimiento de las aplicaciones ejecutadas por los usuarios locales. Este trabajo presenta un entorno, denominado CISNE, enmarcado en esta línea de trabajo. CISNE incide tanto en la planificación espacial como temporal de las aplicaciones distribuidas, garantizando, al mismo tiempo, que el usuario local presente en cada uno de los nodos que constituyen el cluster, no perciba una ralentización en el rendimiento de sus aplicaciones. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.Eje: IV - Workshop de procesamiento distribuido y paraleloRed de Universidades con Carreras en Informática (RedUNCI

Applying backfilling over a non-dedicated cluster

The resource utilization level in open laboratories of several universities has been shown to be very low. Our aim is to take advantage of those idle resources for parallel computation without disturbing the local load. In order to provide a system that lets us execute parallel applications in such a non-dedicated cluster, we use an integral scheduling system that considers both Space and Time sharing concerns. For dealing with the Time Sharing (TS) aspect, we use a technique based on the communication-driven coscheduling principle. This kind of TS system has some implications on the Space Sharing (SS) system, that force us to modify the way job scheduling is traditionally done. In this paper, we analyze the relation between the TS and the SS systems in a non-dedicated cluster. As a consequence of this analysis, we propose a new technique, termed 3DBackfilling. This proposal implements the well known SS technique of backfilling, but applied to an environment with a MultiProgramming Level (MPL) of the parallel applications that is greater than one. Besides, 3DBackfilling considers the requirements of the local workload running on each node. Our proposal was evaluated in a PVM/MPI Linux cluster, and it was compared with several more traditional SS policies applied to non-dedicated environmentsVI Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Scheduling paralelo orientado a cluster de ordenadores no dedicados

La demanda actual de grandes capacidades de cómputo ha comportado un importante progreso de los sistemas paralelos. Asimismo, diferentes estudios constatan la baja utilización de los recursos de cómputo disponibles en una red de ordenadores. Considerando ambas situaciones, la comunidad científica ha trabajado en el desarrollo de entornos que permitan el uso de estas redes de ordenadores, también denominadas clusters, con una doble funcionalidad: ejecutar aplicaciones paralelas aprovechando los recursos ociosos presentes a lo largo del cluster, sin perturbar el rendimiento de las aplicaciones ejecutadas por los usuarios locales. Este trabajo presenta un entorno, denominado CISNE, enmarcado en esta línea de trabajo. CISNE incide tanto en la planificación espacial como temporal de las aplicaciones distribuidas, garantizando, al mismo tiempo, que el usuario local presente en cada uno de los nodos que constituyen el cluster, no perciba una ralentización en el rendimiento de sus aplicaciones. Los resultados obtenidos, medidos con herramientas que han sido desarrolladas a tal efecto, muestran la viabilidad de nuestras propuestas.Eje: IV - Workshop de procesamiento distribuido y paraleloRed de Universidades con Carreras en Informática (RedUNCI

What to consider for applying backfilling on non-dedicated environments

The resource utilization level in open laboratories of several universities has been shown to be very low. Our aim is to take advantage of those idle resources for parallel computation without disturbing the local load. In order to provide a system that lets us execute parallel applications in such a non-dedicated cluster, we use an integral scheduling system that considers both Space and Time sharing concerns. For dealing with the Time Sharing (TS) aspect, we use a technique based on the communicationdriven coscheduling principle. This kind of TS system has some implications on the Space Sharing (SS) system, that force us to modify the way job scheduling is traditionally done. In this paper, we analyze the relation between the TS and the SS systems in a non-dedicated cluster. As a consequence of this analysis, we propose a new technique, termed 3DBackfilling. This proposal implements the well known SS technique of backfilling, but applied to an environment with a MultiProgramming Level (MPL) of the parallel applications that is greater than one. Besides, 3DBackfilling considers the requirements of the local workload running on each node. Our proposal was evaluated in a PVM/MPI Linux cluster, and it was compared with several more traditional SS policies applied to non-dedicated environments.Facultad de Informátic