Políticas de "scheduling" estático para sistemas multiprocesador

Consultable des del TDXTítol obtingut de la portada digitalitzad

Job scheduling considering best-effort and soft real-time applications on non-dedicated clusters

As Network Of Workstations (NOWs) emerge as a viable platform for a wide range of workloads, new scheduling approaches are needed to allocate the collection of resources from competing applications. New workload types introduce high uncertainty into the predictability of the system, hindering the applicability of the job scheduling strategies. A new kind of parallel applications has appeared in business or scientific domains, namely Soft Real-Time (SRT). They, together with new SRT desktop applications, turn prediction into a more difficult goal by adding inherent complexity to estimation procedures. In previous work, we introduced an estimation engine into our job scheduling system, termed CISNE. In this work, the estimation engine is extended, by adding two new kernels, both SRT aware. Experimental results confirm the better performance of simulated respect to the analytical kernels and show a maximum average prediction error deviation of 20%.Mientras las Redes de Estaciones de Trabajo (NOWs) emergen como una plataforma viable para un amplio espectro de aplicaciones, son necesarios nuevos enfoques para planificar los recursos disponibles entre las aplicaciones que compiten por ellos. Los nuevos tipos de cargas introducen una alta incertidumbre en la predictibilidad del sistema, afectando la aplicabilidad de las estrategias de planificación de tareas. Un nuevo tipo de aplicaciones paralelas, denominado tiempo real débil (SRT), ha aparecido tanto en los ámbitos comerciales como científicos. Las nuevas aplicaciones paralelas SRT, conjuntamente con los nuevos tipos de aplicaciones SRT de escritorio, convierten la predicción en una meta aún más difícil, al agregar complejidad a los procedimientos de estimación. En trabajos anteriores dotamos al sistema CISNE de un motor de estimación. En este trabajo añadimos al sistema de predicción fuera de línea dos nuevos núcleos de estimación con capacidad SRT. Los resultados experimentales muestran un mejor rendimiento del núcleo simulado con respecto a su homólogo analítico, mostrando un promedio de desviación máximo del 20%.VIII Workshop de Procesamiento Distribuido y ParaleloRed de Universidades con Carreras en Informática (RedUNCI

Control evaluation in a LVoD system based on a peer-to-peer multicast scheme

Providing Quality of Service (QoS) in video on demand systems (VoD) is a challenging problem. In this paper, we analyse the fault tolerance on a P2P multicast delivery scheme, called Patch Collaboration Manager / Multicast Channel Distributed Branching (PCM/MCDB) [13]. This scheme decentralizes the delivery process between clients and scales the VoD server performance. PCM/MCDB synchronizes a group of clients in order to create local network channels to replace on-going multicast channels from the VoD server. Using the P2P paradigm supposes facing the challenge of how often peers connect and disconnect from the system. To address this problem, a centralized mechanism is able to replace the failed client. We evaluate the failure management process of the centralized scheme in terms of the overhead injected into the network and analyse the applicability of a distributed approach to managing the process. Analytical models are developed for centralized and distributed approaches. Their behaviour are compared in order to evaluate whether the distributed scheme can improve the fault management process, in terms of reducing server load and generating better scalability.Proporcionar Calidad de Servicio (QoS) en sistemas de Vídeo bajo Demanda (VoD) es un problema desafiador. En este artículo, analizamos la tolerancia a fallos en un esquema de envío de informaciones, basado en comunicaciones multicast y colaboraciones P2P, denominado PCM/MCDB [13]. El esquema descentraliza el proceso de envío de información entre los clientes y escala las prestaciones del servidor de VoD. PCM/MCDB sincroniza un grupo de clientes con objeto de crear canales de redes locales para reemplazar canales multicast en curso del servidor. La aplicación del paradigma P2P supone cómo afrontar el problema de la conexión y desconexión de clientes del sistema. Para resolver este problema, un mecanismo centralizado es capaz de reemplazar el cliente fallido. En el trabajo evaluamos el proceso de gestión de fallos del esquema centralizado en términos del flujo de informaciones insertado en la red y analizamos la aplicabilidad de un esquema distribuido para el proceso de gestión. Modelos analíticos son desarrollados para las aproximaciones centralizada y distribuida. Sus comportamientos son comparados con objeto de evaluar si un esquema distribuido puede mejorar el proceso de gestión de fallos desde el punto de vista de reducir la carga del servidor y proporcionar mejor escalabilidad.VIII Workshop de Procesamiento Distribuido y ParaleloRed de Universidades con Carreras en Informática (RedUNCI

Control evaluation in a LVoD system based on a peer-to-peer multicast scheme

Providing Quality of Service (QoS) in video on demand systems (VoD) is a challenging problem. In this paper, we analyse the fault tolerance on a P2P multicast delivery scheme, called Patch Collaboration Manager / Multicast Channel Distributed Branching (PCM/MCDB) [13]. This scheme decentralizes the delivery process between clients and scales the VoD server performance. PCM/MCDB synchronizes a group of clients in order to create local network channels to replace on-going multicast channels from the VoD server. Using the P2P paradigm supposes facing the challenge of how often peers connect and disconnect from the system. To address this problem, a centralized mechanism is able to replace the failed client. We evaluate the failure management process of the centralized scheme in terms of the overhead injected into the network and analyse the applicability of a distributed approach to managing the process. Analytical models are developed for centralized and distributed approaches. Their behaviour are compared in order to evaluate whether the distributed scheme can improve the fault management process, in terms of reducing server load and generating better scalability.Proporcionar Calidad de Servicio (QoS) en sistemas de Vídeo bajo Demanda (VoD) es un problema desafiador. En este artículo, analizamos la tolerancia a fallos en un esquema de envío de informaciones, basado en comunicaciones multicast y colaboraciones P2P, denominado PCM/MCDB [13]. El esquema descentraliza el proceso de envío de información entre los clientes y escala las prestaciones del servidor de VoD. PCM/MCDB sincroniza un grupo de clientes con objeto de crear canales de redes locales para reemplazar canales multicast en curso del servidor. La aplicación del paradigma P2P supone cómo afrontar el problema de la conexión y desconexión de clientes del sistema. Para resolver este problema, un mecanismo centralizado es capaz de reemplazar el cliente fallido. En el trabajo evaluamos el proceso de gestión de fallos del esquema centralizado en términos del flujo de informaciones insertado en la red y analizamos la aplicabilidad de un esquema distribuido para el proceso de gestión. Modelos analíticos son desarrollados para las aproximaciones centralizada y distribuida. Sus comportamientos son comparados con objeto de evaluar si un esquema distribuido puede mejorar el proceso de gestión de fallos desde el punto de vista de reducir la carga del servidor y proporcionar mejor escalabilidad.VIII Workshop de Procesamiento Distribuido y ParaleloRed de Universidades con Carreras en Informática (RedUNCI

Job scheduling considering best-effort and soft real-time applications on non-dedicated clusters

As Network Of Workstations (NOWs) emerge as a viable platform for a wide range of workloads, new scheduling approaches are needed to allocate the collection of resources from competing applications. New workload types introduce high uncertainty into the predictability of the system, hindering the applicability of the job scheduling strategies. A new kind of parallel applications has appeared in business or scientific domains, namely Soft Real-Time (SRT). They, together with new SRT desktop applications, turn prediction into a more difficult goal by adding inherent complexity to estimation procedures. In previous work, we introduced an estimation engine into our job scheduling system, termed CISNE. In this work, the estimation engine is extended, by adding two new kernels, both SRT aware. Experimental results confirm the better performance of simulated respect to the analytical kernels and show a maximum average prediction error deviation of 20%.Mientras las Redes de Estaciones de Trabajo (NOWs) emergen como una plataforma viable para un amplio espectro de aplicaciones, son necesarios nuevos enfoques para planificar los recursos disponibles entre las aplicaciones que compiten por ellos. Los nuevos tipos de cargas introducen una alta incertidumbre en la predictibilidad del sistema, afectando la aplicabilidad de las estrategias de planificación de tareas. Un nuevo tipo de aplicaciones paralelas, denominado tiempo real débil (SRT), ha aparecido tanto en los ámbitos comerciales como científicos. Las nuevas aplicaciones paralelas SRT, conjuntamente con los nuevos tipos de aplicaciones SRT de escritorio, convierten la predicción en una meta aún más difícil, al agregar complejidad a los procedimientos de estimación. En trabajos anteriores dotamos al sistema CISNE de un motor de estimación. En este trabajo añadimos al sistema de predicción fuera de línea dos nuevos núcleos de estimación con capacidad SRT. Los resultados experimentales muestran un mejor rendimiento del núcleo simulado con respecto a su homólogo analítico, mostrando un promedio de desviación máximo del 20%.VIII Workshop de Procesamiento Distribuido y ParaleloRed de Universidades con Carreras en Informática (RedUNCI

Control Evaluation in a LVoD System Based on a Peer-to-Peer Multicast Scheme

Providing Quality of Service (QoS) in Video on Demand systems (VoD) is a challenging problem. In this paper, we analyse the fault tolerance on a P2P multicast delivery scheme, called Patch Collaboration Manager / Multicast Channel Distributed Branching (PCM/MCDB). This scheme decentralizes the delivery process between clients and scales the VoD server performance. PCM/MCDB synchronizes a group of clients in order to create local network channels to replace on-going multicast channels from the VoD server. Using the P2P paradigm supposes facing the challenge of how often peers connect and disconnect from the system. To address this problem, a centralized mechanism is able to replace the failed client. We evaluate the failure management process of the centralized scheme in terms of the overhead injected into the network and analyse the applicability of a distributed approach to managing the process. Analytical models are developed for centralized and distributed approaches.Their behaviour are compared in order to evaluate whether the distributed scheme can improve the fault management process, in terms of reducing server load and generating better scalability.Facultad de Informátic

MR MAQ : algorisme de Read Mapping utilitzant la plataforma Hadoop

L'èxit del Projecte Genoma Humà (PGH) l'any 2000 va fer de la "medicina personalitzada" una realitat més propera. Els descobriments del PGH han simplificat les tècniques de seqüenciació de tal manera que actualment qualsevol persona pot aconseguir la seva seqüència d'ADN complerta. La tecnologia de Read Mapping destaca en aquest tipus de tècniques i es caracteritza per manegar una gran quantitat de dades. Hadoop, el framework d'Apache per aplicacions intensives de dades sota el paradigma Map Reduce, resulta un aliat perfecte per aquest tipus de tecnologia i ha sigut l'opció escollida per a realitzar aquest projecte. Durant tot el treball es realitza l'estudi, l'anàlisi i les experimentacions necessàries per aconseguir un Algorisme Genètic innovador que utilitzi tot el potencial de Hadoop.El éxito del Proyecto Genoma Humano (PGH) en el año 2.000 hizo de la "medicina personalizada" una relidad más cercana. Los descubrimientos del PGH han simplificado las técnicas de secuenciación de tal manera que actualmente cualquier persona puede conseguir su secuencia de ADN completa. La tecnología de Read Mapping destaca en este tipo de técnicas y se caracteriza por manejar una gran cantidad de datos. Hadoop, el Framework de Apache para aplicaciones intensivas de datos bajo el paradigma Map Reduce, resulta un aliado perfecto para este tipo de tecnología y ha sido la opción escogida para realizar este proyecto. A lo largo del trabajo se realiza el estudio, el análisis y las experimentaciones necesarias para conseguir un Algoritmo Genómico novedoso que utilice todo el potencial de Hadoop.In the 2000th the Human Genome Project (PGH) was accomplished successfully and it made "personalized medicine" a closer reality. The PGH has simplified the sequencing techniques in a high way so nowadays anyone can get his full ADN sequence. Read Mapping technology is one of most important sequencing techniques and it is characterized to work with lots of data. Hadoop is the Framework of Apache for data intensive applications under Map Reduce paradigm and it becomes a perfect tool for this kind of technology. For this reason it has been selected for this project. Along this entire project we will realize the study, the analysis and the experimentations to get a new Genetic Algorithm with all Hadoop potential

Programació d'aplicacions bioinformàtiques

Avui en dia la biologia aporta grans quantitats de dades que només la informàtica pot tractar. Les aplicacions bioinformàtiques són la més important eina d'anàlisi i comparació que tenim per entendre la vida i aconseguir desxifrar aquestes dades. Aquest projecte centra el seu esforç en l'estudi de les aplicacions dedicades a l'alineament de seqüències genètiques, i més concretament a dos algoritmes, basats en programació dinàmica i òptims: el Needleman&Wunsch i el Smith&Waterman. Amb l'objectiu de millorar el rendiment d'aquests algoritmes per a alineaments de seqüències grans, proposem diferents versions d'implementació. Busquem millorar rendiments en temps i espai. Per a aconseguir millorar els resultats aprofitem el paral·lelisme. Els resultats dels anàlisis de les versions els comparem per obtenir les dades necessàries per valorar cost, guany i rendiment.Hoy en día la biología aporta grandes cantidades de datos que solo con la informática podemos tratar. Las aplicaciones bioinformáticas son la más importante herramienta de análisis y comparación para entender la vida y lograr descifrar estos datos. Este proyecto centra su esfuerzo en el estudio de las aplicaciones dedicadas al alineamiento de secuencias genéticas, y más concretamente a dos algoritmos, basados en programación dinámica y óptimos: el Needleman&Wunsch y el Smith&Waterman. Con el objetivo de mejorar el rendimiento de estos algoritmos para alineamientos de secuencias grandes, proponemos diferentes versiones de implementación. Buscamos mejorar rendimientos temporales y espaciales. Para lograr mejorar los resultados aprovechamos el paralelismo. Los resultados de los análisis de las versiones los comparamos a fin de obtener los datos necesarios para valorar coste, ganancias y rendimiento.Biology is nowadays able to extract great amounts of data from which we can obtain a lot of information. Bioinformatics applications are the most important analysis tool we have to decode this data and to understand life. This project puts its effort in studying applications dedicated to genetic sequence alignment. This is done by two algorithms based on dynamic programming: Needleman&Wunsch and Smith&Waterman. The goal is to improve these algorithm's performance on very long sequences of data and to propose different implementation options taking both time and space into account. Parallel computing will be the main tool we will be using and results will be compared to assess cost, gain and throughput

Integración de Hadoop con planificadores batch

Cada vez es mayor el número de aplicaciones desarrolladas en el ámbito científico, como en la Bioinformática o en las Geociencias, escritas bajo el modelo MapReduce, empleando herramientas de código abierto como Apache Hadoop. De la necesidad de integrar Hadoop en entornos HPC, para posibilitar la ejecutar aplicaciones desarrolladas bajo el paradigma MapReduce, nace el presente proyecto. Se analizan dos frameworks diseñados para facilitar dicha integración a los desarrolladores: HoD y myHadoop. En este proyecto se analiza, tanto las posibilidades en cuanto a entornos que ofrecen dichos frameworks para la ejecución de aplicaciones MapReduce, como el rendimiento de los clúster Hadoop generados con HoD o myHadoop respecto a un clúster Hadoop físico.Cada cop és més gran el número d'aplicacions desenvolupades a l'àmbit científic, com la Bioinformàtica o les Geociències, escrites sota el model MapReduce, fent servir eines de codi obert com Apache Hadoop. De la necessitat d'integrar Hadoop en entorns HPC, per permetre l'execució d'aplicacions desenvolupades sota el paradigma MapReduce, neix el present projecte. S'analitzen dos frameworks dissenyats per facilitar aquesta integració als desenvolupadors: HoD y myHadoop. En aquest projecte s'analitza, tant les possibilitats en quan a entorns que ofereixen aquests frameworks per l'execució d'aplicacions MapReduce, com el rendiment dels clústers Hadoop generats amb HoD o myHadoop comparat amb el rendiment d'un clúster Hadoop físic.A growing number of codes in scientific domain such a Bioinformatics and Geosciences are being written using open source MapReduce tools such as Apache Hadoop. Of the need to integrate Hadoop in HPC environments, to make possible to execute applications developed under the MapReduce paradigm, born this project. Two frameworks, designed to facilitate the above mentioned integration to the developers, are analyzed: HoD and myHadoop. In this project, we analyze the possible environments that can be generated with these frameworks, for the execution of MapReduce applications, and the performance of the Hadoop clusters generated with HoD or myHadoop in comparison with a physical Hadoop cluster

Coscheduling techniques and monitoring tools for non-dedicated cluster computing

Our efforts are directed towards the understanding of the coscheduling mechanism in a NOW system when a parallel job is executed jointly with local workloads, balancing parallel perfor-mance against the local interactive response. Explicit and implicit coscheduling techniques in a PVM-Linux NOW (or cluster) have been implemented. Furthermore, dynamic coscheduling remains an open question when parallel jobs are executed in a non-dedicated Cluster. A basis model for dynamic coscheduling in Cluster systems is presented in this paper. Also, one dynamic coscheduling algorithm for this model is proposed. The applicability of this algorithm has been proved and its performance ana-lyzed by simulation. Finally, a new tool (named Monito) for monitoring the different queues of messages in such an environments is presented. The main aim of implementing this facility is to provide a mean of capturing the bottlenecks and overheads of the communication system in a PVM-Linux cluster.Facultad de Informátic