Stratégie situationnelle pour l'équilibrage de charge

National audienceWe study a novel location-aware strategy for distributed systems where cooperating agents perform the load-balancing. The strategy allows agents to identify opportunities within a current unbalanced allocation, which in turn triggers concurrent and one-to-many negotiations amongst agents to locally reallocate some tasks. The tasks are reallocated according to the proximity of the resources and they are performed in accordance with the capabilities of the nodes in which agents are situated. This dynamic and ongoing negotiation process takes place concurrently with the task execution and so the task allocation process is adaptive to disruptions (task consumption, slowing down nodes). We evaluate the strategy in a multi-agent deployment of the MapReduce design pattern for processing large datasets. Empirical results demonstrate that our strategy significantly improves the overall runtime of the data processing.Nous étudions une stratégie qui tient compte de la localité des ressources pour équilibrer les charges dans un système distribué. Cette stratégie permet aux agents coopératifs d'identifier une allocation non équilibrée, voire de déclencher des enchères concurrentes pour réallouer localement certaines des tâches. Les tâches sont réallouées en tenant compte de l'accessibilité des ressources pour les agents ; elles sont exécutées conformément aux capacités des noeuds de calcul sur lesquels se trouvent les agents. Ce processus de négociation dynamique et continu est concurrent à l'exécution des tâches, ce qui permet d'adapter l'allocation des tâches aux perturbations (exécution de tâche, chute de performance d'un nœud). Nous évaluons cette stratégie dans le cadre du déploiement multi-agents de MapReduce. Ce patron de conception permet le traitement distribué de données massives. Les résultats empiriques démontrent que notre stratégie améliore significativement le temps d'exécution du traitement d'un jeu de données

Stratégie de découpe de tâche pour le traitement de données massives

National audienceMapReduce is a design pattern for processing large data sets distributed on a cluster. Its performances are linked to data skews. In order to tackle the latter, we propose an adaptive multi-agent. The agents interact during the job and the dynamic tasks allocation is the outcome of negotiations in order to relieve the most loaded agent and so the running time. In this paper, we show how, when a task is too expensive to be negotiated, an agent can split it in order to negotiate its sub-tasks.MapReduce est un patron de conception permettant de traiter un très grand volume de données distribuées sur un cluster de machines. Ses performances sont liées aux éventuelles dis-torsions des données. Pour contrer ces biais, nous proposons un système multi-agent adaptatif. Les agents interagissent durant l'exécution et l'allocation dynamique des tâches est le résultats de négociations afin de soulager l'agent le plus chargé et donc le temps global d'exécution. Dans cet article nous montrons comment, lorsqu'une tâche est trop coûteuse pour être négociée, un agent peut la découper afin d'en négocier les sous-tâches

Stratégie de découpe de tâche pour le traitement de données massives

National audienceMapReduce is a design pattern for processing large data sets distributed on a cluster. Its performances are linked to data skews. In order to tackle the latter, we propose an adaptive multi-agent. The agents interact during the job and the dynamic tasks allocation is the outcome of negotiations in order to relieve the most loaded agent and so the running time. In this paper, we show how, when a task is too expensive to be negotiated, an agent can split it in order to negotiate its sub-tasks.MapReduce est un patron de conception permettant de traiter un très grand volume de données distribuées sur un cluster de machines. Ses performances sont liées aux éventuelles dis-torsions des données. Pour contrer ces biais, nous proposons un système multi-agent adaptatif. Les agents interagissent durant l'exécution et l'allocation dynamique des tâches est le résultats de négociations afin de soulager l'agent le plus chargé et donc le temps global d'exécution. Dans cet article nous montrons comment, lorsqu'une tâche est trop coûteuse pour être négociée, un agent peut la découper afin d'en négocier les sous-tâches