Proposition d'un mécanisme d'observation dynamique de l'exécution d'applications Java distribuées

L'exécution efficace des applications distribuées irrégulières exige d'adopter des mécanismes qui assurent l'adaptation automatique de l'exécution aux évolutions du calcul et aux modifications de la disponibilité des ressources. Ces exigences demandent à la fois de connaître les relations dynamiques entre les objets et de disposer d'informations relatives à l'évolution de la charge des machines. Nous avons introduit un système d'observation permettant de fournir les informations nécessaires aux mécanismes de redistribution des objets de l'application. Le système d'observation proposé comporte deux mécanismes. Le premier est un mécanisme d'observation des relations dynamiques entre les objets durant l'exécution. Il fournit une connaissance du comportement des applications pendant leur exécution. Il permet de prédire les tendances des communications entre ces objets. Il est implanté par l'utilisation d'un post-compilateur. Le second est un mécanisme de mesure de la charge des machines. Il permet d'avoir une vue globale de la charge dynamique de chaque machine participant à une plate-forme d'exécution. Il permet ainsi de détecter un déséquilibre de cette charge. Il est entièrement conçu en code Java, ce qui lui assure un caractère général et une complète portabilité sur l'ensemble de la plate-forme. Il met en œuvre deux outils : un outil de mesure de charge et un outil de diffusion de cette dernière. Nous avons validé les deux mécanismes par différentes expériences. Les travaux réalisés entrent dans le cadre du projet ADAJ (Applications Distribuées Adaptatives en Java). Il a pour but de fournir des réponses aux problèmes de conception et d'exécution efficace des traitements répartis sur des réseaux. Il est développé dans un contexte de système à objet construit des environnements distribués Java/RMI et JavaParty.LILLE1-BU (590092102) / SudocSudocFranceF

Algorithmes distribués d'extraction de connaissances

Afin d'exploiter au mieux les ressources de traitement disponibles de type grille de calcul, pour la résolution de problèmes de data mining, il apparaît nécessaire de concevoir de nouveaux algorithmes spécialement adaptés à ce type d'architecture, et prenant en compte les spécifités d'exécution distribuée. Le projet DisDaMin (Distributed Data Mining) développé dans cette thèse, vise à proposer des solutions pour certains problèmes de data mining, tels que le problème de génération de règles d'association ou le problème de clustering (classification non supervisée). Pour le problème spécifique de génération de règles d'association, nous suggérons l'utilisation d'un partitionnement "intelligent" des données. Ce partitionnement intelligent peut être obtenu par clustering. Nous présentons donc un nouvel algorithme de clustering, appelé Clustering Distribué Progressif, qui exécute un clustering de manière progressive distribuée et efficace respectant les contraintes d'exécution sur grille de calculs. Les clusters de données issus de ce clustering sont par la suite utilisés pour des tâches de data mining. En particulier, les clusters sont utilisés, dans le travail présenté, pour aider à la résolution du problème de génération de règles d'association, afin d'en réduire la complexité de traitement. Nous introduisons un algorithme distribué pour le problème des règles d'association, appelée DICCoop (DIC Coopératif) et basé en partie sur l'utilisation du partitionnement "intelligent". Chacun des algorithmes présentés est suivi d'un résumé des expérimentations qui ont permis de les valider comme heuristiques de data mining. Enfin, une synthèse des concepts distribués exploités dans les deux méthodes présentées conclut la présentation.LILLE1-BU (590092102) / SudocSudocFranceF

Webservices oriented data mining in knowledge architecture.

International audienceMassive parallelism is required for an efficient solution to data mining tasks, considering the proliferation of data and the need for high computational effort. The DisDaMin (Distributed Data Mining) project addressed distributed discovery and knowledge discovery through parallelization of data mining tasks. DisDaMin algorithms are based on the DG-ADAJ (Desktop-Grid Adaptive Application in Java), a middleware platform for Desktop Grid used as a deployment mechanism for DisDaMin algorithms. On the top of DG-ADAJ, SOA specific components could be employed to provide additional features and to improve current operation. An ESB (Enterprise Service Bus) built on the top of DG-ADAJ is going to provide improved availability, solve interoperability issues by exposing services through well established interfaces, and offer a loosely coupled infrastructure. An additional enactment layer is going to improve the performance of intelligent fragmentation of data, offering at the same time the necessary support for the execution of data workflows

NATO Advanced Research Workshop, Environments, Tools and Applications for Cluster Computing

International audienc

Optimal Grid Exploitation algorithms for Data Mining

International audienceAlthough many Data Mining tasks have been parallelized and can thus be executed on dedicated clusters, few solutions currently exist to solve Data Mining problems on a grid or a non-specialized network of workstations. The current tendency is to focus on the use of grids and/or desktop grids in order to exploit any available workstations with no considerations of their physical positions. If a grid specific algorithm has some common characteristics with a dedicated-cluster algorithm, many constraints are inherent to the use of the grid. In particular, resource volatility and communications cost reduce the parallelism effectiveness. The DisDaMin project (DIStributed DAta MINing) revisits the data mining tasks and proposes new exploitable algorithms for grids. The DisDaMin mechanisms first implement a specific fragmentation of the data using clustering methods, and then realize asynchronous collaborative techniques according to the specifics of execution on grids. The use of this fragmentation method makes it possible to carry out optimal local processing on each node, with a minimum of communications. Using this, we introduce the distributed algorithm DICCoop, an adaptation of DIC (see [3]). Simulations were performed to prove the efficiency of the proposed mechanisms and are hosted on the french national grid GRID5000 (part of the European CoreGrid). We analyse the impact of the numerou