International audienceL'extraction des ensembles fréquents maximaux est un problème clef en fouille de données. Nous présentons dans cet article un algorithme distribué qui réalise cette tâche. Il s'agit du premier algorithme distribué avec des garanties de performance prouvées théoriquement

Hanusse, Nicolas

Maabout, Sofian

Tofan, Radu

INRIA a CCSD electronic archive server

HAL Id: inria-00385104https://hal.inria.fr/inria-00385104Submitted on 18 May 2009HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestinée au dépôt et à la diffusion de documentsscientifiques de niveau recherche, publiés ou non,émanant des établissements d’enseignement et derecherche français ou étrangers, des laboratoirespublics ou privés.Algorithme distribué pour l’extraction des fréquentsmaximauxNicolas Hanusse, Sofian Maabout, Radu TofanTo cite this version:Nicolas Hanusse, Sofian Maabout, Radu Tofan. Algorithme distribué pour l’extraction des fréquentsmaximaux. Algotel, 2009, Carry-Le-Rouet, France. ￿inria-00385104￿Algorithme distribué pour l’extraction desfréquents maximauxNicolas Hanusse1 and Sofian Maabout1 and Radu Tofan11LaBRI, CNRS & INRIA (Cepage), Université Bordeaux 1 33400 Talence, FranceL’extraction des ensembles fréquents maximaux est un problème clef en fouille de données. Nous présentons dans cetarticle un algorithme distribué qui réalise cette tâche. Il s’agit du premier algorithme distribué avec des garanties deperformance prouvées théoriquement.Keywords: calcul distribué, fouille de données1 Description du problème traitéSoit I = {i1, . . . , iN} un ensemble d’objets (nous parlerons aussi d’items). Soit T = {I1, . . . , IM} un multi-ensemble avec I j ⊆ I un ensemble d’objets (nous l’appellerons aussi itemset). T est appelée base de tran-sactions. Soit I ⊆ I un itemset, |I|T désigne le nombre d’occurences de I dans T . On notera simplement |I|quand T est fixée. t = |T | désigne le nombre d’éléments de T . La fréquence f (I) de I dans T est égaleà|I||T | . Un item I est s-fréquent si f (I) ≥ s. L’objectif de ce travail est de proposer un calcul distribué deséléments maximaux appelés aussi bordure :Définition 1 (Fréquent maximal). I est un itemset s-fréquent maximal si aucun de ses sur-ensembles n’ests-fréquent. La bordure B(s) contient tous les itemsets s-fréquent maximaux.Exemple 1. Soit I = {A,B,C,D}. Soit T = {ABD,AB,ABD,CD,AD}. AD est 2/5-fréquent car f (AD) =3/5 alors que CD ne l’est pas puisque f (CD) = 1/5. On a que B(2/5) = {ABD}.On rencontre le problème du calcul des itemsets fréquents dans divers domaines : par exemple, on peutêtre intéressé par les chemins entre routeurs (items) les plus utilisés en considérant pour tout routage (tran-saction) de la liste des routeurs (itemsets) traversés. De manière générale, l’extraction des itemsets fréquentsest extrêmement coûteux car une bordure peut atteindre 2N (si s = 0 mais pas seulement). Aussi, conce-voir un algorithme d’extraction des fréquents nous oblige à tenir compte de deux ecueils qui sont le tempspour calculer les fréquences (la table T peut être parcouru plusieurs fois) ainsi que la quantité de mémoireutilisée à chaque itération. Pour illustrer notre propos, considérons les deux variantes suivantes :1. Pour chaque I ∈ T , pour chaque J ⊆ I, si J ⊆ I alors incrémenter le nombre d’occurences de J.2. Pour chaque J ⊆ I, pour chaque I ∈ T , si J ⊆ I alors incrémenter le nombre d’occurences de J.La première variante consiste à parcourir une seule fois T , par contre elle nécessite de garder en mémoireun compteur pour chacun des 2N itemsets. La deuxième variante, quant à elle, parcourt T 2N fois par contreelle n’a besoin que d’un seul compteur à la fois en mémoire. Dans les deux cas, le temps de calcul defréquence est cependant Θ(2NM). Comme T est généralement de taille trop grande pour être entièrementchargée en mémoire, il faut en limiter les parcours pour réduire les accès disque très gourmands en temps.Par ailleurs, les itemsets candidats peuvent être trop nombreux, il faut limiter leur nombre lors d’un mêmeparcours. Nous sommes donc en présence de deux contraintes contradictoires.Pour limiter le nombre de candidats à tester lors de chaque parcours, les solutions proposées utilisent lapropriété d’antimonotonicité de la fréquence : si I est fréquent alors tous ses sous-ensembles sont fréquents,et par conséquent, si I n’est pas fréquent alors tous ses sur-ensembles ne le sont pas. En procédant parNicolas Hanusse and Sofian Maabout and Radu Tofanniveaux (un niveau correspond au nombre d’items dans un itemset), on peut utiliser cette propriété pour nepas tester les itemsets pour lesquels on a trouvé lors des phases précédentes qu’un de leurs sous-ensemblesn’est pas fréquent. C’est le principe de l’algorithme A Priori proposé dans [AS94]. A partir des maxi-maux, on peut générer tous les fréquents. Comme les maximaux sont moins nombreux, il est intéressantde considérér des algorithmes spécialement conçus pour ces derniers. Plusieurs algorithmes ont été pro-posés dans la littérature [Bay98, GZ05, BCG01]. Tous essayent d’exploiter au mieux l’antimonotinicité dela fréquence, i.e ne pas tester un itemset si un de ses sous-ensembles n’est pas fréquent et ne pas tester unitemset si un de ses sur-ensembles est fréquent.2 Algorithmes existants et contribution2.1 Hypothèses et modèlesUn maı̂tre répartit le calcul d’une bordure sur k processeurs esclaves p1, p2, . . . , pk de manière synchro-nisée : à chaque ronde, il échange des informations : une liste des itemsets candidats dont la fréquenceest à calculer, etc. Dans une ronde, chaque processeur esclave ne fait qu’un parcours de la table T . Noussupposons que chaque processeur possède une copie de la table T .2.2 ComparaisonLes différents algorithmes existants et notre contribution sont résumés dans le tableau 1. Les mesures deperformance sont :– la mémoire requise pour chaque processeur (maı̂tre et esclaves) ;– le nombre de rondes exprimant le nombre de parcours de tables par un processeur ;– le temps T = Te +Tm +Tc correspondant au : (1) temps Te de calcul des fréquences fait par les esclavesexprimé par le produit le nombre de lignes lues par le coût de calcul par ligne ; (2) temps de calcul dumaı̂tre Tm de composition des résultats partiels en résultat global - principalement calcul de moyennes ;(3) temps de communications Tc exprimé en taille de messages échangés.Il est à noter que jusqu’a présent, aucun modèle de temps n’avait été proposé dans la littérature. Notreproposition permet de comparer d’un point de vue théorique les différents algorithmes. De ce point de vue,APriori peut sembler aussi compétitif que MAFIA ou MAX-Miner mais ces deux derniers algorithmess’avèrent bien plus performants en pratique car ils utilisent des heuristiques dont une analyse de pire cas(comme l’analyse présente) ne peut tenir compte.Algorithme Mémoire ronde Te Tm TcAPriori [AS94] O(2N/√N) N O(t2N)MAFIA/GenMAX [BCG01, GZ05] O(2N/√N) N/2 O(t2N)PickBorders [HMT09] O(b) O(2N) O(2Nt)Parallel/MAX-Miner [CL08] O(2N/√N) N/2 O( 2N tk) O(2N) O(2N)Notre contribution O(b) 2N O( 2N tk) O(Nb) O(2N)TAB. 1: Contribution (b = |B(s)|)Pour indication, les complexités des versions séquentielles sont indiquées en supposant que tout le calculest fait par un processeur. Les versions parallèles existantes (principalement Parallel MAX-Miner) partentdu principe que chaque processeur est responsable d’une proportion 1/k de T et que le maı̂tre s’occupede composer les résultats. Les inconvénients sont multiples : les quantités de calculs effectués et la tailledes messages échangés sont indépendantes de la taille de la bordure. Nous avons proposé dans [HMT09]l’algorithme PickBorders qui tient compte de la taille de la bordure, qui est donc plus performant dès queb = |B(s)| = o( 2NN). Cependant, PickBorders n’est pas aisément parallélisable et nécessite une re-écrituretotale. Nous donnons quelques indications sur la conception de Parallel PickBorders. Par manque de place,nous ne pouvons donner l’algorithme complet.Algorithme distribué pour l’extraction des fréquents maximaux3 Calcul des borduresNous présentons tout d’abord quels sont les calculs de fréquences nécessaires pour déterminer la bordurepuis l’ordonnancement des itemsets à calculer en parallèle.3.1 Calculs de fréquencesNous supposons que les items sous ordonnés par un ordre total <I et que les itemsets sont ordonnéslexicographiquement (ordre du “dictionnaire”) avec l’ordre <lex. Dans ce qui suit, nous supposons queA <I B <I C <I . . .. Nous pouvons définir l’arbre lexicographique des itemsets avec les relations suivantespour un itemset I :– Fils(I) contient les itemsets sur-ensembles de I de cardinalité |I|+ 1 et plus grand lexicographique-ment ;– Pere(I) contient l’itemset sous-ensemble de I de cardinalité |I|−1 et plus petit lexicographiquement.En résumé, l’algorithme PickBorders revient à parcourir l’arbre lexigraphique à l’aide d’un parcours en pro-fondeur en sautant/élaguant les sous-arbres lorsqu’on peut déterminer que les itemsets correspondants nesont pas fréquents. A chaque instant, la bordure contient la liste des itemsets maximaux visités. Si l’itemsetcourant n’est pas maximal au moment de son traitement, il est nécessaire de calculer sa fréquence. L’avan-tage de cette méthode est que la mémoire requise ne sert qu’à stocker la bordure qui ne peut que croı̂treavec le temps. La partie la plus coûteuse pour le calcul de B est l’exécution de la fonction frequence(I) quinécessite le parcours de T . Nous avons mis en évidence le nombre maximum de fois que cette fonction estappelée.Lemme 1. La fonction frequence est appelée au maximum 2N fois.La figure ci-dessous illustre l’exécution de cet algorithme lors du calcul d’une bordure B(3/7) pour latable de transactions T = {CDE,ABDE,ABE,ABCE,DE,CE,ABE,CDE}. On a calculé la cardinalité de 14itemsets (en dehors de la racine dont la taille est connue) sur les 32 pour obtenir la bordure {ABE,CE,DE}.Pour certains itemsets, il n’est pas nécessaire de calculer la fréquence (élagage ou étant sous-ensemble d’unélément de bordure comme AE ou B).L’algorithme précédent présente l’avantage de réduire le nombre de parcours fait sur T mais ne calculeà chaque fois qu’une seule fréquence.FIG. 1: Arbre lexicographique élagué (cardinalité in-diquée en rouge).ronde itemsets nb itemsets0 /0 11 A 12 AB 13 ABC,B 24 ABCD,AC,BC 35 ABD,ACD,BCD,C 46 AD,BD,CD 37 D 1FIG. 2: Ordonnancement des calculs d’itemsets3.2 Version distribuéeDans notre version distribuée, le maı̂tre affecte à chaque ronde une liste d’itemsets pour chaque proces-seur dont la fréquence est à calculer. Pour cela, nous définissons la fonction round(I) qui détermine laNicolas Hanusse and Sofian Maabout and Radu Tofanronde dans laquelle un itemset U = u1u2 . . .uk avec ui <I ui+1 ∈ I peut être potentiellement calculée. Nousdevons d’abord définir la fonction rank. Pour chaque item ui de I , rank(ui) = j si ui est le j-ième élémentde I . Pour chaque itemset U = u1u2 . . .uk, round(u) = 2rank(uk)− k.Plus précisément, à la fin de la ronde R, le serveur est capable de calculer la frontière BR(s) pour chaqueensemble d’éléments dont la ronde est inférieure ou égale à R. Au début de la ronde R + 1, le serveurpossède une liste d’éléments à considérer (ceux de ronde R + 1 dont le calcul a été décidé dans les rondesprécédentes). Pour un élément de ronde R+1, nous avons deux cas : soit il existe un élément de BR(s) quiest un sur-ensemble et l’itemset courant ne peut être maximal (et il n’y a pas besoin de le calculer) ou lecalcul de fréquence est requis. C’est la raison pour laquelle chaque ronde se décompose en 2 phases :– Le maı̂tre détermine les itemsets fréquents non maximaux, c’est-à-dire dont le calcul de taille est requis.– Le maı̂tre distribue équitablement le calcul de fréquences de ce sous-ensemble aux k esclaves etL’algorithme distribué est basé sur les lemmes suivants :Lemme 2. Soient U et V deux itemsets tels que U est un sur-ensemble de V et U <lex V alors round(V ) =round(U +1).Lemme 3. Tous les sur-ensembles de cardinalité |U |+ 1 plus petits dans l’ordre lexicographique d’unitemset U de la ronde R sont traités dans la même ronde précédente (ronde R−1).Il est à noter que le lemme ?? implique que le nombre total de calcul de fréquences est O(2N) si lesitemsets sont considérés les uns aprés les autres. Nous donnons quelques indications pour montrer quel’algorithme distribué ne fait pas plus de calcul de fréquences au total. Considérons l’arbre lexicographiquedes itemsets. Chaque itemset I a deux types de sur-ensembles : ceux qui en découlent dans l’arbre (notésSuiv(I) et ceux qui le précedent dans l’arbre (notés Prec(I)). Par exemple, BCE ∈ Suiv(B) par contre AB ∈Prec(B). L’ordonnancement des calculs d’itemsets repose sur l’observation suivante : pour un itemset I, dèsque tous les itemsets de Prec(I) ont été traités, il n’est pas besoin d’attendre plus longtemps pour traiter I.Le lemme 3 garantit cette propriété. Autrement dit, soit il existe J ∈ Prec(I) t.q J est fréquent et auquel cas,I l’est aussi soit aucun ne l’est donc il faut calculer f (I). Le principe de l’amélioration consiste à, lors d’unmême parcours de T calculer la fréquence de tous les itemsets I dont les parents dans Prec(I) ont déjà ététraités. L’ordonnancement fixé par ronde garantit cette propriété.Exemple 2. Pour I = {A,B,C,D}, voir l’affectation des rondes dans le tableau 2.Théorème 1. Par un algorithme distribué sur k processeurs, il est possible de calculer les éléments maxi-maux B(s) d’une base de transactions T avec un nombre maximum de parcours de T de 2N, une mémoireO(|B(s)|) par processeur et un nombre maximum de calculs de fréquences par processeur égal à 2Nk.Faute de place, nous ne donnons pas la description précise de l’algorithme. Il serait bien entendu intéressantde vérifier en pratique le comportement du calcul distribué par rapport à l’existant.Références[AS94] Rakesh Agrawal and Ramakrishnan Srikant. Fast algorithms for mining association rules in largedatabases. In VLDB Proceedings, 1994.[Bay98] Roberto Bayardo. Efficiently mining long patterns from databases. In SIGMOD Proceedings,1998.[BCG01] Douglas Burdick, Manuel Calimlim, and Johannes Gehrke. Mafia : A maximal frequent itemsetalgorithm for transactional databases. In ICDE Proceedings, 2001.[CL08] Soon M. Chung and Congnan Luo. Efficient mining of maximal frequent itemsets from databaseson a cluster of workstations. Knowledge Inf. Systems, 16 :359–391, 2008.[GZ05] Karam Gouda and Mohammed J. Zaki. GenMax : An efficient algorithm for mining maximalfrequent itemsets. Data Mining and Knowledge Discovery, 11(3) :223–242, 2005.[HMT09] Nicolas Hanusse, Sofian Maabout, and Radu Tofan. A view selection algorithm with perfor-mance guarantee. In Proceedings of EDBT/ICDT, 2009.

Algorithme distribué pour l'extraction des fréquents maximaux

https://hal.inria.fr/inria-00385104/file/algotel2009final.pdf

Algorithme distribué pour l'extraction des fréquents maximaux

Abstract

Similar works

Full text

Available Versions

INRIA a CCSD electronic archive server