Dada a importância da informação aplicada às mais diversas áreas, o conhecimento implícito em bases de dados deve ser explorado e difundido. Assim, esta pesquisa tem por finalidade a exploração e o aprofundamento do conhecimento acerca do Data Mining, um campo da Inteligência Artificial bastante recente e em evidência. Levando em conta a perceptível evolução das tecnologias de informação e o uso intenso dos sistemas de bancos de dados, este artigo apresenta o módulo de associação da ferramenta Data Mining Orion, na qual está presente a implementação do algoritmo Apriori, considerado o mais utilizado para a geração das regras de associação. No referido módulo, estão presentes os atributos de suporte e confiança, que conferem a propriedade antimonotonia à relação e garantem a validade das regras extraídas. O módulo de associação da Shell Orion permite a conexão com diversos Sistemas Gerenciadores de Bancos de Dados (SGBD), como o PostgreSQL, Firebird e MySQL. A implementação da técnica de associação foi realizada no ambiente de desenvolvimento NetBeans 4.1, que utiliza arquitetura Java

Bettiol, Jane

Casagrande, Diego Paz

Charnovscki, Rafael

Mattos, Merisandra Côrtes de

Simões, Priscyla Waleska

Portuguese

Universidade do Extremo Sul Catarinense: Periódicos UNESC

199DESENVOLVIMENTO DO MÓDULO DEASSOCIAÇÃO PELO ALGORITMO APRIORI NASHELL DE DATA MINING ORIONDiego Paz Casagrande1Merisandra Côrtes de Mattos2Rafael Charnovscki3Priscyla Waleska Simões4Jane Bettiol5ResumoDada a importância da informação aplicada às mais diversas áreas, o conhecimentoimplícito em bases de dados deve ser explorado e difundido. Assim, esta pesquisatem por finalidade a exploração e o aprofundamento do conhecimento acerca doData Mining, um campo da Inteligência Artificial bastante recente e em evidência.Levando em conta a perceptível evolução das tecnologias de informação e o usointenso dos sistemas de bancos de dados, este artigo apresenta o módulo deassociação da ferramenta Data Mining Orion, na qual está presente aimplementação do algoritmo Apriori, considerado o mais utilizado para a geração1 Acadêmico do Curso de Ciência da Computação. (diegocasagrande@hotmail.com)2 Mestre em Ciência da Computação. Professora Orientadora. Curso de Ciência da Computação.Laboratório de Informática Médica e Telemedicina. Grupo de Pesquisa em InteligênciaComputacional Aplicada. (mem@unesc.net)3 Mestre em Ciência da Computação. Professor Co-orientador. Curso de Ciência da Computação.Laboratório de Informática Médica e Telemedicina. (charnovs@unesc.net)4 Mestre em Ciência da Computação. Professora Co-orientadora. Curso de Ciência da Computação.Laboratório de Informática Médica e Telemedicina. Grupo de Pesquisa em InteligênciaComputacional Aplicada. Curso de Medicina. (pri@unesc.net)5 Doutora em Medicina. Professora Colaboradora. Curso de Medicina.200das regras de associação. No referido módulo, estão presentes os atributos desuporte e confiança, que conferem a propriedade antimonotonia à relação egarantem a validade das regras extraídas. O módulo de associação da Shell Orionpermite a conexão com diversos Sistemas Gerenciadores de Bancos de Dados(SGBD), como o PostgreSQL, Firebird e MySQL. A implementação da técnica deassociação foi realizada no ambiente de desenvolvimento NetBeans 4.1, queutiliza arquitetura Java.Palavras-chave: Data Mining. Associação. Algoritmo Apriori.IntroduçãoA importância da informação e o grande volume de dados armazenados acarretam,cada vez mais, a necessidade de meios com os quais se viabilize a interação comas bases de dados, para que delas se extraia conhecimento útil. Diante disso, odata mining destaca-se por permitir a exploração e descoberta do conhecimentoimplícito. Esse processo constitui a etapa fundamental da Descoberta deConhecimento em Base de Dados (DCBD), a partir da qual se obtêmconhecimentos que antes não teriam sido estudados ou mesmo imaginados pelaincapacidade de se trabalhar com grande quantidade de dados.No processo do data mining, necessita-se de uma shell que efetue ainteração entre o usuário e a base de dados, facilitando, assim, a descoberta doconhecimento em bases de dados. Esse processo automatizado gera várias relaçõesque são desconhecidas e, dificilmente, seriam demonstradas em análisesestatísticas. Não obstante isso, tem-se uma carência de ferramentas livres e emportuguês, já que as existentes são comercializadas a um alto custo.A pesquisa aqui apresentada consiste no desenvolvimento do módulo datarefa de associação pelo algoritmo Apriori na shell de data mining denominadaOrion. Trabalhos de pesquisa como este podem proporcionar uma alternativa deaprendizagem no que se refere ao funcionamento de algoritmos que realizamtarefas específicas constantes do processo do data mining.A tarefa de associaçãoA tarefa de associação se utiliza dos conceitos da inteligência artificial, dealgoritmos estatísticos e da teoria dos conjuntos para representar padrões, tendo201como objetivo encontrar todos os conjuntos de itens que freqüentemente ocorremde forma conjunta em uma base de dados.Uma regra de associação simples dá-se por meio da utilização de métodosprobabilísticos sobre a co-ocorrência de determinados eventos em uma base dedados. Como exemplo para a regra, assumem-se as seguintes variáveis comobinárias: IF   A=1  AND   B=1   THEN   C=1, com probabilidade p.Assim, tem-se p = p(C = 1|A = 1, B = 1), sendo p a probabilidadecondicional de C ocorrer, dados os valores de A e B. A partir disso, pode-sechegar a conclusões como: se os itens A e B tiverem o valor 1, o item C tambémterá. Esse modelo de associação, no entanto, é considerado simplório e usadoapenas para dar uma visão geral do processo (HAND; MANNILA; SMYTH, 2001).Pode-se abstrair o processo de encontrar regras de associação relevantes tomandoo exemplo clássico do carrinho de supermercado. Considerando-se uma matriz[n][p], onde n são as linhas que representam a compra e p são as colunas queindicam os produtos, aplicam-se as regras de associação a fim de encontrar padrõesválidos (HAND; MANNILA; SMYTH, 2001). Considerando a base de dados(Figura 1), apresenta-se o seguinte exemplo, no qual os produtos comprados sãoindicados pelo valor 1:Figura 1. Exemplo de base de dadosCom as regras de associação do tipo A a B, pode-se verificar a seguinterelação:IF   (Prod_4 = 1)  AND   (Prod_5 = 1)   THEN   (Prod_6 = 1)Essas regras, na forma A à B, podem possuir atributos que limitam aquantidade de regras extraídas e as validam no conjunto de dados. Tais atributossão denominados de suporte e confiança por possibilitarem o descarte das regraspouco relevantes e menos freqüentes.O suporte é determinado pela freqüência de certos conjuntos de itens em umabase de dados. Uma forma de determiná-lo se dá por meio da seguinte expressão(ARBEX, 2005):202Assim, tomando a base de dados exposta na Figura 4, é possível ter-secomo exemplo:Sup (Prod_1) = 6/10 = 0,6 = 60%Sup (Prod_2) = 4/10 = 0,4 = 40%Sup (Prod_1 U Prod_2) = 4/10 = 0,4 = 40%Do exemplo anterior, salienta-se que o conjunto unitário {Prod_1}ocorre seis vezes entre as dez transações descritas, possuindo o suporte igual a60 %. Já para o {Prod_2}, há quatro ocorrências em dez, com um suporteigual a 40 % e, para o conjunto {Prod_1, Prod_2}, presente em quatroregistros no banco de dados, tem-se um suporte igual a 40 %.Outro quesito igualmente importante para determinar a validade darelação é a medida do seu grau de confiança, a qual pode ser calculadaefetuando-se a divisão do suporte do conjunto pelo do antecessor da regra,conforme fórmula a seguir:Na expressão acima, tem-se como antecessor o item A, sendo ele o elementoque determina a regra. Por exemplo, se A estiver presente, então B estará comconfiança de X%, uma vez que a confiança é dada em porcentagem.Seguindo o exemplo da Figura 1, tem-se a seguinte relação:Conf(Prod_1 à {Prod_1, Prod_2}) = 40/60 = 0,666 = 66,6%Conf(Prod_2 à {Prod_1, Prod_2}) = 40/40 = 1 = 100%Desse modo, tem-se que, em 66,6 % dos registros em que Prod_1 ocorrer,o Prod_2 também ocorrerá. E, na segunda relação, na qual o Prod_2 for oantecessor da regra, tem-se que, em 100% dos casos em que o Prod_2 estiverpresente, o Prod_1 também estará.Assim, tem-se o suporte como a freqüência com que os itemsets ocorremna base de dados e a confiança é tomada como a medida da força da regra,203representada pela porcentagem. Para a aplicação desses componentes às regrasde associação, é necessário fixar um valor mínimo e, ao estabelecê-lo, define-se osuporte mínimo e a confiança mínima.Os algoritmos utilizados nas regras de associação para extrair relaçõesrelevantes das bases de dados são: Apriori, GART e Algoritmo de Seqüência,entre outros. A seguir, aborda-se o algoritmo Apriori, utilizado nesta pesquisapara a extração de conhecimento nas regras de associação.O algoritmo aprioriO algoritmo Apriori é utilizado para encontrar itemsets em grandes basesde dados (ARBEX, 2005). De modo geral, o referido algoritmo utiliza conjuntosde itens de tamanho K para gerar os próximos conjuntos de tamanho K+1. Assim,o algoritmo encontra primeiramente os grupos de itens com tamanho k=1,denominado L1, a partir do qual se encontram os conjuntos de itemsets comtamanho k=2, formando L2, e assim por diante, até que nenhum conjunto possaser gerado (SOUZA FILHO, 2004).O algoritmo Apriori utiliza duas funções: a Apriori-gen (Lk-1), responsávelpor gerar os conjuntos candidatos; e a subset (Ck, t), que aloca os novos itemsetse efetua a poda (descarte dos itemsets que não possuem o suporte mínimo) dosconjuntos pouco freqüentes, conforme demonstrado na Figura 2.Figura 2. Algoritmo AprioriFonte: AGRAWAL, R. (2005)204A tarefa de associação e o algoritmo apriori na Shell deDatamining OrionNo módulo de associação desenvolvido na Shell Orion, as regras sãoextraídas por meio do algoritmo Apriori, tornando-se possível encontrar osrelacionamentos entre os itens da base de dados.A metodologia aplicada para o desenvolvimento desta pesquisacompreendeu as etapas de definição e implementação da forma de conexão coma base de dados; modelagem do módulo de associação da shell; modelagemmatemática do suporte e confiança e implementação do módulo de associaçãoda Shell Orion.Definição e Implementação da Conexão com a Base de DadosCom a ferramenta e o módulo de associação da Shell Orion, utilizou-se aarquitetura Java, definindo-se, portanto, a conexão com a base de dados pormeio do estudo da conexão Java Database Connectivity (JDBC).A conexão padrão com o banco de dados na arquitetura Java é realizadapor meio da API JDBC, desenvolvida em conjunto pela Sun Microsystems egrandes fabricantes de banco de dados, tais como Oracle e Sybase.Mediante o estudo da realização da forma de conexão com o banco dedados via JDBC, definiu-se na implementação da shell Orion as conexões comos seguintes SGBD: Firebird, PostgreSQL e MySQL. A escolha desses sistemasse deu em função de possuírem licença freeware, além de apresentarem bomdesempenho e confiabilidade. A implementação de diversos gerenciadores debancos de dados, possibilitando a escolha conforme a necessidade do usuário,proporciona um aumento nas funcionalidades da shell Orion.Modelagem do Módulo de Associação da Shell OrionA modelagem do módulo de associação foi realizada por meio da UnifiedModeling Language (UML), desenvolvendo-se o diagrama de caso de uso, a fimde demonstrar as interações do usuário com o módulo.205Modelagem Matemática do Suporte e ConfiançaNessa etapa, demonstrou-se como o módulo de associação da shell Oriontrata os atributos de suporte e confiança. Para isso, utilizou-se a base de dados jácategorizada, no que se refere ao tema: prevalência da asma e rinite emadolescentes escolares no município de Criciúma.Primeiramente, realiza-se o cálculo do suporte a fim de encontrar afreqüência com que o item ou grupo de itens ocorre na base de dados. O cálculoda confiança é realizado após a geração das regras, sendo podadas as que possuemconfiança com valor inferior ao mínimo estabelecido. Com isso, tem-se a Figura3, demonstrando uma regra extraída conforme relatório gerado pelo módulo deassociação da shell Orion.Figura 3. Exemplo de regra gerada pelo módulo de associaçãoDe acordo com a Figura 3, apresenta-se a seguir o cálculo da confiança edo suporte:Total de registros na base de dados: 3010Suporte do conjunto: 2032O valor do suporte do conjunto indica que ele está presente em 2032registros da base de dados. Assim, verifica-se que o suporte do conjunto é deaproximadamente 67%.A confiança pode ser calculada da seguinte forma:Suporte do Conjunto: 2032 ou aproximadamente 67%Suporte do Antecessor da Regra: 2166 ou aproximadamente 71%Confiança: 2032 / 2166 = 0,93 ou aproximadamente 93%Assim, tem-se que, para 93% dos registros em que consta o conjunto{sem_sibilos, teve_asma_nao, chiado_exercido_nao}, o antecessor da regratambém está presente. Esse conjunto obedece à condição de suporte mínimo,estando presente em 2032 transações na base de dados analisada.206Com isso, verifica-se a importância do suporte e da confiança para a geraçãodas relações e a conseqüente extração do conhecimento das bases de dados,uma vez que esses atributos determinam a quantidade de regras geradas eproporcionam uma maior validade das informações encontradas.Implementação do Módulo de Associação da Shell OrionA implementação do módulo de associação e do algoritmo Apriori foirealizada no ambiente de desenvolvimento NetBeans 4.1, implementando-se nalinguagem Java e permitindo-se a conexão com os sistemas gerenciadores debancos de dados PostgreSQL, MySQL e Firebird. Os recursos utilizados obedecemà licença freeware e estão disponibilizados na Internet.A shell de data mining Orion dispõe da opção de ajuda, que traz informações doprojeto e do funcionamento dos módulos. No módulo de associação, também épossível salvar o relatório gerado pelo sistema em formato RTF. Na interfaceprincipal (Figura 4), ao inicializar o sistema, o usuário escolhe qual driver JDBCusará. Após, deve-se escolher a tabela que tem seus atributos visualizados emuma lista. Assim, com todos os parâmetros indicados, escolhe-se a tarefa de datamining.No módulo de associação (Figura 5), é possível selecionar o algoritmo de datamining, visualizar os conjuntos de dados iniciais, definir o suporte e a confiançanecessários para a execução do algoritmoFigura 4. Interface principal da Shell Orion207Figura 5. Interface do módulo de associaçãoConclusãoNa realização desta pesquisa, os objetivos propostos foram atingidos, visto que omódulo de associação da Shell Orion apresenta as regras por meio das quais seviabiliza a busca por relações entre itens ou conjuntos de itens que auxiliam noprocesso de entendimento dos padrões presentes nas bases de dados. Nesse módulo,aplicou-se aos dados o algoritmo Apriori, que faz buscas recursivas a fim de encontrarconjuntos de itens, apresentando regras que satisfazem às condições de suporte econfiança. Durante a etapa de realização dos testes, pode-se perceber a dificuldadeem processar grandes quantidades de dados, dificuldade que ocasionou algunsproblemas logo solucionados. Com a realização dos testes, verificou-se a aplicaçãodo algoritmo sobre a base de dados, gerando dezenas de relações que, emboraimprevistas, podem contribuir com o propósito da base de dados.208Association rules and apriori algorithm in orion data mining shellAbstractBecause of the importance of the information applied in several areas, the implicitknowledge must to be explored and diffused. This way, this research has as finalityto explore and to deepen the knowledge about the Data Mining, an artificialintelligence camp very recently and in evidence. Considering the perceptibleinformation technologies evolution and the intense use of data bank system, thisarticle presents an association module tool of Data Mining Orion. In this moduleis present the implementation Apriori algorithms considered the most used for therules association generation. In the association module are the attributes of supportand trust, that grants the characteristics of the anti-monotony relation and guaranteethe validity of the rules extracted. The Shell of Data Mining Orion allows theconnection of Data Base Management System (DBMS) Postgres and Firebird.The implementation of the association rules was realized in the Netbeans 4.1development ambient, that uses Java technology.Keywords: Data Mining. Association Rules. Apriori Algorithm.ReferênciasAGRAWAL, Rakesh; SRIKANT, Ramakrishnan. Fast Algorithms for MiningAssociation Rules. San Jose, CA  USA, IBM Almaden Research Center.Disponível em: <www.almaden.ibm.com/software/ quest/Publications/papers/vldb94.pdf > Acesso em: 15 jun 2005.ARBEX, Eduardo Compasso et al. Iniciação Cientifica: Data Mining.Associação Educacional Dom Bosco em Resende, RJ. Disponível em: <http://www.inf.aedb.br/datamining/index.html>. Acesso em: 14 Jun 2005.HAND, David; MANNILA, Heikki; SMYTH, Padhraic. Principles of DataMining. Massachusetts: MIT Press, 2001.SOUZA FILHO, Hélcio Gomes de. Extração de Regras de Associação de umBanco de Dados Relacional. Rio de Janeiro, Dissertação (Mestrado emEngenharia Civil). Universidade Federal do Rio de Janeiro, 2004.

DESENVOLVIMENTO DO MÓDULO DE ASSOCIAÇÃO PELO ALGORITMO APRIORI NA SHELL DE DATA MINING ORION

https://periodicos.unesc.net/ojs/index.php/iniciacaocientifica/article/download/61/58

DESENVOLVIMENTO DO MÓDULO DE ASSOCIAÇÃO PELO ALGORITMO APRIORI NA SHELL DE DATA MINING ORION

Abstract

Similar works

Full text

Available Versions

Universidade do Extremo Sul Catarinense: Periódicos UNESC