Survey Paper on Pattern-Enhanced Topic Model for Data Filtering

The machine learning & text mining area topic modeling has been extensively accepted etc. To generate statistical model to classify various topics in a collection of documents topic modelling was proposed. A elementary presumption for those approaches is that the documents in the collection are all about one topic. To represent number of topics in a collection of documents, Latent Dirichlet Allocation (LDA) topic modelling technique was proposed, it is also used in the fields of information retrieval. But its effectiveness in information filtering has not been well evaluated. Patterns are usually thought to be more discriminating than single terms for demonstrating documents. To discovered pattern become crucial when selection of the most representative and discriminating patterns from the huge amount. To overcome limitations and problems, a new information model approach is proposed. Proposed model includes user information important to generate in terms of various topics where each topic is represented by patterns. Patterns are generated from topic models and are organized in terms of their statistical and taxonomic features and the most discriminating and representative patterns are proposed to estimate the document relevant to the user?s information needs in order to filter out irrelevant documents. To access the propose model TREC data collection and Reuters Corpus vol. 1 are used for performanc

Identificando o assunto dos documentos em coleções textuais utilizando termos compostos

Diferentemente dos problemas de recuperação de informação, nos quais o usuário conhece o que ele está procurando, às vezes o usuário precisa compreender de forma mais geral os assuntos abordados na coleção para explorar os documentos de interesse. Para cada grupo ou tópico obtido, um conjunto de descritores é selecionado entre os termos da coleção e cabe ao usuário identificar o assunto de cada grupo a partir da lista de descritores apresentada. Normalmente, o conjunto de descritores é composto por termos simples. Entretanto, muitos termos possuem significado próprio quando combinados entre si. Produzir uma lista de termos que já considere na sua construção o uso de termos compostos pode diminuir o esforço necessário para a compreensão dos assuntos identificados. Neste artigo é proposta uma abordagem para identificação de assuntos em coleções de documentos que combina técnicas de regras de associação e de agrupamento de dados. As regras de associação são aplicadas para extrair termos compostos formando o contexto local da relação entre os termos. Essas regras são representadas em uma estrutura bag-of-words cujas dimensões são as mesmas da bag-of-words produzida pela coleção de documentos e são\ud agrupadas, formando o contexto geral das relações. A ideia é que a informação da vizinhança dos termos compostos extraídos ajudam a identificar (a) termos diferentes utilizados em um mesmo contexto ou com mesmo sentido e (b) termos idênticos mas que são usados em contextos diferentes ou com significados diferentes. Os resultados da avaliação indicam que o uso de termos compostos com a abordagem proposta melhora a identificação de assuntos nas coleções de documentos avaliadas.CAPES (processo DS-6345378/D)FAPESP (processo número 2014/08996-0

A two-stage approach for generating topic models

Topic modeling has been widely utilized in the fields of information retrieval, text mining, text classification etc. Most existing statistical topic modeling methods such as LDA and pLSA generate a term based representation to represent a topic by selecting single words from multinomial word distribution over this topic. There are two main shortcomings: firstly, popular or common words occur very often across different topics that bring ambiguity to understand topics; secondly, single words lack coherent semantic meaning to accurately represent topics. In order to overcome these problems, in this paper, we propose a two-stage model that combines text mining and pattern mining with statistical modeling to generate more discriminative and semantic rich topic representations. Experiments show that the optimized topic representations generated by the proposed methods outperform the typical statistical topic modeling method LDA in terms of accuracy and certainty