Knowledge discovery in spatial databases through qualitative spatial reasoning

Human beings use qualitative identifiers extensively to simplify reality and to perform spatial reasoning more efficiently. Organisational databases usually store geographic identifiers, like addresses or postcodes, which spatial component is not incorporated in the knowledge discovery process. This paper addresses the process of Knowledge Discovery in Spatial Databases through a Qualitative Spatial Reasoning approach. The aim is the improvement of the referred process by the adoption of qualitative identifiers like North, South, close, far, etc. in the classification of spatial relations that exists between the geographic entities addressed. The proposed approach uses a spatial reasoning strategy that integrated direction and distance spatial relations in the reasoning process, allowing the inference of implicit spatial relations for the several levels of the considered geographic hierarchies. The integration of a geographic and a demographic database allowed the discovery of spatial patterns and general relationships that exist between the analysed spatial and non-spatial data.Programa de Desenvolvimento Educativo para Portugal (PRODEP) II - Acção 5.2, Concurso nº3/98 Doutoramentos

XML na demografia histórica : anotação de registos paroquiais

O Método de Reconstituição de Paróquias, no qual os Historiadores Demógrafos do Núcleo de Estudos da População e Sociedade (NEPS) baseiam o seu trabalho para analisar o comportamento das populações ao longo dos quatro últimos séculos - através do estudo de factores como a natalidade, a fecundidade, a nupcialidade, a mortalidade e a mobilidade -, assenta na tratamento dos registos paroquiais de baptizados, casamentos e óbitos. Da leitura local e exaustiva desses documentos são extraídos os dados que permitem fazer a reconstituição das famílias. Uma vez estáveis, os dados são armazenados em Bases de Dados Paroquiais, que são posteriormente fundidas numa única Base de Dados Central sobre a qual actuam as ferramentas de análise. A norma XML (eXtensible Markup Language) define um método de anotação de documentos, estabelecendo os princípios gerais de estruturação de textos e a sintaxe das marcas a usar. Documento original e marcas formam um ficheiro único de texto ASCII puro, independente de qualquer plataforma de hardware/software. A anotação estabelece a estrutura do documento e dá interpretação a determinados elementos nele contidos, sem qualquer informação de formatação ou transformação—é, portanto, também independente da aplicação final. Ao contrário de outros sistemas de anotação, a norma XML não estabelece um conjunto de anotações fixo, para um caso específico ou para todos os casos; ao invés é uma metalinguagem que indica como definir as anotações próprias de cada família de documentos. Neste artigo é apresentada uma aplicação do XML ao domínio da Demografia, nomeadamente na Anotação dos Registos Paroquiais analisados pelos Historiadores Demógrafos. Concretamente, discute-se o desenvolvimento de um XML-Schema para definir uma instância de XML (a linguagem Schema-RP) para anotação dos Registos Paroquiais. Assim é possível construir uma Base de Dados Documental que contém, em formato electrónico, os registos originais devidamente marcados. O conteúdo desta Base de Dados apresenta-se mais rico quando comparado com as respectivas Bases de Dados Paroquiais, uma vez que permite: i) a reconstrução das fontes históricas originais, reproduzindo-as em diferentes meios, facilitando a sua disseminação; ii) a extracção dos dados necessários ao carregamento das referidas Bases de Dados Paroquiais; iii) a análise dos documentos por diversas áreas de estudo, como por exemplo, a linguística. Este artigo evidencia ainda o processo de edição anotada dos documentos e exemplifica duas transformações possíveis dos mesmos: a visualização em HTML; e a geração automática de SQL para alimentação das Bases de Dados

Knowledge discovery in spatial databases: the PADRÃO’s qualitative approach

Knowledge discovery in databases is a complex process concerned with the discovery of relationships and other descriptions from data. Knowledge discovery in spatial databases represents a particular case of discovery, allowing the discovery of relationships that exist between spatial and non-spatial data, and other data characteristics that aren’t explicitly stored in spatial databases. This paper describes the conception and implementation of PADRÃO, a system for knowledge discovery in spatial databases. PADRÃO presents a new approach to this process, which is based on qualitative spatial reasoning. The spatial semantic knowledge and the principles of qualitative spatial reasoning needed for the spatial reasoning process are available in the PADRÃO’s geographic database and PADRÃO’s spatial knowledge base, allowing the integration of the geo-spatial component, associated with the analysed non-geographic data, in the process of knowledge discovery

Using data mining methods for demographic survey data processing

VYUŽITÍ DATA MININGOVÝCH METOD PŘI ZPRACOVÁNÍ DAT Z DEMOGRAFICKÝCH ŠETŘENÍ Abstrakt Cílem předkládané práce bylo popsat a následně demonstrovat na modelové úloze principy procesu dolování znalostí z databází, často označovaného jako data mining (DM). V teoretické části práce jsou popsány vybrané metodiky, na základě kterých se postupuje při DM procesu a dále jsou zjednodušeně popsány principy vybraných DM technik. V druhé části práce je pak realizována DM úloha, ve které se postupuje dle metodiky CRISP-DM. Jako modelová data pro tuto úlohu jsou vybrána data z výběrového šetření American Community Survey. Praktická část práce je rozdělena na dvě části. V první části je vyhotovena klasifikační úloha, jejíž cílem je zjistit, zda lze využít vybrané DM techniky k řešení problematiky chybějících údajů ve statistických šetřeních. Úspěšnost klasifikace a následné predikce hodnot u vybraných atributů se pohybovala v intervalu 55-80 %. Druhá část praktické části práce je pak zaměřena na hledání zajímavých znalostí ve vybraných datech pomocí asociačních pravidel a metody GUHA. Klíčová slova: data mining, dolování znalostí z databází, statistická šetření, chybějící hodnoty, klasifikace, asociační pravidla, metoda GUHA, ACSUSING DATA MINING METHODS FOR DEMOGRAPHIC SURVEY DATA PROCESSING Abstract The goal of the thesis was to describe and demonstrate principles of the process of knowledge discovery in databases - data mining (DM). In the theoretical part of the thesis, selected methods for data mining processes are described as well as basic principles of those DM techniques. In the second part of the thesis a DM task is realized in accordance to CRISP-DM methodology. Practical part of the thesis is divided into two parts and data from the survey of American Community Survey served as the basic data for the practical part of the thesis. First part contains a classification task which goal was to determinate whether the selected DM techniques can be used to solve missing data in the surveys. The success rate of classifications and following data value prediction in selected attributes was in 55-80 % range. The second part of the practical part of the thesis was then focused of determining knowledge of interest using associating rules and the GUHA method. Keywords: data mining, knowledge discovery in databases, statistic surveys, missing values, classification, association rules, GUHA method, ACSDepartment of Demography and GeodemographyKatedra demografie a geodemografiePřírodovědecká fakultaFaculty of Scienc