Intellectual analysis of demographic data

Розглянуто теоретичні передумови та практичні аспекти застосування інтелектуального аналізу даних до опрацювання демографічних даних. Проаналізовано відмінності між інформаційними системами різного типу (облікового, аналітичного, з можливостями інтелектуального аналізу даних) у галузі статистики населення.In the paper, we discuss theoretical background and practical aspects of applying data mining to demographic data processing. The differences between information systems of various kind (OLTP, OLAP, and ones with data mining capabilities) in vital statistics area are analyzed

Estudo e Avaliação de Plataformas de Business Intelligence em contexto empresarial

O crescente interesse pela área de Business Intelligence (BI) tem origem no reconhecimento da sua importância pelas organizações, como poderoso aliado dos processos de tomada de decisão. O BI é um conceito dinâmico, que se amplia à medida que são integradas novas ferramentas, em resposta a necessidades emergentes dos mercados. O BI não constitui, ainda, uma realidade nas pequenas e médias empresas, sendo, até, desconhecido para muitas. São, essencialmente, as empresas de maior dimensão, com presença em diferentes mercados e/ou áreas de negócio mais abrangentes, que recorrem a estas soluções. A implementação de ferramentas BI nas organizações depende, pois, das especificidades destas, sendo fundamental que a informação sobre as plataformas disponíveis e suas funcionalidades seja objetiva e inequívoca. Só uma escolha correta, que responda às necessidades da área de negócio desenvolvida, permitirá obter dados que resultem em ganhos, potenciando a vantagem competitiva empresarial. Com este propósito, efectua-se, na presente dissertação, uma análise comparativa das funcionalidades existentes em diversas ferramentas BI, que se pretende que venha auxiliar os processos de seleção da plataforma BI mais adaptada a cada organização e/ou negócio. As plataformas BI enquadram-se em duas grandes vertentes, as que implicam custos de aquisição, de índole comercial, e as disponibilizadas de forma livre, ou em código aberto, designadas open source. Neste sentido, equaciona-se se estas últimas podem constituir uma opção válida para as empresas com recursos mais escassos. Num primeiro momento, procede-se à implementação de tecnologias BI numa organização concreta, a operar na indústria de componentes automóveis, a Yazaki Saltano de Ovar Produtos Eléctricos, Ltd., implantada em Portugal há mais de 25 anos. Para esta empresa, o desenvolvimento de soluções com recurso a ferramentas BI afigura-se como um meio adequado de melhorar o acompanhamento aos seus indicadores de performance. Este processo concretizou-se a partir da stack tecnológica pré-existente na organização, a plataforma BI comercial da Microsoft. Com o objetivo de, por um lado, reunir contributos que possibilitem elucidar as organizações na escolha da plataforma BI mais adequada e, por outro, compreender se as plataformas open source podem constituir uma alternativa credível às plataformas comerciais, procedeu-se a uma pesquisa comparativa das funcionalidades das várias plataformas BI open source. Em resultado desta análise, foram selecionadas duas plataformas, a SpagoBI e a PentahoBI, utilizadas na verificação do potencial alternativo das open source face às plataformas comerciais. Com base nessas plataformas, reproduziu-se os processos e procedimentos desenvolvidos no âmbito do projeto de implementação BI realizado na empresa Yazaki Saltano.The growing interest in Business Intelligence (BI) is based on the recognition of its importance by organizations as a powerful supporter in the decision making process. BI is a dynamic concept that expands as you integrate new tools in response to markets needs. BI isn’t yet a reality in small and medium enterprises and it's even unknown in many of them. It’s mostly the larger companies, operating in different markets and/or business that use these solutions. BI tools implementation depends on organizations specificities, and the information available about platforms and their functionalities must be objective and clear. Only a correct choice, in response to business needs, allows data that result in gains and competitive advantage. For this purpose, a comparative analysis of several BI tools was made, to help select the most suitable BI platform to an organization and/or business. BI Platforms fall into two main areas, the ones involving acquisition costs, the commercial BI platforms, and those available in open code, the so called open source platforms. The latest may be a relevant option for small and medium enterprises, especially for companies with limited resources. In a first moment, it occurs the implementation of BI technology in an automotive components industry, Yazaki Saltano de Ovar Produtos Eléctricos, Ltd., located in Portugal for over 25 years. For this company, the development of BI solutions is an appropriate way to improve monitoring of performance indicators. This process used the already existing technology stack at Yazaki, Microsoft commercial BI platform. Then, after a comparative survey of several open source BI platforms, two of them were chosen to test their potential: SpagoBI and PentahoBI. With these platforms, some procedures from the BI implementation held at Yazaki Saltano have been reproduced. The purpose was to gather some contributions in order to help organizations to choose the most appropriate BI platform and verify whether the open source platforms can be a real alternative to commercial ones

Open City Data Pipeline

Statistical data about cities, regions and at country level is collected for various purposes and from various institutions. Yet, while access to high quality and recent such data is crucial both for decision makers as well as for the public, all to often such collections of data remain isolated and not re-usable, let alone properly integrated. In this paper we present the Open City Data Pipeline, a focused attempt to collect, integrate, and enrich statistical data collected at city level worldwide, and republish this data in a reusable manner as Linked Data. The main feature of the Open City Data Pipeline are: (i) we integrate and cleanse data from several sources in a modular and extensible, always up-to-date fashion; (ii) we use both Machine Learning techniques as well as ontological reasoning over equational background knowledge to enrich the data by imputing missing values, (iii) we assess the estimated accuracy of such imputations per indicator. Additionally, (iv) we make the integrated and enriched data available both in a we browser interface and as machine-readable Linked Data, using standard vocabularies such as QB and PROV, and linking to e.g. DBpedia. Lastly, in an exhaustive evaluation of our approach, we compare our enrichment and cleansing techniques to a preliminary version of the Open City Data Pipeline presented at ISWC2015: firstly, we demonstrate that the combination of equational knowledge and standard machine learning techniques significantly helps to improve the quality of our missing value imputations; secondly, we arguable show that the more data we integrate, the more reliable our predictions become. Hence, over time, the Open City Data Pipeline shall provide a sustainable effort to serve Linked Data about cities in increasing quality.Series: Working Papers on Information Systems, Information Business and Operation

Data mining languages for business intelligence

Tese de doutoramento in Information Systems and Technologies (area of Engineering and Management Information Systems)Desde que Lunh usou, pela primeira vez, em 1958, o termo Business Intelligence (BI), grandes transformações se operaram na área dos sistemas e tecnologias de informação e, em especial, na área dos sistemas de apoio à decisão. Atualmente, os sistemas de BI são amplamente utilizados nas organizações e a sua importância estratégica é largamente reconhecida. Estes sistemas apresentam-se como essenciais para um completo conhecimento do negócio e como uma ferramenta insubstituível no apoio à tomada de decisão. A divulgação das ferramentas de Data Mining (DM) tem vindo a aumentar na área do BI, assim como o reconhecimento da relevância da sua utilização nos sistemas de BI empresariais. As ferramentas de BI são ferramentas amigáveis, iterativas e interativas, permitindo aos utilizadores finais um acesso fácil. Desta forma, é possível ao utilizador final manipular diretamente os dados, tendo assim a possibilidade de extrair todo o valor para o negócio neles contido. Um dos problemas apontados na utilização do DM na área do BI prende-se com o facto de os modelos de DM serem, em geral, demasiado complexos para que os utilizadores de negócio os possam manipular diretamente, contrariamente ao que ocorre com as outras ferramentas de BI. Neste contexto, foi identificado como problema de investigação a não existência de ferramentas de BI que possibilitem ao utilizador de negócio a manipulação direta dos modelos de DM e, consequentemente, não possibilitando extrair todo o valor potencial neles contidos. Este aspeto reveste-se de particular importância num universo empresarial no qual a concorrência é cada vez mais forte e no qual o conhecimento do negócio, das variáveis envolvidas e dos potenciais cenários representam um papel fundamental para as organizações poderem concorrer num mercado extremamente exigente. Considerando que os sistemas de BI assentam, maioritariamente, sobre sistemas operacionais que utilizam sobretudo o modelo relacional de bases de dados, a investigação efetuada inspirouse nos conceitos ligados ao modelo relacional de bases de dados e nas linguagens a ele associadas em particular as linguagens Query-By-Example (QBE). Estas linguagens têm uma forte componente de interactividade, são amigáveis e permitem iteratividade e são amplamente utilizadas em ambiente de negócio pelos utilizadores finais. Têm vindo a ser desenvolvidos esforços no sentido do desenvolvimento de padrões e normas na área do DM, sendo dada grande relevância ao tema das bases de dados indutivas. No contexto das bases de dados indutivas é dada grande relevância às chamadas linguagens de DM. Estes conceitos serviram, igualmente, de inspiração a esta investigação. Apesar da importância destas linguagens de DM, elas não estão orientadas para os utilizadores finais em ambientes de negócio. Ligando os conceitos relacionados com as linguagens QBE e com as linguagens de DM, foi concebida e implementada uma linguagem de DM para BI, à qual foi dado o nome QMBE. Esta nova linguagem é por natureza amigável, iterativa e interativa, isto é, apresenta as mesmas características que as ferramentas de BI habituais permitindo aos utilizadores finais a manipulação direta dos modelos de DM e, deste modo, aceder a todo o valor potencial desses modelos com todos as vantagens que daí poderão advir. Utilizando um protótipo de um sistema de BI, a linguagem foi implementada, testada e avaliada conceptualmente. Verificou-se que a linguagem possui as propriedades desejadas, a saber, é amigável, iterativa, interativa. Finalmente, a linguagem foi avaliada por utilizadores finais que já tinham experiência anterior na utilização de DM em contexto de BI. Verificou-se que na ótica destes utilizadores a utilização da linguagem apresenta vantagens em relação à utilização tradicional de DM no âmbito do BI.Since Lunh first used the term Business Intelligence (BI) in 1958, major transformations happened in the field of information systems and technologies, especially in the area of decision support systems. Nowadays, BI systems are widely used in organizations and their strategic importance is clearly recognized. These systems present themselves as an essential part of a complete knowledge of business and an irreplaceable tool in the support to decision making. The dissemination of data mining (DM) tools is increasing in the BI field, as well as the acknowledgement of the relevance of its usage in enterprise BI systems. BI tools are friendly, iterative and interactive, allowing business users an easy access. This way, the user can directly manipulate data, thus having the possibility to extract all the value contained into that business data. One of the problems noted in the use of DM in the field of BI is related to the fact that DM models are, generally, too complex in order to be directly manipulated by business users, as opposite to other BI tools. Within this context, the nonexistence of BI tools allowing business users the direct manipulation of DM models was identified as the research problem, since that, as a consequence of business users not directly manipulating DM models, they can be not able of extracting all the potential value contained in DM models. This aspect has a particular relevance in an entrepreneurial universe where competition is stronger every day and the knowledge of the business, the variables involved and the possible scenarios play a fundamental role in allowing organizations to compete in an extremely demanding market. Considering that the majority of BI systems are built on top of operational systems, which use mainly the relational model for databases, the research was inspired on the concepts related to this model and associated languages in particular Query-By-Example (QBE) languages. These languages are widely used by business users in business environments, and have got a strong interactivity component, are user-friendly, and allow for iterativeness. Efforts are being developed in order to create standards and rules in the field of DM with great relevance being given to the subject of inductive databases. Within the context of inductive databases a great relevance is given to the so called DM languages. These concepts were also an inspiration for this research. Despite their importance, these languages are not oriented to business users in business environments. Linking concepts related with QBE languages and with DM languages, a new DM language for BI, named as Query-Models-By-Example (QMBE) was conceived and implemented. This new language is, by nature, user-friendly, iterative and interactive; it presents the same characteristics as the usual BI tools allowing business users the direct manipulation of DM models and, through this, the access to the potential value of these models with all the advantages that may arise. Using a BI system prototype, the language was implemented, tested, and conceptually evaluated. It has been verified that the language possesses the desired properties, namely, being userfriendly, iterative, and interactive. The language was evaluated later by business users who were already experienced in using DM within the context of BI. It has been verified that, according to these users, using the language presents advantages when comparing to the traditional use of DM within BI

Data mining languages for business intelligence

Doctoral Thesis in Information Systems and Technologies Area of Engineering and Manag ement Information SystemsDesde que Lunh usou, pela primeira vez, em 1958, o termo Business Intelligence (BI), grandes transformações se operaram na área dos sistemas e t ecnologias de informação e, em especial, na área dos sistemas de apoio à decisão. Atualmente , os sistemas de BI são amplamente utilizados nas organizações e a sua importância est ratégica é largamente reconhecida. Estes sistemas apresentam-se como essenciais para um comp leto conhecimento do negócio e como uma ferramenta insubstituível no apoio à tomada de decisão. A divulgação das ferramentas de Data Mining (DM) tem vindo a aumentar na área do BI, assim como o reconhecimento da relevância da sua utilização nos sistemas de BI emp resariais. As ferramentas de BI são ferramentas amigáveis, ite rativas e interativas, permitindo aos utilizadores finais um acesso fácil. Desta forma, é possível ao utilizador final manipular diretamente os dados, tendo assim a possibilidade d e extrair todo o valor para o negócio neles contido. Um dos problemas apontados na utilização d o DM na área do BI prende-se com o facto de os modelos de DM serem, em geral, demasiado comp lexos para que os utilizadores de negócio os possam manipular diretamente, contrariam ente ao que ocorre com as outras ferramentas de BI. Neste contexto, foi identificado como problema de i nvestigação a não existência de ferramentas de BI que possibilitem ao utilizador de negócio a m anipulação direta dos modelos de DM e, consequentemente, não possibilitando extrair todo o valor potencial neles contidos. Este aspeto reveste-se de particular importância num universo e mpresarial no qual a concorrência é cada vez mais forte e no qual o conhecimento do negócio, das variáveis envolvidas e dos potenciais cenários representam um papel fundamental para as o rganizações poderem concorrer num mercado extremamente exigente. Considerando que os sistemas de BI assentam, maiori tariamente, sobre sistemas operacionais que utilizam sobretudo o modelo relacional de bases de dados, a investigação efetuada inspirou- se nos conceitos ligados ao modelo relacional de ba ses de dados e nas linguagens a ele associadas em particular as linguagens Query-By-Exa mple (QBE). Estas linguagens têm uma forte componente de interactividade, são amigáveis e permitem iteratividade e são amplamente utilizadas em ambiente de negócio pelos utilizadore s finais. Têm vindo a ser desenvolvidos esforços no sentido d o desenvolvimento de padrões e normas na área do DM, sendo dada grande relevância ao tema da s bases de dados indutivas. No contexto Data mining languages for business intelligence iv das bases de dados indutivas é dada grande relevânc ia às chamadas linguagens de DM. Estes conceitos serviram, igualmente, de inspiração a est a investigação. Apesar da importância destas linguagens de DM, elas não estão orientadas para os utilizadores finais em ambientes de negócio. Ligando os conceitos relacionados com as linguagens QBE e com as linguagens de DM, foi concebida e implementada uma linguagem de DM para B I, à qual foi dado o nome QMBE. Esta nova linguagem é por natureza amigável, iterativa e interativa, isto é, apresenta as mesmas características que as ferramentas de BI habituais permitindo aos utilizadores finais a manipulação direta dos modelos de DM e, deste modo, aceder a todo o valor potencial desses modelos com todos as vantagens que daí poderão advi r. Utilizando um protótipo de um sistema de BI, a linguagem foi implementada, testada e aval iada conceptualmente. Verificou-se que a linguagem possui as propriedades desejadas, a saber , é amigável, iterativa, interativa. Finalmente, a linguagem foi avaliada por utilizador es finais que já tinham experiência anterior na utilização de DM em contexto de BI. Verificou-se qu e na ótica destes utilizadores a utilização da linguagem apresenta vantagens em relação à utilizaç ão tradicional de DM no âmbito do BI.Since Lunh first used the term Business Intelligenc e (BI) in 1958, major transformations happened in the field of information systems and te chnologies, especially in the area of decision support systems. Nowadays, BI systems are widely us ed in organizations and their strategic importance is clearly recognized. These systems pre sent themselves as an essential part of a complete knowledge of business and an irreplaceable tool in the support to decision making. The dissemination of data mining (DM) tools is increasi ng in the BI field, as well as the acknowledgement of the relevance of its usage in en terprise BI systems. BI tools are friendly, iterative and interactive, a llowing business users an easy access. This way, the user can directly manipulate data, thus having the possibility to extract all the value contained into that business data. One of the problems noted in the use of DM in the field of BI is related to the fact that DM models are, generally, too complex in order to be directly manipulated by business users, as opposite to other BI tools. Within this context, the nonexistence of BI tools a llowing business users the direct manipulation of DM models was identified as the research problem , since that, as a consequence of business users not directly manipulating DM models, they can be not able of extracting all the potential value contained in DM models. This aspect has a par ticular relevance in an entrepreneurial universe where competition is stronger every day an d the knowledge of the business, the variables involved and the possible scenarios play a fundamental role in allowing organizations to compete in an extremely demanding market. Considering that the majority of BI systems are bui lt on top of operational systems, which use mainly the relational model for databases, the rese arch was inspired on the concepts related to this model and associated languages in particular Q uery-By-Example (QBE) languages. These languages are widely used by business users in busi ness environments, and have got a strong interactivity component, are user-friendly, and all ow for iterativeness. Efforts are being developed in order to create stan dards and rules in the field of DM with great relevance being given to the subject of inductive d atabases. Within the context of inductive databases a great relevance is given to the so call ed DM languages. These concepts were also an inspiration for this research. Despite their import ance, these languages are not oriented to business users in business environments. Data mining languages for business intelligence vi Linking concepts related with QBE languages and wit h DM languages, a new DM language for BI, named as Query-Models-By-Example (QMBE) was conceiv ed and implemented. This new language is, by nature, user-friendly, iterative an d interactive; it presents the same characteristics as the usual BI tools allowing business users the d irect manipulation of DM models and, through this, the access to the potential value of these mo dels with all the advantages that may arise. Using a BI system prototype, the language was imple mented, tested, and conceptually evaluated. It has been verified that the language possesses th e desired properties, namely, being user- friendly, iterative, and interactive. The language was evaluated later by business users who were already experienced in using DM within the context of BI. It has been verified that, according to these users, using the language presents advantages when comparing to the traditional use of DM within BI

Flexible Integration and Efficient Analysis of Multidimensional Datasets from the Web

If numeric data from the Web are brought together, natural scientists can compare climate measurements with estimations, financial analysts can evaluate companies based on balance sheets and daily stock market values, and citizens can explore the GDP per capita from several data sources. However, heterogeneities and size of data remain a problem. This work presents methods to query a uniform view - the Global Cube - of available datasets from the Web and builds on Linked Data query approaches

Decision Support Systems

Decision support systems (DSS) have evolved over the past four decades from theoretical concepts into real world computerized applications. DSS architecture contains three key components: knowledge base, computerized model, and user interface. DSS simulate cognitive decision-making functions of humans based on artificial intelligence methodologies (including expert systems, data mining, machine learning, connectionism, logistical reasoning, etc.) in order to perform decision support functions. The applications of DSS cover many domains, ranging from aviation monitoring, transportation safety, clinical diagnosis, weather forecast, business management to internet search strategy. By combining knowledge bases with inference rules, DSS are able to provide suggestions to end users to improve decisions and outcomes. This book is written as a textbook so that it can be used in formal courses examining decision support systems. It may be used by both undergraduate and graduate students from diverse computer-related fields. It will also be of value to established professionals as a text for self-study or for reference