Using data vault 2.0 in the banking industry

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data ScienceOrganizations increasingly recognize data as a critical resource, demanding effective storage and processing methods to handle exponentially growing volumes of data. This is particularly pertinent in the banking industry, characterized by rapidly changing business requirements and heavy regulatory measures. This thesis investigates the application of the Data Vault 2.0 Enterprise Data Warehouse (EDW) methodology within the banking sector, an alternative to traditional Kimball and Inmon data warehouses, characterized by its flexibility, scalability, and its ability to adapt to new business requirements. This study particularly focuses on the potential of integrating data sourced from a data lake, a centralized repository capable of storing massive volumes of structurally diverse data, to amplify the potential of this solution. This research, conducted in collaboration with a leading Portuguese bank servicing three million customers, involved the creation of a Data Vault model using the bank’s customer and current account data. The model’s ability to accurately reflect the business logic and adapt to real-world requirements was demonstrated, and subsequently evaluated by experienced professionals within the organization. The results reveal significant potential for the implementation of a Data Vault 2.0 EDW in conjunction with a data lake in the banking industry, as a scalable, efficient system that can realistically be adopted and excel in an enterprise setting

Visualização analítica do sentimento negativo em opiniões acerca de serviços de telecomunicações emitidas por usuários do Twitter

Monografia (graduação)—Universidade de Brasília, Faculdade de Tecnologia, 2015.Este trabalho objetiva realizar o tratamento de grande volume de dados extraídos da rede social Twitter, de modo a revelar padrões na quantidade de reclamações dos usuários de serviços relacionados a telecomunicações.Cria-se um ambiente de visualização em tempo real dos resultados obtidos a partir de um sistema web com uma interface acolhedora. Desenvolve-se com o software Gephi gráficos relacionados a grandes volumes de dados que auxiliam a interpretação humana e a visão global da informação gerada a partir do estudo de Big Data e mineração de dados em redes sociais. A partir dos dados coletados no Twitter, foi gerado um estudo sobre a percepção por parte dos usuários dos serviços de telecomunicações das principais empresas atuantes no mercado brasileiro. Este estudo ilustra quantitativamente e de forma comprovável, através de um tratamento de inteligência artificial, uma análise do possível sentimento de insatisfação vivenciado por alguns usuários, não sendo, no entanto, capaz de acertar na totalidade dos casos sua percepção.This study aims to carry out the treatment of large volume of data extracted from the social network Twitter, to reveal patterns in the number of complaints from users of services related to telecommunications. It creates a display environment in real time the results obtained from a web system with a warm interface. It develops with the graphics software Gephi related to large volumes of data that help human interpretation and the global vision of information generated from the study of Big Data and data mining on social networks. From the data collected in Twitter, a study was generated on the perception of the users of telecommunications services of the leading companies in the Brazilian market. This study illustrates quantitatively and verifiable manner through a treatment artificial intelligence, analysis of the possible feeling of dissatisfaction experienced by some users, which does not, however, able to hit in all cases perception

Marketing de relacionamento: o crescimento do dinheiro de plástico

Os cartões de crédito estão diariamente presentes na vida de todos. O dinheiro de plástico está substituindo aos poucos a moeda de papel. O mercado aceita diversos tipos de cartões que aos poucos conquistam consumidores que antes tinham receio ou bloqueio no costume de utilizar para pagar as contas. O ritmo no crescimento é tão animador que os cartões de débito, que antes tinham pouco uso, agora ultrapassam a modalidade de crédito, pela primeira vez em 2009. Este projeto desenvolve uma análise sobre o mercado nacional de cartões e sua forma de atuação dentro das instituições bancárias, servindo como referência na criação de novos produtos e novas estratégias para ampliar ainda mais o mercado. O cartão é um produto que facilita a vida das pessoas e através deles os bancos possuem um enorme potencial para se relacionar com os clientes e criar produtos inovadores. Este projeto pretende demonstrar como as ferramentas do Marketing de Relacionamento e o CRM – Customer Relationship Management, aplicadas aos cartões de crédito e débito, podem servir como ações estratégicas para aumentar o número de clientes dos bancos através da prestação de serviços. Os resultados são conhecidos através da pesquisa e da análise bibliográfica onde será possível demonstrar que ferramentas como database marketing, data mining, data warehouse são importantes para o crescimento do mercado e tem papel fundamental nas novas estratégias que vão ser traçadas pelos

Automatização da evolução de esquemas em ferramentas de transporte de dados para data warehouse

Orientador: Marcos Sfair SunyeDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências ExatasResumo: A diversidade de bases de dados encontradas nas empresas vem criando um dos desafios mais importantes na área de Bancos de Dados. Este desafio é o de tomar interoperáveis as diversas bases de dados existentes nestas empresas. Uma forma de conseguir a interoperabilidade dos dados é através da criação de um esquema integrado a partir dos sistemas aplicativos operacionais, tais como Recursos Humanos, Contabilidade, Contas a Pagar, entre outros. O conjunto de todos estes sistemas permite criar um ambiente integrado e consolidado de informações da empresa. Este tipo de ambiente têm como característica a contínua evolução dos diversos modelos de dados dos sistemas que participam da consolidação como fornecedores de informações. Este trabalho estuda o processo de administração do transporte contínuo de dados para um ambiente consolidado e o controle automático da evolução dos esquemas que participam da integração, visando a criação de um ambiente de data warehouse. Buscou-se uma solução através do desenvolvimento de um modelo de dados, o qual chamamos de "integrador". Com base neste modelo foi construída uma ferramenta para administrar e automatizar todo o movimento de informações sobre mudanças nos modelos, informações estas que caracterizam a evolução dos modelos. Para dar maior independência na solução e padronizar a comunicação entre modelos, foi utilizado XML na formatação dos arquivos e nas mensagens entre esquemas. Para testar a ferramenta e o modelo "integrador" proposto, desenvolveu-se um projeto piloto de data warehouse simulando um ambiente do setor bancário.Abstract: The database's diversity in corporations generates one of the most important challenges in the area of databases. This challenge is to reach the interoperability among the several existent databases in these companies. A form of getting the communication of the data is through the creation of an integrated schema starting from the systems operational applications, such as Human Resources, Accounting, Accounting Payable, among others. The set of all these systems allow to create an environment integrated and consolidated of the company information. This type of environment has as characteristic the continuous evolution of the diverse system data models that participate in the consolidation as supplying of information. This work studies the process management of the continuous carrier of data for a consolidated environment and the automatic control of the evolution of the projects that participate in the integration, aiming at the creation a data warehouse environment. A solution was searched through the development of a data model that we call "integrator". Based in this model, a tool was built to accomodate the legacies databases schema evolution. To give greater independence in the solution and to standardize the communication among models, XML was used in the formatting of the archives and the messages among schémas. To test the tool and the model "integrator", we developed a prototype of data warehouse simulating an environment in a Business Bank

Uma análise de desempenho de uma abordagem NoSQL no Bussiness Intelligence

Trabalho de conclusão de curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2017.O BI, também conhecido por Business Intelligence (Inteligência do negócio), é o conjunto de tecnologias orientadas a disponibilizar informação e conhecimento em uma organização para a tomada de decisão. Sua implementação inclui um Data Warehouse, que é uma ferramenta cuja concepção e administração é voltada a bancos de dados ou um volume de dados. Com o o avanço das tecnologias voltadas a escalabilidade de um banco de dados, o uso de bancos voltados a desempenho que administram uma massiva quantidade de dados vem aumentando e são desenvolvidos para ambientes de baixo custo. Esses bancos de dados são conhecidos como bancos NoSQL. Este trabalho apresenta um estudo de caso para analise de desempenho entre uma nova abordagem de um Data Warehouse, onde expõe testes feitos comparativos para avaliar o desempenho da consulta de dados nessa nova abordagem, utilizando o Cassandra, um banco de dados NoSQL, comparando a uma abordagem tradicional em um banco de dado relacional MySQL.BI, also known as Business Intelligence, is the set of technologies oriented to providing information and knowledge in an organization for decision making. Its implementation includes a Data Warehouse, which is a tool whose design and administration is focused on databases or a volume of data. Through the advancement of technologies focused on the database scalability, the use of performance-oriented databases that manage a massive amount of data has been growing and are designed for low-cost environments. These databases are known as NoSQL. This paper presents a case study for performance analysis between a new approach of a DataWarehouse, where it exposes comparative tests to evaluate the performance of the data query in this new approach, using Cassandra, a NoSQL database comparing to a traditional approach in a MySQL relational database

Solução Analítica de Suporte à Decisão no âmbito da Gestão Académica no Ensino Superior

Num mercado altamente competitivo, o acesso à informação torna-se cada vez mais um dos principais motivos diferenciadores. A par das pessoas, a informação é considerada o ativo mais importante para qualquer organização. Devido à elevada quantidade de informação disponível, tornou-se imperativo analisar e tirar as conclusões importantes para o negócio no menor tempo possível. Os sistemas de Enterprise Resource Planning, bem como outros sistemas de suporte ao negócio, são a grande fonte de informação e apoio às operações do dia a dia. A informação que está presente nestes sistemas, quando analisada da forma mais correta e rápida possível, acelera o processo de decisão, tornando-se uma grande vantagem competitiva. Começam a surgir soluções tecnológicas com o objetivo de complementar os sistemas já existentes, e, de alguma forma, contribuir para um retorno mais substancial para as organizações. Estes sistemas são chamados de sistemas Business Intelligence (BI) e surgiram, para além de apoiar no processo de decisão como já foi enunciado, como uma ferramenta de apoio na transformação de informação que até então não era acessível em tempo útil. Esta torna-se mais vantajosa quanto maior for a organização e quanto maior for o número de sistemas que são utilizados nas operações do dia a dia. Neste contexto, várias organizações começam a sentir a necessidade de acelerar o seu processo de decisão, procurando introduzir estes sistemas no seu ambiente de trabalho. O projeto pretende responder às necessidades de controlo e tomada de decisão na área da Gestão Académica visando ser implementado futuramente nas diferentes Universidades e Institutos Politécnicos. Através da análise da procura e eficácia dos cursos superiores, através do controlo da receita, assiduidade e planeamento dá-se resposta a um conjunto de necessidades e requisitos desta área. Concluindo, com esta dissertação pretende-se descrever uma metodologia funcional e técnica para a criação de uma solução de Business Intelligence, desde a criação do Data Mart, processos de ETL, Metadata e ainda ferramentas de reporting. A área de Business Intelligence tem sofrido uma enorme evolução nos últimos anos e, consequência desse facto, durante a exploração da informação através da ferramenta de reporting utilizada. A solução será ainda alvo de uma análise com o objetivo de encontrar alternativas para exploração da informação (ferramentas de reporting) que não estejam a ser utilizadas atualmente. Por fim, depois de uma análise dos resultados e das ferramentas utilizadas é sugerido um caminho, analisando o seu impacto na solução final em conjunto com as novas tecnologias exploradas de uma forma mais pormenorizada.In a highly competitive market,access to information is increasingly becoming one of the main differentiating factors. In addition to human resources, information is considered to be any organisations' most important asset. Due to the high amount of information available, analysing and drawing important business conclusions in the least time possible has become an imperative. Entreprise Resource Planning systems, as well as other business support systems, are the greatest source of information and support to daily operations. The information contained in these systems can accelerate decision-making, if analysed as properly and as quickly as possible. New technological solutions have risen, as a complement to the already existing systems, and also, in some way, as a contribute to a more substantial return to organisations. These systems are knowb as Business Intelligence and, along with helping in the decision-making process,as mentioned above, they were created as a support tool to transform information that was not until now accessible on time. The larger the organisation and the greater the number of systems used in daily operations, the more advantageous it becomes to the firm. In this context, many firms begin to feel the need to accelerate their decision-making process, by introducing these systems in the working place. This project seeks to answer to the needs of control and decision-making in the field of Academic Management, with the aim of being implemented in the future in universities and polytechnic institutes. Through the analysis of demand and effectiveness and through the control of revenue,attendance and planning an answer is given to the needs and requests in this field. To conclude, the objective of this dissertation will be to describe a functional and technical methodology to the creation of a Business Intelligence solution, from the creation of a Data Mart, ETL processes, Metadata and even reporting tools. The field of Business Intelligence has been going through a major evolution over the last years and, as a result thereof, during the investigation of the information using the reporting tool. The solution will be subject to analysis as a way to find alternatives to investigate information (reporting tools) that are not currently being used. Finally, after analysing the results and the tools that were used, a path is suggested, with the analysis of its impact in the final solution together with the newly explored technologies being explored in more detail

Abordagem Big Data a dados de mobilidade em transportes públicos

A necessidade de armazenar, processar e analisar os dados é uma realidade cada vez presente nas empresas onde as decisões de negócio dependem muito das plataformas digitais. A introdução do conceito de Data Warehouse teve como finalidade facilitar e melhorar o processo de recolha de indicadores de negócio imprescindíveis. O conceito de Big Data veio com o aumento da variedade e do volume de dados para fins de análise. Com esse conceito em mente, foram desenvolvidas tecnologias para fazerem face aos desafios impostos. A transformação digital no registo de entradas e saídas nos transportes público leva a grandes volumes de dados que podem ser usados para aplicar análises de negócio na área [1]. Este projeto visa a recolha de um conjunto de tecnologias na vertente do Big Data e a avaliação da capacidade de armazenamento, do método de elaboração dos métodos de ETL e do desempenho na obtenção de resposta a um conjunto de queries, consoante o aumento do volume de dados de mobilidade, referentes às entradas dos autocarros da companhia de transportes públicos Horários do Funchal. É introduzida neste projeto uma revisão de literatura sobre os conceitos de Data Warehouse, de modelos dimensionais e de Big Data, bem como nas tecnologias existentes e trabalhos relacionados com manipulação de Big Data. Foi também objeto de análise do estado da arte a aplicação destas tecnologias nos transportes públicos. Os resultados apresentados revelam que algumas plataformas conseguem adequar-se bem ao um aumento do volume de dados, com boas capacidades de desempenho, tanto na execução de processos de ETL, como na execução de queries de consulta, em comparação a outras tecnologias, cujo resultados são pouco práticos neste tipo de estudo.The need to store, process and analyse data is a increasingly present reality in companies where business decisions depend heavily on digital platforms. The purpose of introducing the Data Warehouse concept was to facilitate and improve the process of collecting essential business indicators. The concept of Big Data came with the increase in the variety and the volume of data for analysis purposes. With the concept in mind, technologies were developed to face the imposed challenges. The digital transformation in the registration of entrances and exits in the public transport lead to large volumes of data that can be used to apply business analysis [1]. This project aims to collect a set of technologies in the field of Big Data and evaluate the storage capacity, the method of elaborating ETL methods and the performance in obtaining a response to a set of queries, referring to the entrances of the buses of public transport company Horários do Funchal. This project introduces a literature review on the concepts of Data Warehouse, dimensional models and Big Data, as well as existing technologies and work related to Big Data manipulation. The application of these technologies in public transport was also subject to a state-of-the-art analysis. The presented results reveal that some platforms are able to adapt well to an increase in the volume, with good performance capabilities, both in the execution of ETL processes and in the execution of queries, in comparison to other technologies, whose results are impractical in this type of study

Processamento analítico de fluxos de dados de tráfego em tempo quase real

Mestrado em Sistemas de InformaçãoNos dias de hoje, as tecnologias com as quais temos contacto geram dados sobre a sua utilização e sobre o utilizador, com uma velocidade e variedade sem precedentes. Cria-se assim a necessidade de gerir os fluxos de dados e de transformar estes dados em informação armazenada de forma estruturada, inferindo sobre a mesma e retirando conclusões. As áreas de aplicação são diversas e uma das vertentes que tem recebido maior atenção é o processamento de dados referentes ao tráfego automóvel obtidos usando dispositivos GPS, que se devidamente tratados permitem dar informação adicional aos utilizadores sobre o estado do trânsito, encontrar os caminhos mais rápidos ou até fazer previsões sobre o tráfego no futuro. O objetivo desta dissertação consiste em implementar um protótipo que consiga fazer o processamento de um fluxo de dados obtidos em tempo real e estruturá-los de forma a dar respostas sobre o estado do tráfego no momento e no futuro próximo. Para conseguir dar estas respostas, serão considerados não só os dados recebidos em tempo real como também informação adquirida anteriormente, de forma a ser possível fazer comparações e tirar conclusões. O protótipo está dividido em três módulos principais: o pré-processamento e a análise de dados históricos; o processamento de dados de tráfego em tempo quase real; e a apresentação de resultados. O protótipo foi sujeito a testes e os seus resultados sujeitos a avaliação de forma a verificar a validade das respostas devolvidas ao utilizador.Nowadays, the technologies we handle generate data about their usage and the user, with an unprecedented rate and variety. This raises the need to manage all the data streams and to transform these data in information. This information is stored in a structured way allowing to infer about it and withdraw conclusions. There is a wide range of application areas, with the car traffic data processing receiving the most attention. These data are obtained from GPS devices and if properly processed, allow the user to have additional information about the traffic status, the faster way to a destination and even predictions on the future traffic status. This dissertation aims to implement a prototype able to process and structure the data streams in real-time, to ultimately present answers about the traffic status at the moment or even in a near future. These answers are obtained not only by the real-time information but also by previously acquired information. Having two sources of information allows to compare and withdraw statistical conclusions. The prototype is divided in three main modules: the pre-processing and analysis of historical data; the processing of traffic data in near real-time; and the results presentation. The prototype was subject to tests and their results subject to evaluation to verify the answers’ assertiveness

Índices de segurança comunitária e pontos turísticos: uma proposta de modelo para correlacionar locais seguros e pontos turísticos a partir de dados abertos

Dissertation presented as the partial requirement for obtaining a Master's degree in Information Management, specialization in Knowledge Management and Business IntelligenceSão muitas as decisões que auxiliam na escolha de um destino turístico. Geralmente, além de saber quais são os pontos que devem ser visitados, é comum também buscar alguma informação sobre as condições de segurança e acesso do lugar, bairro, cidade ou, em um caso mais específico, do próprio país de destino. Geralmente, esse tipo de informação é encontrado de forma estruturada em fontes oficiais de dados abertos (embora aceitar ou recusar a disponibilização desses dados seja uma decisão dos governos) e de forma menos estruturada por meio da consulta pública de sítios na web. No entanto, a informação existe - mais em uma forma textual - há uma falta de um padrão comum para definir locais seguros e inseguros. Neste documento, o modelo proposto combina dados abertos e outros conteúdos de sites que, após passarem por um processo de classificação, permitirão a definição de uma pontuação. Ao fim, os dados consolidados serão oferecidos também como uma fonte de dados abertos, dando a chance de não apenas ajudar os turistas em suas decisões de viagem, mas também, por outro lado, dar informações suficientes ao governo para lidar melhor com as questões segurança e acessibilidade.There are many decisions in place that can help to choose a tourism destiny. Besides knowing what are the attractions that must be visited, it is also common to look for some information regarding the safety conditions of the supposed place, neighborhood, city or in a more specific case, the destined country itself. This kind of information is usually found in a structured way at official Open Data sources and in a less structured form through the public collection of web sites. Even though the information exists – most in a textual form - there is a lack of a common standard to define safe from unsafe places. In this document, the proposed model combines open data, social networks and other web sites contents that after passing through a classification process will allow the definition of a score. In the end, the consoled will also be offered as an open data resource, allowing tourists to be assisted in their traveling decisions and also the government to evaluate and improve the tourist experience

Metodologia para avaliação e implantação de uma camada de conhecimento baseada em prototipagem em empresas que possuam sistemas de ERP

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção