Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.Nowadays, the amount of daily created data goes far beyond the most optimistic expectations, established in the previous decades. This data has very different backgrounds and is presented in several forms. This new concept goes by the name of Big Data, and is creating new and convoluted challenges to its storage, processing and handling. Traditional storage systems do not arise as the right solution for this problem. These challenges are some of the most analyzed and studied informatics topics of the moment. Several technologies have emerged with this new era, from which stands out a new storage paradigm, the NoSQL movement. This new philosophy aims to answer to the storage and processing needs of these heterogeneous and voluminous data. Data warehouses are one of the major component in the Business Intelligence context and are mostly used as a tool to support the decision-making process carried out daily in an organization. Its historical component implies that large amounts of data are stored, processed and analyzed based on their repositories. Some organizations are starting to have problems to manage and store these large volumes of information. This is, in large part, due to the storage structure on which they are based. For some decades now, the relational database management systems have been considered as the primary method for storing information in a data warehouse. Actually these systems are starting to not be able of storing and managing operational data from organizations, their use in data warehouse is consequently becoming less recommended. It is intrinsically interesting that relational databases are starting to lose the fight against the data volume, at a time when a new storage paradigm emerges, precisely aiming to dominate the large data volume inherent to the Big Data era. Even more interesting is the idea that, possibly, these new NoSQL systems can bring benefits to the world of data warehouses. Thus, in this dissertation, will be studied the feasibility and implications of the adoption of NoSQL databases in the context of data warehouses, in comparison with the traditional approach, implemented on relational systems. To achieve this task a number of studies have been operated based on the relational system, SQL Server 2014 and on the NoSQL systems, MongoDB and Cassandra. Various stages of the process of designing and implementing a data warehouse were compared among the three systems, which lead to the creation of three distinct data warehouses, one based on each system. All research carried out in this work culminates in the performance comparison of queries held in the three systems