Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de InformaçãoAtualmente existe uma tendência, cada vez mais acentuada, para a utilização de software
por parte da esmagadora maioria da população (aplicações de caráter social, software de
gestão, plataformas e-commerce, entre outros), identificando-se a criação e
armazenamento de dados que, devido às suas características (volume, variedade e
velocidade), fazem emergir o conceito de Big Data. Nesta área, e para suportar o
armazenamento dos dados, Big Data Warehouses e Data Lakes são conceitos cimentados
e implementados por várias organizações, de forma a servirem a sua necessidade de
tomada de decisão. No entanto, apesar de serem conceitos estabelecidos e aceites pela
maioria da comunidade científica e por diversas organizações a nível mundial, tal não
elimina a necessidade de melhoria e inovação. É, este contexto, que origina o surgimento
do conceito de Data Mesh, propondo arquiteturas de dados decentralizadas. Após a
análise das limitações demonstrados pelas arquiteturas monolíticas (e.g., dificuldade em
mudar as tecnologias de armazenamento usadas para implementar o sistema de dados), é
possível concluir sobre a necessidade de uma mudança de paradigma que tornará as
organizações verdadeiramente orientadas aos dados. A Data Mesh consiste, na
implementação de uma arquitetura onde os dados se encontram intencionalmente
distribuídos por vários nós da Data Mesh e onde não existe caos, uma vez que existem
estratégias centralizadas de governança de dados e a garantia de que os princípios
fundamentais dos domínios são partilhados por toda a arquitetura. A presente dissertação
propõe uma abordagem para a implementação de uma Data Mesh, procurando definir o
modelo de domínios do conceito. Após esta definição é proposta de uma arquitetura
concetual e tecnológica, que visam a auxiliar a materialização dos conceitos apresentados
no modelo de domínios e assim auxiliar na conceção e implementação de uma Data Mesh.
Posteriormente é realizada uma prova de conceito, de forma a validar os supracitados
modelos, contribuindo com conhecimento técnico e científico relacionado com este
conceito emergente.Currently there is an increasingly accentuated trend towards the use of software by most
of the population (social applications, management software, e-commerce platforms,
among others), identifying the creation and storage of data that, due to its characteristics
(volume, variety, and speed), make the concept of Big Data emerge. In this area, and to
support data storage, Big Data Warehouses and Data Lakes are solid concept and
implemented by various organizations to serve their decision-making needs. However,
despite being established and accepted concepts by most of the scientific community and
by several organizations worldwide, this does not eliminate the need for improvement
and innovation in the field. It is this context that gives rise to the emergence of the Data
Mesh concept, proposing decentralized data architectures. After analyzing the limitations
demonstrated by monolithic architectures (e.g., difficulty in changing the storage
technologies used to implement the data system), it is possible to conclude on the need
for a paradigm shift that will make organizations truly data driven. Data Mesh consists,
in the implementation of an architecture where data is intentionally distributed over
several nodes of the Data Mesh, and where there is no chaos, since there are centralized
data governance strategies and the assurance that the fundamental principles of the
domains are shared throughout the architecture. This master thesis proposes an approach
for the implementation of a Data Mesh, seeking to define the domain model of the
concept. After this definition, a conceptual and technological architecture is proposed,
which aim to help materialize the concepts presented in the domain model and thus assist
in the design and implementation of a Data Mesh. Afterwards a proof-of-concept is
carried out, to validate the aforementioned models, contributing with technical and
scientific knowledge related to this emerging concept
