Arquitectura de referencia de ecosistemas de datos basada en data mesh & data fabric

Abstract

Digital transformation requires rapid and profound changes to take advantage of technologies and data in order to make decision-making more effective with agility and self-sustainability. The complexity of data in the modern era and the silos that are generated at big scale drive the emergence of new data management models and architectures that focus on the intrinsic characteristics of digital ecosystems, characterized by the strong interrelationships of various actors through along the value chain, the platforms as the basis for interoperating with each other and the co-evolution of data products that emanate from increasingly heterogeneous sources. This article proposes the design of a reference architecture for data ecosystems based on the data architectures that are best supporting data management in this complex scenario: Data Mesh and Data Fabric, and with the use of knowledge graphs for the integration. As a method, an analysis of the most recent literature on data management and architectures is used to extract the principles and architectural components that are used in the design of such a reference architecture. An abstract representation of the reference architecture of data ecosystems is obtained, whose operational model is theoretically verified. It is the starting point for future research that will be directed towards its implementation in real use cases and organizational modeling related to the roles of the actors involved in the ecosystem reflected in the architecture itself.La transformación digital exige cambios acelerados y profundos para aprovechar las tecnologías y los datos en función de hacer más eficaz la toma de decisiones con agilidad y autosostenibilidad. La complejidad de los datos en la era moderna y los silos que se generan a gran escala impulsan la emergencia de nuevos modelos y arquitecturas de gestión de datos que se enfocan a las características intrínsecas de los ecosistemas digitales, caracterizados por las fuertes interrelaciones de diversos actores a lo largo de la cadena de valor, las plataformas como base para interoperar entre ellos y la coevolución de los productos de datos que emanan de fuentes cada vez más heterogéneas. Este artículo propone el diseño de una arquitectura de referencia de ecosistemas de datos basada en las arquitecturas de datos que mejor están soportando la gestión de datos en este complejo escenario: Data Mesh y Data Fabric, y con el empleo de grafos de conocimiento para la integración. Como método se emplea un análisis de la literatura más reciente sobre gestión y arquitecturas de datos para extraer los principios y componentes arquitectónicos que se emplean en el diseño de tal arquitectura de referencia. Se obtiene una representación abstracta de arquitectura de referencia de ecosistemas de datos, cuyo modelo operacional se verifica teóricamente. La misma es el punto de partida de futuras investigaciones que se encaminarán hacia su implementación en casos de uso reales y el modelado organizacional relativo a los roles de los actores que se involucran en el ecosistema reflejado en la propia arquitectura