МИГРАЦИЯ ДАННЫХ В КОНТЕКСТЕ ERP-СИСТЕМ

At the heart of every ERP is a single database that allows employees of the organization to rely on the same consistent set of information. Data migration is an important component of ERPs upgrade, implementation and integration projects. At the same time, the migration scenario can be complex and lengthy, require a large amount of resources and high competencies of the management staff. Underestimating the required time and effort can lead to a significant increase in costs and delay in the commissioning of the ERP. The accuracy and completeness of the transmitted data is also of great importance, since many aspects of the business – customer satisfaction, decision-making, supply chain and relationships with partners – will depend on the quality of the data. Despite this, the complexity of data migration scenarios is traditionally underestimated. In most existing studies, data migration is considered mainly from the technical side. Aspects related to the conceptual content of data migration, its relationship with business processes and company management, as well as the specific role of data migration in projects of updating, implementing and integrating ERPs, remain insufficiently developed. The aim of the study. The aim of this study is to supplement theoretical ideas about the content, diversity, problems and strategies of data migration in the context of ERPs. Materials and methods. The article summarizes and systematizes the types, stages of the project, key strategies and the most significant problems of data migration. For the purposes of this study, the material from 23 sources on a similar topic was reviewed, revised and supplemented. Results. The paper describes classifications of types of data migration, provides examples related to ERP. The stages of the data migration project are described in detail and supplemented. The comparison of two key data migration strategies is given, their advantages and disadvantages are highlighted, recommendations for the application of a particular strategy are formed. The main problems of data migration in the context of ERPs, the consequences of these problems for the entire migration project are considered. Conclusion. The results obtained suggest that data migration is a complex and time-consuming process that requires serious competencies from management and performers. The migration strategy should be developed in an effective way and take into account all the variety of influencing factors.В основе каждой ERP-системы лежит единая база данных, которая позволяет сотрудникам организации полагаться на один и тот же согласованный набор информации. Миграция данных является важной составляющей проектов обновления, внедрения и интеграции ERP. При этом сценарий миграции может быть сложным и длительным, требовать большого количества ресурсов и высокой компетенции руководящего персонала. Недооценка необходимых времени и усилий может привести к существенному увеличению расходов и затягиванию сроков ввода ERP в эксплуатацию. Точность и полнота передаваемых данных также имеют большое значение, поскольку многие аспекты бизнеса – удовлетворение потребностей клиентов, принятие решений, цепочка поставок и отношения с партнерами – будут зависеть от качества данных. Несмотря на это, сложность сценариев миграции данных традиционно недооценивается. В большинстве существующих исследований миграция данных рассматривается преимущественно с технической стороны. Аспекты, связанные с концептуальным содержанием миграции данных, ее взаимосвязью с бизнес-процессами и управлением компанией, а также специфической ролью миграции данных в проектах обновления, внедрения и интеграции ERP-систем, остаются недостаточно проработанными. Цель исследования. Целью данной работы является дополнение теоретических представлений о содержании, разнообразии, проблемах и стратегиях миграции данных в контексте ERP-систем. Материалы и методы. В статье приведены обобщение и систематизация видов, этапов, ключевых стратегий и наиболее значимых проблем миграции данных. В целях данного исследования был рассмотрен, переработан и дополнен материал из 23 источников на близкую тематику. Результаты. В работе описаны классификации видов миграции данных, приведены примеры, относящиеся к ERP. Детально описаны и дополнены этапы проекта миграции данных. Приведено сравнение двух ключевых стратегий миграции данных, выделены их преимущества и недостатки, сформированы рекомендации для применения той или иной стратегии. Рассмотрены основные проблемы миграции данных в контексте ERP-систем, последствия данных проблем для всего проекта миграции. Заключение. Полученные результаты позволяют утверждать, что миграция данных является сложным и трудоемким процессом, требующим серьезных компетенций от руководства и исполнителей. Стратегия миграции должна быть разработана эффективным образом с учетом всего многообразия влияющих факторов

Метод создания коллекций со вложенными документами для баз данных типа ключ-документ с учетом выполняемых запросов

In the recent decades, NoSQL databases have become more popular day by day. And increasingly, developers and database administrators, for whatever reason, have to solve the problems of database migration from a relational model in the model NoSQL databases like the document-oriented database MongoDB database. This article discusses the approach to this migration data based on set theory. A new formal method of determining the optimal runtime searches aggregate collections with the attached documents NoSQL databases such as the key document. The attributes of the database objects are included in optimizing the number of collections and their structures in search queries. The initial data are object properties (attributes, relationships between attributes) on which information is stored in the database, and query the properties that are most often performed, or the speed of which should be maximal. This article discusses the basic types of connections (1-1, 1-M, M-M), typical of the relational model. The proposed method is the following step of the method of creating a collection without embedded documents. The article also provides a method for determining what methods should be used in the reasonable cases to make work with databases more effectively. At the end, this article shows the results of testing of the proposed method on databases with different initial schemes. Experimental results show that the proposed method helps reduce the execution time of queries can also significantly as well as reduce the amount of memory required to store the data in a new database.В последние десятилетия все большую популярность набирают NoSQL базы данных, и все чаще разработчикам и администраторам таких баз по той или иной причине приходится решать задачу миграции баз данных из реляционной модели в модель NoSQL, например документно-ориентированную базу данных MongoDB. Описывается подход к такой миграции данных на основе теории множеств. Предлагаются правила для определения совокупности коллекций со вложенными документами NoSQL базы данных типа ключ-документ, оптимальной по времени выполнения поисковых запросов. Оптимизация числа коллекций и их структуры проводится с учетом атрибутов объектов базы данных, участвующих в поисковых запросах. Исходными данными являются свойства объектов (атрибуты, связи между атрибутами), информация о которых хранится в базе данных, и свойства запросов, которые наиболее часто выполняются или скорость их выполнения максимальна. В правилах учитываются основные типы связей (1-1, 1-М, М-М), свойственные реляционной модели. Рассматриваемая совокупность правил является дополнением к методу создания коллекций без вложенных документов. Также приводится методика для определения, в каких случаях какие методы надо использовать, чтобы сделать работу с базами данных более эффективной. В заключении приведены результаты тестирования предлагаемого метода на базах данных с различными начальными схемами. Результаты экспериментов показывают, что предлагаемый метод помимо сокращения времени выполнения запросов позволяет также значительно сократить объем памяти, необходимый для хранения данных в новой базе данных

Метод создания коллекций со вложенными документами для баз данных типа ключ-документ с учетом выполняемых запросов

В последние десятилетия все большую популярность набирают NoSQL базы данных, и все чаще разработчикам и администраторам таких баз по той или иной причине приходится решать задачу миграции баз данных из реляционной модели в модель NoSQL, например документно-ориентированную базу данных MongoDB. Описывается подход к такой миграции данных на основе теории множеств. Предлагаются правила для определения совокупности коллекций со вложенными документами NoSQL базы данных типа ключ-документ, оптимальной по времени выполнения поисковых запросов. Оптимизация числа коллекций и их структуры проводится с учетом атрибутов объектов базы данных, участвующих в поисковых запросах. Исходными данными являются свойства объектов (атрибуты, связи между атрибутами), информация о которых хранится в базе данных, и свойства запросов, которые наиболее часто выполняются или скорость их выполнения максимальна. В правилах учитываются основные типы связей (1-1, 1-М, М-М), свойственные реляционной модели. Рассматриваемая совокупность правил является дополнением к методу создания коллекций без вложенных документов. Также приводится методика для определения, в каких случаях какие методы надо использовать, чтобы сделать работу с базами данных более эффективной. В заключении приведены результаты тестирования предлагаемого метода на базах данных с различными начальными схемами. Результаты экспериментов показывают, что предлагаемый метод помимо сокращения времени выполнения запросов позволяет также значительно сократить объем памяти, необходимый для хранения данных в новой базе данных

Creation of column-oriented NoSQL databases automatically in Big Data environments and its impact on energy consumption

This study investigates the automatic creation of column-oriented NoSQL databases in Big Data environments and their impact on energy consumption. Traditional row-oriented databases face limitations in handling large volumes of data, resulting in slower query response times and energy inefficiencies. In contrast, column-oriented NoSQL databases store data in columns, enabling efficient compression, retrieval, and query processing. Innovative techniques are employed to automatically create these databases, optimizing performance and minimizing manual intervention. Storing data in a columnar format reduces storage requirements and power consumption while improving data locality and reducing I/O operations. This study emphasizes the benefits of adopting column-oriented NoSQL databases, including improved performance, scalability, and energy efficiency in Big Data environments

Metadata-driven Data Migration from Object-relational Database to NoSQL Document-oriented Database

The object-relational databases (ORDB) are powerful for managing complex data, but they suffer from problems of scalability and managing large-scale data. Therefore, the importance of the migration of ORDB to NoSQL derives from the fact that the large volume of data can be handled in the best way with high scalability and availability. This paper reports our metadata-driven approach for the migration of the ORDB to document-oriented NoSQL database. Our data migration approach involves three major stages: a preprocessing stage, to extract the data and the schema's components, a processing stage, to provide the data transformation, and a post-processing stage, to store the migrated data as BSON documents. The approach maintains the benefits of Oracle ORDB in NoSQL MongoDB by supporting integrity constraint checking. To validate our approach, we developed OR2DOD (Object Relational to Document-Oriented Databases) system, and the experimental results confirm the effectiveness of our proposal

Transformation of Schema from Relational Database (RDB) to NoSQL Databases

Relational database has been the de-facto database choice in most IT applications. In the last decade there has been increasing demand for applications that have to deal with massive and un-normalized data. To satisfy the demand, there is a big shift to use more relaxed databases in the form of NoSQL databases. Alongside with this shift, there is a need to have a structured methodology to transform existing data in relational database (RDB) to NoSQL database. The transformation from RDB to NoSQL database has become more challenging because there is no current standard on NoSQL database. The aim of this paper is to propose transformation rules of RDB Schema to various NoSQL database schema, namely document-based, column-based and graph-based databases. The rules are applied based on the type of relationships that can appear in data within a database. As a proof of concept, we apply the rules into a case study using three NoSQL databases, namely MongoDB, Cassandra, and Neo4j. A set of queries is run in these databases to demonstrate the correctness of the transformation results. In addition, the completeness of our transformation rules are compared against existing work

Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL

Orientadora: Profa. Dra. Leticia Mara PeresCoorientador: Prof. Dr. Marcos Didonet Del FabroTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 21/10/2020Inclui referências: p. 102-105Área de concentração: Ciência da ComputaçãoResumo: Com o surgimento de novas aplicações surgiram também novos requisitos sobre os sistemas de armazenamento. Cenários envolvendo dados estruturados, semiestruturados e não-estruturados são cada vez mais comuns. Os bancos de dados relacionais (RDB, do inglês Relational Database), amplamente usados para armazenar dados de diversas aplicações, já não atendem de forma adequada todas as questões impostas pelos diferentes cenários. Como alternativa surgiram os bancos de dados NoSQL (do inglês, Not only SQL), flexíveis em relação ao modelo de dados e projetados para fornecer alta escalabilidade e disponibilidade. Bancos de dados relacionais e bancos de dados NoSQL coexistirão por longo período de tempo e, como consequência, novas abordagens para converter o modelo relacional para modelos de dados NoSQL foram propostas. No entanto, a maioria dessas abordagens se destina a conversão de dados relacionais para um modelo de dados NoSQL específico e fornecem pouco suporte para customizações do processo de conversão, como seleção de campos, tabelas, instâncias e outros aspectos relativos à customização do esquema de dados produzido. Além disso, há diversas formas de estruturar os dados (ou definir esquemas de dados) ao converter RDB para NoSQL. A escolha do esquema de dados adequado não é trivial e envolve vários aspectos, como o padrão de acesso aos dados, o nível de redundância de dados desejado, o tamanho do banco de dados NoSQL resultante, o esforço de manutenção da aplicação, dentre outros. Nesta tese é definida uma abordagem para converter e migrar dados relacionais para bases NoSQL orientadas a documentos e família de colunas, composta por uma etapa de avaliação de esquemas NoSQL candidatos. A abordagem usa grafos acíclicos direcionados (DAG, do inglês Directed Acyclic Graph) para especificar a estrutura das entidades que serão migradas para o modelo de dados NoSQL e, também, para representar o padrão de acesso da aplicação (consultas). Para avaliar a abordagem foram realizados experimentos envolvendo cenários de conversão de RDB para NoSQL compostos por diferentes esquemas NoSQL candidatos. Os resultados dos experimentos mostraram que a abordagem é eficaz para identificar cenários em que há maior esforço de implementação das consultas, auxiliando o usuário no processo de seleção de esquemas NoSQL, antes de migrar de dados. Palavras-chave: Transformação de dados. Bancos de dados relacionais. Bancos de dados NoSQL. Conversão de bancos de dados. Métricas. Avaliação.Abstract: With the emergence of new applications, new requirements on storage systems have also emerged. Scenarios involving structured, semi-structured and unstructured data are increasingly common. Relational databases, widely used to store data from different applications, no longer adequately address all issues imposed by different scenarios. As an alternative, NoSQL databases have emerged, which are flexible in relation to the data model and designed to provide high scalability and availability. Relational databases and NoSQL databases will coexist for a long period of time and, as a consequence, new approaches to converting the relational model to NoSQL data models have been proposed. However, most of these approaches are aimed at converting relational data to a specific NoSQL data model and provide little support for customizing the conversion process, such as selection of fields, tables, instances, and other aspects related to the customization of the data schema produced. In addition, there are several ways to structure the data (or ways to define data schemas) when converting RDB to NoSQL. The choice of the appropriate data schema is not trivial and involves several aspects, such as the data access pattern, the desired level of data redundancy, the size of the resulting NoSQL database, the application maintenance effort, among others. This thesis defines an approach to convert and migrate relational data to document-oriented and column family NoSQL models, composed of an evaluation step of candidate NoSQL schemas. The approach uses directed acyclic graphs (DAG) to specify the structure of the entities that will be migrated to the NoSQL data model and also to represent the application's access pattern (queries). To evaluate candidate schemas, a set of metrics and scores was defined, which aims to measure the coverage of the NoSQL schema in relation to the set of queries. As NoSQL schema and query are defined through DAGs, it is possible to perform evaluations and comparisons objectively. To evaluate the approach, we performed experiments involving RDB to NoSQL conversion scenarios composed by different candidate NoSQL schemas. The results of the experiments showed that the approach is effective to identify scenarios in which there is a greater effort to implement the queries, assisting the user in the process of selecting NoSQL schemas, before executing the data migration. Keywords: Data transformation. Relational databases. NoSQL databases. Database conversion. Metrics. Evaluation