Framework for Interoperable and Distributed Extraction-Transformation-Loading (ETL) Based on Service Oriented Architecture

Extraction. Transformation and Loading (ETL) are the major functionalities in data warehouse (DW) solutions. Lack of component distribution and interoperability is a gap that leads to many problems in the ETL domain, which is due to tightly-coupled components in the current ETL framework. This research discusses how to distribute the Extraction, Transformation and Loading components so as to achieve distribution and interoperability of these ETL components. In addition, it shows how the ETL framework can be extended. To achieve that, Service Oriented Architecture (SOA) is adopted to address the mentioned missing features of distribution and interoperability by restructuring the current ETL framework. This research contributes towards the field of ETL by adding the distribution and inter- operability concepts to the ETL framework. This Ieads to contributions towards the area of data warehousing and business intelligence, because ETL is a core concept in this area. The Design Science Approach (DSA) and Scrum methodologies were adopted for achieving the research goals. The integration of DSA and Scrum provides the suitable methods for achieving the research objectives. The new ETL framework is realized by developing and testing a prototype that is based on the new ETL framework. This prototype is successfully evaluated using three case studies that are conducted using the data and tools of three different organizations. These organizations use data warehouse solutions for the purpose of generating statistical reports that help their top management to take decisions. Results of the case studies show that distribution and interoperability can be achieved by using the new ETL framework

ETL-prosessin parhaita käytäntöjä tietovaraston rakentamisessa

ETL-prosessia käytetään integroimaan tietojärjestelmien tietoja yhteen. Prosessissa siirretään tietojärjestelmien dataa tietokannoista toisiin tietokantoihin. Prosessin avulla rakennetaan esimerkiksi tietovarastoja joita käytetään yritysten päätöksentekojärjestelmissä. Tässä tutkielmassa keskitytään erityisesti yrityksessä tapahtuvaan tietovaraston rakentamiseen ETL-prosessin avulla. Tulen esittelemään perustiedot tietovarastoista, yrityksen tietojärjestelmistä ja ETL-prosessista. Reflektiivistä tutkimusmetodia apuna käyttäen esittelen parhaita toimintatapoja ja käytäntöjä ETL-prosessin suunnittelussa ja rakentamisessa. Tämä tutkielma on hyödyksi kenelle tahansa tietovarasto projektia suunnittelevalle tai ETL-prosessien parissa työskenteleville. Asiasanat:ETL-prosessi, Tietovarastot, Asiakasrekisteri, Toiminnanohjausjärjestelmä, Yrityksen tietojärjestelmät, Liiketoimintatiedon hallinta, Business Intelligence, Tietokanta, SQ

Diseño de una arquitectura orientada a la gestión y toma de decisiones para establecer los indicadores financieros de la Universidad Técnica del Norte

Desarrollar una arquitectura de gestión y análisis de información de los sistemas de información financiera para establecer indicadores financieros, orientada a la toma de decisiones de la Universidad Técnica del Norte.La Universidad Técnica del Norte UTN, en la Dirección de Desarrollo Tecnológico Informático DDTI desarrolla sus herramientas informáticas, por lo que cuenta con un Sistema Integrado Institucional Universitario SIIU que integra y relaciona los procesos de las diferentes áreas administrativas y académicas. La información que se registra crece exponencialmente a través del tiempo, y el área administrativa al no disponer de herramientas de gestión para la toma de decisiones, invierte mucho tiempo en procesar, consolidar y obtener reportes estadísticos. El área administra financiera de la UTN, cuenta con varios sistemas transaccionales como parte del SIIU, que le permite integrar los procesos de Planificación, Presupuesto, Adquisiciones, Tesorería y Contabilidad, con esta información para el proceso de evaluación y mejora de la calidad educación superior requieren presentar los valores para los indicadores que permitan generar conocimiento en la gestión de los recursos de la UTN. Por lo que en el presente Proyecto se diseña una arquitectura para la gestión y toma de decisiones que permita establecer los indicadores financieros de gestión de recursos en la Dirección Financiera de la UTN, aplicando la metodología de Inmon para la implementación del Datawarehouse, Base de Datos Oracle® en la limpieza y depuración de errores de los datos y Tableau como herramienta de Business Intelligence

Vers un cycle d'amélioration continue pour la capitalisation des connaissances : un cas d'étude à STMicroelectronics

At STMicroelectronics, the Business Intelligence team is daily confronted to exploit data and information to create reports about manufacturing activities in order to supervise it. In such an industrial organization, products change regularly and data can quickly become obsolete. Consequently, over time, the number of created reports is highly growing, while knowledge about their creation is lost. This is shown in a qualitative and quantitative evaluation of the main part of the STMicroelectronics' knowledge system.As a result, problems related to knowledge obsolescence, duplication, non-centralization and proliferation continuously arise. Therefore, this work addresses the general following research question:How to ensure a continuous expert knowledge capitalization?To answer this question, a continuous improvement cycle for knowledge capitalization is proposed. Its objective is to effectively and continuously capitalize expert knowledge while targeting business needs and providing an evolving solution. It is based on a Business Intelligence for Business Intelligence system (BI4BI). Since knowledge is embedded not only in systems and tools, but also in human minds and practices, our proposed knowledge capitalization solution also involves people and organizations: it proposes to collect users' feedbacks and insights to integrate them in knowledge representation and in our BI4BI tool.À STMicroelectronics, l'équipe de Business Intelligence est confrontée à exploiter quotidiennement des données et des informations pour créer des rapports d'activité afin de superviser la production. Dans une telle organisation industrielle, les produits changent régulièrement et les données peuvent rapidement devenir obsolètes. Par conséquent, au fil du temps, le nombre de rapports crées est de plus en plus important, tandis que les connaissances sur leur création sont perdues. Ceci est illustré dans une évaluation qualitative et quantitative de la partie principale du système de connaissances à STMicroelectronics.Ainsi, des problèmes d'obsolescence, de duplication, de non-centralisation et de prolifération continuent à surgir. Ce travail doit, donc, répondre à la question de recherche générale suivante:Comment assurer une capitalisation continue des connaissances métier?Pour répondre à cette question, un cycle d'amélioration continue pour la capitalisation des connaissances est proposé. Son objectif est de capitaliser efficacement et en permanence les connaissances, tout en ciblant les besoins métier et assurant une solution évolutive. Un système de Business Intelligence pour la Business Intelligence (BI4BI) est proposé. Comme la connaissance est intégrée non seulement dans les systèmes et les outils, mais aussi détenue par les humains et leurs pratiques, notre solution de capitalisation de connaissances proposée implique aussi les utilisateurs et les organisations: elle propose de recueillir les points de vue des utilisateurs pour les intégrer dans la représentation des connaissances et dans notre système BI4BI