Concepção de Sistemas ETL Seguros e Confiáveis em Alloy

Over the last few years, several proposals have been presented for supporting conceptual and logical modelling of data warehousing populating processes - ETL processes. However, these processes usually have a high degree of specificity, which entails very complex data requirements and elaborate processing routines – often difficult to validate. In ETL process modelling, the use of the Alloy specification language introduces an innovative formalism to the traditional approaches, maintaining the flexibility for handling the specific behaviours of an ETL process. Additionally, Alloy specifications can be analysed and validated, offering greater confidence in its correctness, which is essential for the success of complex software products. In this paper we present and discuss how to specify and validate ETL processes - blocks of operations and their dependencies - using Alloy, inspired by advances in this area of research, which show the potential of using a formal language in the ETL process modelling domain.Ao longo dos últimos anos foram apresentadas diversas propostas para suporte à modelação conceptual e lógica de processos de povoamento de data warehouses - processos de ETL. Todavia, estes processos apresentam usualmente um grau de especificidade elevado, acarretando requisitos de dados bastante complexos e rotinas de transformação muito elaboradas, cuja correção é frequentemente de difícil validação. Na modelação de processos de ETL, a utilização da linguagem de especificação Alloy introduz um formalismo inovador perante as abordagens tradicionalmente utilizadas, mantendo a flexibilidade necessária para lidar com comportamentos específicos dos processos ETL. Adicionalmente, as especificações criadas podem ser analisadas e validadas, oferecendo maior confiança quanto à sua correção, uma característica imprescindível no sucesso de produtos de software complexos. Neste artigo, inspirados pelos avanços registados nesta área de trabalho, apresentamos e discutimos formas de especificar e validar processos de ETL - blocos de operações e as suas dependências - utilizando a linguagem Alloy.Este trabalho foi suportado pelo COMPETE: POCI-01-0145-FEDER-007043, by FCT – Fundação para a Ciência e Tecnologia within the Project Scope: UID/CEC/00319/2013

Design para a inclusão: prototipagem como ferramenta de modelação conceptual

Sem resumo disponível.publishe

Técnicas de modelação de informação geográfica : uma síntese

A modelação de dados, vista como o conjunto de actividades que conduz ao desenho de uma Base de Dados, é caracterizada por passar por três etapas. A primeira diz respeito ao modelo conceptual de dados, que determina os requisitos da base de dados na fase de análise de requisitos. A segunda etapa está associada ao modelo lógico de dados e corresponde à transformação do modelo conceptual em estruturas de dados consistentes com o Sistema Gestor de Bases de Dados seleccionado para a implementação. A terceira e última etapa prende-se com o modelo físico de dados, no qual se verifica a organização dos ficheiros e métodos de acesso aos dados, característicos do sistema gestor seleccionado. A modelação de aplicações geográficas requer a utilização de técnicas específicas, que permitam armazenar e processar dados espaciais. Estes dados representam objectos cuja posição no espaço é relevante, uma vez que esta define relações topológicas entre os mesmos. O desenho lógico de aplicações geográficas tem sido descuidado, em favor do desenho físico, permitindo a construção de aplicações sobre sistemas de ficheiros dedicados, nos quais os dados são armazenados em formatos próprios, cuja manutenção e portabilidade são difíceis de conseguir. Neste artigo são apresentadas técnicas de modelação para informação geográfica. Ao nível conceptual, é apresentado o diagrama Entidades e Relacionamentos na modelação de informação geográfica. Ao nível lógico é apresentado o modelo geo-relacional, uma extensão do modelo relacional, e ainda, uma abordagem formal à modelação de aplicações geográficas. Descreve-se, também, o Unified Modeling Language, uma linguagem que permite a modelação de dados tanto ao nível conceptual como lógico. Esta última, que não necessita de qualquer adaptação para utilização no domínio geográfico, é a linguagem utilizada pela International Standard Organisation, na definição das normas internacionais para Informação Geográfica e Geomática

Geração de esqueletos para sistemas de ETL a partir de redes de Petri colorida

As Redes de Petri Coloridas são uma linguagem gráfica com uma semântica bem definida, que permite o desenho, especificação, simulação e validação de sistemas, cujos processos a modelar exijam características específicas de comunicação, concorrência e sincronização entre si. A nível aplicacional, as Redes de Petri Coloridas surgem em áreas muito diferentes, tais como a especificação de protocolos de comunicação, sistemas de controlo, sistemas de hardware ou de sistemas de software. Devido às suas características as Redes de Petri Coloridas foram adotadas, também, na modelação de sistemas de ETL (Extract-Transformation-Load). Meta-tarefas como Change Data Capture ou Surrogate Key Pipelining, frequentemente encontradas em sistemas de ETL convencionais, foram modeladas e validadas através do uso de redes de Petri Coloridas. Tal sustenta, de forma bastante efetiva, o objetivo principal deste trabalho de dissertação: desenvolver e implementar um sistema para a geração de esqueletos para sistemas de ETL a partir da correspondente Rede de Petri Colorida.Coloured Petri Nets are a graphical language with a well-formed semantic, that allows the design, specification, simulation, and validation of systems, which specific characteristics such as, communication, concurrency and synchronization have a main role in the processes to model. At application level, Coloured Petri Nets are used in a wide variety of scientific areas, such as communication protocol, control systems, hardware systems or software systems. Due their characteristics Coloured Petri Nets were also adopted in modeling ETL (Extract-TransformationLoad) systems. Meta-tasks like Change Data Capture or Surrogate Key Pipelining, that are frequently founded in conventional ETL system, were modeling and validated using Coloured Petri Nets. All this support, quite effectively, the main propose of this dissertation work: develop and implement a system to generating skeletons to ETL systems from the corresponding Coloured Petri Nets

Implementação de Operações de Álgebra Relacional em JAVA sobre dados em XML

Um Sistema de Data Warehousing (SDW) armazena dados de uma forma integrada e consistente, o que o torna num repositório de dados ideal para o apoio aos vários tipos de decisão existentes numa organização. No entanto, para manter este repositório devidamente actualizado é necessário aceder a um conjunto variado de sistemas fontes, transformar a informação que deles é extraída, e de acordo com os requisitos do negócio e caraterísticas do modelo de armazenamento de dados de um SDW, proceder à sua adequada alimentação. Estas tarefas, geralmente designadas por Extracção, Transformação e Alimentação, são normalmente complexas e requerem uma grande quantidade de recursos computacionais operando numa janela temporal limitada. O objectivo desta dissertação passa por apresentar uma abordagem não convencional para a execução destas tarefas, em ambientes de execução variados. É apresentada uma proposta de modelação lógica de um processo de ETL baseado em Álgebra Relacional, de modo a implementar um modelo independentemente da plataforma de execução, permitindo o seu posterior mapeamento em primitivas de programação, utilizando a notação Business Process Model and Notation (BPMN) como base de modelação gráfica. É apresentado um exemplo de uma infraestrutura que permite o aproveitamento do poder computacional existente numa organização, através da utilização de uma GRID computacional, tendo como suporte o standard de representação de dados presente na linguagem XML e a heterogeneidade de execução da linguagem Java

Framework BPMN para a Modelação de Processos de ETL

O Extract-Transform-Load (ETL) é um componente crítico nos Sistemas de Data Warehousing (SDW) sendo responsável por extrair, transformar e carregar dados para apoiar os requisitos de tomada de decisão. Devido à complexidade da gestão dos dados, estes processos consomem grande parte dos recursos necessários na implementação dos SDW. Sendo um componente crítico que pode comprometer a adequação do sistema, se não fornecer garantias na qualidade de dados, a confiança no sistema é comprometida. Apesar da sua importância, o desenvolvimento de sistemas de ETL é essencialmente ad-hoc, o que não contribui para garantir o seguimento de práticas sólidas que garantam a coerência e coesão do desenvolvimento dos sistemas. Nos últimos anos, a Business Process Model and Notation (BPMN) tem sido proposta e utilizada para suportar os modelos conceptuais de ETL. O BPMN é uma linguagem expressiva que permite diferentes abordagens para representar os requisitos de povoamento dos processos de ETL. Neste trabalho, é explorada a utilização de BPMN para modelação conceptual de ETL, analisando as abordagens existentes e propondo um conjunto de diretrizes para utilizar o BPMN de uma forma mais consistente.The Extract-Transform-Load (ETL) is a critical component in Data Warehousing Systems (SDW) being responsible for extracting, transforming, and loading data to support decision-making requirements. Due to the complexity of data management, these processes consume a large part of the resources needed in the implementation of SDW. Being a critical component that can compromise the suitability of the system, if it does not provide guarantees in data quality, trust in the system is compromised. Although its importance, the development of ETL systems is essentially ad-hoc, which does not contribute to guaranteeing the follow-up of solid practices that guarantee the coherence and cohesion of the development of the systems. In recent years, the Business Process Model and Notation (BPMN) has been proposed and used to support the conceptual models of ETL. BPMN is an expressive language that allows different approaches to represent the population requirements of ETL processes. In this work, the use of BPMN for conceptual modeling of ETL is explored, analyzing the existing approaches, and proposing a set of guidelines to use BPMN in a standardized way

O processo de refrescamento nos sistemas de data warehouse: guião de modelação conceptual da tarefa de extracção de dados

Nos últimos anos, os Sistemas de Data Warehouse (SDW) têm sido os sistemas de apoio à decisão mais utilizados nas organizações, integrando dados de diferentes fontes nos Repositórios de Data Warehouse (RDW). Com o decorrer do tempo de funcionamento do sistema, coloca-se o problema do refrescamento, entendido como o problema de assegurar que os conteúdos dos RDW são periodicamente refrescados, de modo a reflectirem as alterações que ocorrem nos dados das fontes que lhes servem de base. Esta dissertação propõe uma abordagem que tem como objectivos principais tornar explícito e documentar o problema do refrescamento e apresentar um guião de modelação conceptual da tarefa de extracção de dados que possa enriquecer as fases subsequentes de desenho para a especificação formal do processo de refrescamento. São dois os contributos desta dissertação. Primeiro, providencia um quadro detalhado sobre o problema do refrescamento que inclui os conceitos e questões fundamentais que permitem caracterizar os SDW, na perspectiva das funcionalidades no apoio à decisão, das abordagens de integração de fontes de dados e dos componentes da arquitectura, os constrangimentos e tarefas que compreendem o processo de refrescamento, as principais abordagens disponíveis na literatura. Segundo, propõe um guião de apoio à modelação conceptual da tarefa de extracção de dados, com base na UML, apresentando os passos que devem ser seguidos pelo designer e disponibilizando as construções que permitem representar os dados que se extraem das fontes, de acordo com as regras que permitem isolar e extrair os dados relevantes para a tomada de decisão.Data Warehouse Systems (DWS) have become very popular in the last years for decision making, by integrating data from internal and external sources into data warehouse stores. As times advances and the sources from which warehouse data is integrated change, the data warehouse contents must be regularly refreshed, such that warehouse data reflect the state of the underlying data sources. This dissertation proposes an approach which main goals are to explicit and document the data warehouse refreshment problem and to present a guidelines for the conceptual modelling of data extraction in order to enrich the subsequent design steps for the formal specification of the refreshment process. The contributions of our approach are twofold. First, it provides a detailed outline of data warehouse refreshment problem, including the main concepts and issues that characterise the general domain of the DWS, such as decision making functionalities, data sources integration approaches and architecture and, the refreshment tasks and constraints as well as the main approaches. Second, it proposes a guidelines for an UML conceptual modelling of data extraction, by giving the sequence of steps for a designer to follow, the modelling constructs for the definition of extracting data, according to the rules that must be accomplished for extracting relevant data

Modelação e integração em sistemas flexíveis de produção

Dissertação apresentada para obtenção do Grau de Mestre em Engenharia Informática,pela Universidade Nova de Lisboa, Faculdade de Ciências e TecnologiaEsta tese trata da modelação e integração em sistemas flexíveis de produção, com vista à construção de uma plataforma de suporte ao desenvolvimento de supervisores inteligentes. Faz-se uma apresentação sumária dos aspectos de modelação importantes para a construção de plataformas de integração, usando paradigmas de modelação com potencial para descreverem sistemas flexíveis de manufactura: programação orientada por objectos e "frames". Analisam-se as diferentes questões importantes relacionadas com a modelação estrutural e comportamental dos componentes que participam numa célula; propõem-se diversas taxonomias e uma metodologia para ligar os controladores locais à sua "imagem" (modelo). De seguida, descreve-se um trabalho de concepção/implementação de dois sistemas flexíveis de manufactura, concebendo/desenvolvendo a plataforma integrada de um dos sistemas. Mostram-se os servidores utilizados para integrar os diversos controladores locais, recorrendo ao paradigma cliente-servidor e realçam-se as dificuldades de integração surgidas com as arquitecturas fechadas da maioria dos controladores locais. Construiu-se ainda um modelo do sistema, usando as técnicas apresentadas, suportando a ligação com os controladores locais. Finalmente apresenta-se um método para a síntese de sistemas de supervisão, a partir de redes de Petri, descrevendo-se resultados experimentais resultantes da aplicação da metodologia a uma célula de montagem do sistema em estudo