Processamento de eventos complexos como serviço em ambientes multi-nuvem

Orientadores: Luiz Fernando Bittencourt, Miriam Akemi Manabe CapretzTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: O surgimento das tecnologias de dispositivos móveis e da Internet das Coisas, combinada com avanços das tecnologias Web, criou um novo mundo de Big Data em que o volume e a velocidade da geração de dados atingiu uma escala sem precedentes. Por ser uma tecnologia criada para processar fluxos contínuos de dados, o Processamento de Eventos Complexos (CEP, do inglês Complex Event Processing) tem sido frequentemente associado a Big Data e aplicado como uma ferramenta para obter informações em tempo real. Todavia, apesar desta onda de interesse, o mercado de CEP ainda é dominado por soluções proprietárias que requerem grandes investimentos para sua aquisição e não proveem a flexibilidade que os usuários necessitam. Como alternativa, algumas empresas adotam soluções de baixo nível que demandam intenso treinamento técnico e possuem alto custo operacional. A fim de solucionar esses problemas, esta pesquisa propõe a criação de um sistema de CEP que pode ser oferecido como serviço e usado através da Internet. Um sistema de CEP como Serviço (CEPaaS, do inglês CEP as a Service) oferece aos usuários as funcionalidades de CEP aliadas às vantagens do modelo de serviços, tais como redução do investimento inicial e baixo custo de manutenção. No entanto, a criação de tal serviço envolve inúmeros desafios que não são abordados no atual estado da arte de CEP. Em especial, esta pesquisa propõe soluções para três problemas em aberto que existem neste contexto. Em primeiro lugar, para o problema de entender e reusar a enorme variedade de procedimentos para gerência de sistemas CEP, esta pesquisa propõe o formalismo Reescrita de Grafos com Atributos para Gerência de Processamento de Eventos Complexos (AGeCEP, do inglês Attributed Graph Rewriting for Complex Event Processing Management). Este formalismo inclui modelos para consultas CEP e transformações de consultas que são independentes de tecnologia e linguagem. Em segundo lugar, para o problema de avaliar estratégias de gerência e processamento de consultas CEP, esta pesquisa apresenta CEPSim, um simulador de sistemas CEP baseado em nuvem. Por fim, esta pesquisa também descreve um sistema CEPaaS fundamentado em ambientes multi-nuvem, sistemas de gerência de contêineres e um design multiusuário baseado em AGeCEP. Para demonstrar sua viabilidade, o formalismo AGeCEP foi usado para projetar um gerente autônomo e um conjunto de políticas de auto-gerenciamento para sistemas CEP. Além disso, o simulador CEPSim foi minuciosamente avaliado através de experimentos que demonstram sua capacidade de simular sistemas CEP com acurácia e baixo custo adicional de processamento. Por fim, experimentos adicionais validaram o sistema CEPaaS e demonstraram que o objetivo de oferecer funcionalidades CEP como um serviço escalável e tolerante a falhas foi atingido. Em conjunto, esses resultados confirmam que esta pesquisa avança significantemente o estado da arte e também oferece novas ferramentas e metodologias que podem ser aplicadas à pesquisa em CEPAbstract: The rise of mobile technologies and the Internet of Things, combined with advances in Web technologies, have created a new Big Data world in which the volume and velocity of data generation have achieved an unprecedented scale. As a technology created to process continuous streams of data, Complex Event Processing (CEP) has been often related to Big Data and used as a tool to obtain real-time insights. However, despite this recent surge of interest, the CEP market is still dominated by solutions that are costly and inflexible or too low-level and hard to operate. To address these problems, this research proposes the creation of a CEP system that can be offered as a service and used over the Internet. Such a CEP as a Service (CEPaaS) system would give its users CEP functionalities associated with the advantages of the services model, such as no up-front investment and low maintenance cost. Nevertheless, creating such a service involves challenges that are not addressed by current CEP systems. This research proposes solutions for three open problems that exist in this context. First, to address the problem of understanding and reusing existing CEP management procedures, this research introduces the Attributed Graph Rewriting for Complex Event Processing Management (AGeCEP) formalism as a technology- and language-agnostic representation of queries and their reconfigurations. Second, to address the problem of evaluating CEP query management and processing strategies, this research introduces CEPSim, a simulator of cloud-based CEP systems. Finally, this research also introduces a CEPaaS system based on a multi-cloud architecture, container management systems, and an AGeCEP-based multi-tenant design. To demonstrate its feasibility, AGeCEP was used to design an autonomic manager and a selected set of self-management policies. Moreover, CEPSim was thoroughly evaluated by experiments that showed it can simulate existing systems with accuracy and low execution overhead. Finally, additional experiments validated the CEPaaS system and demonstrated it achieves the goal of offering CEP functionalities as a scalable and fault-tolerant service. In tandem, these results confirm this research significantly advances the CEP state of the art and provides novel tools and methodologies that can be applied to CEP researchDoutoradoCiência da ComputaçãoDoutor em Ciência da Computação140920/2012-9CNP

Visualização e deteção offline de eventos de tráfego usando o processamento de eventos complexos

A criação de sistemas de transportes inteligentes com vista a melhorar a segurança e circulação de veículos nas estradas, têm sido alvo da pesquisa de diversos grupos nas últimas décadas. A combinação de várias ferramentas de processamento e análise de grandes volumes de dados têm vindo cada vez mais a vincar o seu papel na criação deste tipo de sistemas, demonstrando resultados positivos na aplicação destes nos sistemas de transportes. A combinação de grandes volumes de dados com a deteção de eventos complexos é um caminho inovador e desafiante na gestão de tráfego rodoviário, pois a utilidade deste tipo de sistemas depende da disponibilidade e qualidade de dados, dados estes adquiridos através de sensores, sujeitos a falhas. O objetivo desta dissertação passa pela categorização e deteção de eventos de tráfego (acidentes, trânsito lento, etc), tendo por base um repositório de dados de tráfego rodoviário. Dados esses que são recolhidos por sensores de fluxo rodoviário colocados ao longo de estradas principais e autoestradas. Ao longo desta dissertação será desenvolvido um protótipo, utilizando técnicas de processamento complexo de eventos (CEP), que visa responder ao anteriormente descrito. Todos os dados utilizados para validação do presente trabalho têm por base a rede viária eslovena, sendo este trabalho desenvolvido no contexto de um projeto de pesquisa europeu

Adaptação de serviços web para a personalização de alertas precoces em agricultura

Early warning systems are designed to inform the largest number of users, such as a country or a region, about a risky situation. However, in specific domains such as agriculture, it is commonly required for these alerts to be more specific according to the crops location and their properties. Consequently, the web services of these systems must be adapted. On the other hand, the enterprise services bus, with its mediation capabilities (such as message transformation and routing), and complex event processing with their monitoring characteristics, can be integrated to meet the adaptation requirements of web services at runtime. This paper presents an improvement for an early warning system for coffee production that, according to the area in which a crop is located and its phenology, manages the adaptation of alerts for coffee rust, based on the integration of an enterprise services bus and a complex events processing.Los sistemas de alerta temprana están diseñados para informar a un gran número de usuarios —un país o  na región— sobre una situación de riesgo. Sin embargo, en dominios específicos como la agricultura suele requerirse que estos sean más específicos, de acuerdo con la ubicación del cultivo y sus propiedades. Por lo tanto, los servicios web de estos sistemas requieren adaptarse. Así mismo, el bus de servicios empresariales con sus capacidades de mediación, así como el procesamiento de eventos complejos con sus características de monitorización, pueden integrarse para cumplir con los requisitos de adaptación de los servicios web en tiempo de ejecución. Este articulo presenta la adaptación de los servicios web de acuerdo con la ubicación de un cultivo y su fenología, manejando la adaptación de alertas  ara la roya en el café, con base en la integración del bus de servicios empresariales y el procesamiento de eventos complejos. Os sistemas de alerta precoce estão desenhados para informar a um grande número de usuários —um país ou uma região— sobre uma situação de risco. No entanto, em domínios específicos como a agricultura costuma-se requerer que estes sejam mais específicos, de acordo com a localização do cultivo e suas propriedades. Portanto, os serviços web desses sistemas requerem adaptar-se. Desse modo, o Enterprise Service Bus com suas capacidades de mediação, bem como o processamento de eventos complexos com suas características de monitoramento podem ser integrados para cumprir os requisitos de adaptação dos serviços web em tempo de execução. Este artigo apresenta a adaptação dos serviços web de acordo com a localização de um cultivo e sua fenologia, gerenciando a adaptação de alerta para a ferrugem no café, com base na integração do Enterprise Service Bus e o processamento de eventos complexos.&nbsp

Sistema de notificação para o setor de retalho baseado num motor de validação de regras da Internet das Coisas

Com o aparecimento de novas tecnologias como o Big data, IoT e a evolução do cloud computing em novos paradigmas, a automatização de processos é cada vez mais uma necessidade. Esta automatização é encontrada em várias indústrias não só nas tecnologicas, mas na medicina, nos bancos, energias e retalho. Com a análise de dados recolhidos pelos dispositivos utilizados hoje em dia quer sejam telemóveis, relógios ou mesmo os que estão em carros é possivel prever o comportamento humano, como atividades práticadas e a alimentação. Esta tese vai-se focar no setor do retalho, onde todas essas características referidas anteriormente fazem a diferença. Pretende-se então informar as marcas acerca do comportamento do seu produto numa prateleira. O objetivo é diminuir os custos de recursos humanos e garantir a gestão eficiente do inventário. Esse objetivo vai ser concretizado por meio de tecnologias de processamento de eventos baseados em regras, como os sistemas de gestão de regras (BRMS). Estas tecnologias, dependentemente da regra associada executam uma acção, que neste caso vai ser uma notificação. A ferramenta BRMS, que contém um motor de regras para a gestão das regras, vai estar associada á um módulo de análise de dados para auxiliar na deteção de eventos que estão para acontecer

Monitorização em tempo real de indicadores de performance do retalho

No retalho o acompanhamento da performance das vendas faz parte do dia à dia das equipas de gestão. A Sonae não é exceção, tendo implementado todo um sistema informático de forma a fornecer esta informação aos diretores, gestores e administração. Esse sistema permite visualizar a performance das vendas de uma superfície comercial na manhã seguinte ao fecho desta. Este desfasamento condiciona o tempo de reação das equipas que necessitam destas informações. Com o objetivo de eliminar este desfasamento e melhorar o tempo de reação das equipas de gestão, a Sonae pretende implementar um sistema capaz de processar o fluxo de dados proveniente das lojas para conseguir apresentar ao utilizador, através de uma aplicação web, os indicadores de performance das lojas em tempo real. A arquitetura e desenvolvimento desse sistema é o objetivo desta dissertação.A solução proposta define-se por um sistema composto por vários componentes que capturam o fluxo de transações das lojas, processam esse fluxo gerando os indicadores de performance das vendas e de seguida armazenam esses resultados. A captura e processamento dos dados acontece em tempo real de forma a que possam ser de imediato apresentados às equipas de gestão através de dashboards web. Os componentes para disponibilizar estes dashboards também fazem parte do sistema.Esta solução utiliza tecnologias do domínio do "Big Data" como bases de dados NoSQL (Apache Cassandra e Redis) e sistemas de processamentos de fluxos de eventos (Apache Storm) no sentido de conseguir processar e armazenar o fluxo de dados de elevado volume gerado pelas lo- jas. A solução desenvolvida é distribuída, escalável e resistente a falhas, quer de hardware, quer de software

Representação da informação incerta por meio de ontologias: um framework para smart homes

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro de Ciências da Educação, Programa de Pós-Graduação em Ciência da Informação, Florianópolis, 2019.Nas smart homes e outros cenários da Internet das Coisas (IoT), muitas vezes, as informações coletadas estão sujeitas a interferências externas. Além disso, pode ser necessário representar situações nas quais não é possível se obter informações completas ou precisas sobre determinado fenômeno, gerando a necessidade de se lidar com a informação incerta. As ontologias apresentam um formato amplamente utilizado para a representação das informações coletadas nas smart homes. Sendo assim, atualmente existem várias abordagens não padronizadas na literatura baseadas em ontologias para a representação da informação incerta, ou ontologias incertas . Diante desse contexto, o objetivo deste trabalho é propor um framework para ser utilizado como ferramenta de referência no processo de seleção de ontologias incertas para cenários de smart homes. Para isso, foram identificadas ontologias incertas para smart homes por meio de uma Revisão Sistemática da Literatura (RSL) e foram realizadas pesquisas nos anais do International Workshop on Uncertainty Reasoning for the Semantic Web (URSW). O framework proposto é composto por dois artefatos gerados a partir de informações extraídas das ontologias incertas identificadas: a) questionário para auxiliar na identificação das necessidades de representação da informação incerta; e b) quadro de referência para ser consultado durante a seleção de uma ontologia incerta de acordo com as necessidades de representação da informação incerta. Ao todo, foram identificados 16 trabalhos que propõem ontologias incertas. Com base nestes trabalhos, elaborou-se o questionário com seis questões e diferentes opções de respostas que remetem as ontologias incertas. O quadro de referência foi elaborado contendo os 16 trabalhos identificados e as características das ontologias incertas propostas por cada trabalho. O framework foi aplicado em nove cenários de smart homes que utilizam ontologias, mas não representam a informação incerta, de modo a exemplificar o papel do framework como ferramenta de referência. Como resultado de sua aplicação, para cada cenário, exceto um, identificou-se uma ou mais opções de ontologias incertas. Isto indica que as ontologias incertas disponíveis cobrem grande parte das necessidades de representação atualmente, mas não completamente. Espera-se que o framework proposto possa ser utilizado como referência para facilitar o acesso e uso das ontologias incertas pelos profissionais interessados na construção de ontologias. Finalmente, espera-se gerar oportunidades para que sejam desenvolvidas aplicações que elevem a qualidade e capacidade dos cenários de smart homes tendo em vista principalmente as necessidades e bem-estar das pessoas.Abstract : In smart homes and other Internet of Things (IoT) scenarios, often information collected is subject to external interference. Moreover, it may be necessary to represent situations in which it is not possible to obtain complete or accurate information about a specific phenomenon, causing the need to deal with uncertain information. Ontologies provides a widespread format for representing information collected in smart homes. This way, nowadays there are many non-standard ontology-based approaches in literature focused in the task of uncertain information representation, or \"uncertain ontologies\". Given this context, the objective of this work is to propose a framework to be used as a reference tool in the process of selecting uncertain ontologies for smart home scenarios. For this purpose, uncertain ontologies for smart homes and other IoT scenarios are identified by means of a Systematic Review of Literature (RSL) and by research in proceedings from International Workshop on Uncertainty Reasoning for the Semantic Web (URSW). The proposed framework is composed by two artifacts generated from information extracted from identified uncertain ontologies: a) a survey to assist in identifying the needs for representing uncertain information; and b) a reference table which can be used for selection of uncertain ontologies according to the representation needs. Altogether, 16 uncertain ontologies proposals have been identified. Based on these proposals, the questionnaire was elaborated with six questions and different options of answers referring to uncertain ontologies. The reference table was built containing the 16 ontologies proposals and its specific features. The framework was applied in nine scenarios of smart homes which use ontologies, but do not represent the uncertain information, in order to exemplify the role of the framework as a reference tool. As a result of its application one or more uncertain ontologies options were identified for most of the work. This indicates that the available uncertain ontologies cover most of the representation needs currently, but not all. It is expected that the proposed framework will be used as a reference to ease the access and use of uncertain ontologies by professionals interested in the creation of ontologies. Finally, it is expected to generate opportunities to develop applications which raise the quality and capacity of smart home scenarios especially in view of the needs and well-being of people

A Reference Architecture for a Crowdsensing Platform in Smart Cities

Due to the problems caused by population growth in large cities, there is a need for solutions that point to the initiative of Smart Cities, that is, using the technology to offer resources that can help solve or minimize urban problems. This solutions seeks the integration of several sources of Information Technology(ICTs), however, those source of Information Technology form complex structures and generate a large volume of data, that represents big challenges and opportunities, impeding the possibility of to make available, systems that integrate informations of sensors and capture data from the physical space, getting samples of what is going on in the city in real time. With the intention of offer a reference architecture, to compare issues related with those challenges and opportunities, this paper presents an approach that employs components off-the-shelves for the construction of a crowdsensing platform for solution in Smart Cities. We performed an experiment to determine the performance and stability of the system. Thus, this proposal opens the way for to broaden the integration of data sources of various types of sensors and devices

Análise de soluções “Big Data” para monitorização de consumos de água

Mestrado em Sistemas de InformaçãoO elevado crescimento das comunicações sem fios, tem provocado um aumento no número de dispositivos que impulsionaram o desenvolvimento de novas áreas, como o Smart Metering. Estes avanços, por sua vez, proporcionaram um aumento da quantidade de informação que flui entre máquinas, o que implica que sejam necessárias novas medidas para efectuar a gestão de toda esta informação. O presente trabalho pretende fornecer métodos e técnicas capazes de efectuar o armazenamento e processamento de grandes quantidades de dados. Desta forma, numa primeira instância será fornecida uma análise teórica sobre a área e as principais metodologias para construção de soluções de Big Data. Posteriormente, será apresentada toda a informação dos dados envolvidos, e dos métodos propostos para o desenvolvimento da solução. Por fim serão apresentados os resultados práticos da solução e efectuada uma avaliação da solução implementada.High wireless communications growth leads to an increased number of devices that boosted the development of new areas, as the Smart Metering. In turn, this developements provided an increase data flowing between machines, that requires new actions to manage this data amount. This present MSc work pretends to provide methods ans techniques able to store and process high data amounts. Thus, in the first instance it is provided a theorical analysis about the area and the principals methodologies to develop Big Data solutions. Then, it will be presented all information of the involved data and the proposed methods to develop the solution. Lastly it will presented the pratical results and an evaluation of the implemented solution

On Exploring Proactive Cloud Elasticity for Internet of Things Demands

Today, Internet of Things (IoT) is an emergent concept in which billions of devices are connected to Internet capable of producing and exchanging data. One of the most used technologies in this area regards to the Radio Frequency Identification (RFID). It can produce large amount of data from many things like objects, persons and assets. Thus, it is needed middlewares which must support processing in large scales. However, the state-of-the-art does not present satisfactory solutions in which this kind of middlewares are capable of adapt themselves according to processing demands. In this context, this article presents a proactive cloud elasticity model called Proliot aiming at providing scalability to IoT middlewares. Proliot is capable of predicting load behavior combining time series techniques. In addition, it adapts cloud resources beforehand an overload or underload situation occurs. We evaluated our model comparing results with a reactive elasticity model. In our experiments, Proliot achieved best performance up to 76% when compared to Eliot.Sociedad Argentina de Informática e Investigación Operativa (SADIO

On Exploring Proactive Cloud Elasticity for Internet of Things Demands

Today, Internet of Things (IoT) is an emergent concept in which billions of devices are connected to Internet capable of producing and exchanging data. One of the most used technologies in this area regards to the Radio Frequency Identification (RFID). It can produce large amount of data from many things like objects, persons and assets. Thus, it is needed middlewares which must support processing in large scales. However, the state-of-the-art does not present satisfactory solutions in which this kind of middlewares are capable of adapt themselves according to processing demands. In this context, this article presents a proactive cloud elasticity model called Proliot aiming at providing scalability to IoT middlewares. Proliot is capable of predicting load behavior combining time series techniques. In addition, it adapts cloud resources beforehand an overload or underload situation occurs. We evaluated our model comparing results with a reactive elasticity model. In our experiments, Proliot achieved best performance up to 76% when compared to Eliot.Sociedad Argentina de Informática e Investigación Operativa (SADIO