Big Data Storage

O sector elétrico encontra-se num ponto fulcral da sua evolução. A mais recente conferência sobre as alterações climáticas das Nações Unidas (COP21 ou CMP11), realizada em Paris, veio novamente apelar ao desenvolvimento de estratégias para travar o aquecimento global. A crescente utilização de fontes de energia renovável distribuídas, e o associado fluxo bidirecional de energia, bem como a utilização de metodologias inteligentes de gestão destes recursos, é um dos aspetos chave no âmbito das Smart Grids (redes inteligentes). Este novo paradigma, para além dos benefícios monetários para os consumidores, tem associado o potencial de reduzir as emissões de carbono. Esta dissertação é realizada no âmbito do Grupo de Investigação em Engenharia e Computação Inteligente para a Inovação e o Desenvolvimento (GECAD) sediado no Instituto Superior de Engenharia do Instituto Politécnico do Porto (ISEP-IPP) no domínio de sistemas energéticos inteligentes. O projeto propõe e implementa um sistema de armazenamento e processamento distribuído associado a tecnologias Big Data, que integra diferentes fontes de dados, permite a realização de análises em tempo-real e aplicação de algoritmos de data mining.The utilities industry is at a pivotal point in its evolution. The most recent United Nations Climate Change Conference (COP21 or CMP11) held in Paris, raised awareness for the deployment of strategies to slow down global warming. The increasing adoption of distributed renewable energy sources, and the bidirectional flow of energy, as well as the intelligent management of these resources, is one of the main key aspects of Smart Grids. This new paradigm, which beyond the financial benefits for consumers, has the potential to reduce carbon emissions. This dissertation was developed at the Research Group on Intelligent Engineering and Computing for Advanced Innovation and Development (GECAD) in the Institute of Engineering Polytechnic of Porto (ISEP-IPP), under the domain of intelligent power energy systems. The project proposes and implements a distributed storage and processing system using Big Data Technologies, capable of integrating several data sources, streaming real-time analysis and the usage of data mining techniques

Gerador de Código para Definição de Classes de Equipamentos

TCC(graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia de Controle e Automação.A grande complexidade dos processos da indústria petroquímica tem levado, ao longo dos anos, ao desenvolvimento de sistemas computacionais de controle e supervisão cada vez mais avançados e modulares. Aplicações flexíveis são capazes de se adaptar a uma ampla gama de problemas, replicando estratégias de controle em diferentes plantas e campos, mas podem requerer diferentes etapas de ajustes e definições para funcionar corretamente. Este trabalho, inserido dentro de um projeto de pesquisa do Departamento de Automação e Sistemas da UFSC em parceria com a Petrobras, tem por objetivo simplificar a etapa de pré-configuração de um software de operação e controle utilizado pela empresa, realizada através da criação de arquivos específicos. Aplicando conceitos de Model Driven Development é proposta uma aplicação para geração automática de arquivos de pré-configuração compatíveis, que modifica o processo de descrição dos tipos de equipamentos de campo presentes nas plantas controladas pelo software da Petrobras. A definição manual dos arquivos de pré-configuração, com edições diretas ao código fonte, é substituída por uma definição gráfica através da interface de uma nova aplicação, capaz de importar arquivos já existentes utilizando transformações Text to Model geradas a partir da ferramenta ANTLR, e capaz de gerar novos arquivos utilizando transformações Model to Text geradas com a ferramenta JET. O novo fluxo de criação de arquivos proposto, através da nova aplicação criada, visa possibilitar a modificação do conteúdo dos arquivos sem preocupações a respeito das estruturas de dados, liberando o projetista para focar nas sintonias e estruturas de controle.The high complexity of processes within the petrochemical industry has led, through recent years, to the development of more advanced and modular control and monitoring systems. Applications created in a more flexible way are capable to adapt to a broad spectrum of problems, replicating control strategies in different fields and plants, but may require multiple configuration steps in order to function as intended. This work, inserted within a research project from the Department of Automation and Systems at UFSC, in partnership with Petrobras, aims to simplify the pre- configuration stage of a control and operation software used by the company, that happens via the definition of specific files. Applying concepts of Model Driven Development, an application is proposed to generate automatically compatible pre-configuration files, modifying the process of describing the kinds of field equipment in the plants controlled by Petrobras’ software. A manual definition of pre-configuration files, with straight source code manipulation, is replaced by a graphical definition in a new application interface, capable of importing already existing files using Text to Model transformations generated with the ANTLR tool, as well as capable of generating new files using Model to Text transformations generated with the JET tool. The workflow for pre-configuration files definition proposed, using the new application, intends to enable changes in the files contents without worrying about data structure, gaining time to focus in the control structures and tuning

IP network usage accounting, parte 2: accounting system

O controlo de banda larga é um conceito importante quando lidamos com redes de larga escala. Os ISPs precisam de garantir disponibilidade e qualidade de serviço a todos os clientes, enquanto garantem que a rede como um todo não fica mais lenta. Para garantir isto, é necessário que os ISPs recolham dados de tráfego, analisem-nos e usem-nos para definir a velocidade de banda larga de cada cliente. A NOS Madeira implementou, durante vários anos, um sistema semelhante. No entanto, este sistema encontrava-se obsoleto, sendo necessário construir um novo, totalmente de raíz. Entre as limitações encontrava-se a impossibilidade de alterar os algoritmos de análise de tráfego, fraca integração com os serviços de gestão de rede da NOS Madeira e reduzida escalabilidade e modularidade. O sistema IP Network Usage Accounting é a resposta a estes problemas. Este projeto foca-se no desenvolvimento do subsistema Accounting System, o segundo dos três subsistemas que compõem o sistema IP Network Usage Accounting. Este subsistema, implementado com sucesso e atualmente em produção na NOS Madeira, é responsável por analisar os dados referidos acima e usar os resultados dessa análise para direcionar a disponibilidade de banda larga, de acordo com o uso da rede de cada cliente

Sistema de integração e aferição da qualidade de dados sensoriais

Atualmente o termo Internet of Things já faz parte do quotidiano de muitas pessoas que procuram recolher e monitorizar informação sobre equipamentos e sistemas que usam diariamente, com o objetivo de otimizar recursos e facilitar tarefas. Os sistemas de IoT permitem a tomada de decisões e a execução de ações sem a necessidade de uma intervenção humana contínua. No entanto, para que o resultado seja o esperado é necessário que os dados usados na tomada de decisão sejam confiáveis, algo que nem sempre acontece. Esta dissertação tem como objetivo propor um sistema que permita, através da especificação e aplicação de regras, conjuntamente com a utilização de fontes de referência (consideradas fidedignas), validar de forma contínua os dados obtidos pelos sensores. Deste modo, aumenta-se a qualidade e confiabilidade dos dados obtidos pelos sensores e nas ações programadas com base nesses dados. Além da especificação e implementação das regras, o sistema proposto possibilita ainda a aplicação de alguns mecanismos de calibração dos dados dos sensores, que inicialmente foram classificados como inválidos, permitindo assim a recuperação e utilização de alguns desses dados. O sistema proposto é validado, na forma de protótipo, num cenário real onde é recolhida informação meteorológica, no âmbito dum projeto do IPN-LAS

Algoritmos de pré-processamento para uniformização de instâncias XML heterogêneas

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-graduação em Ciência da ComputaçãoO aumento no volume de informações disponíveis na Web torna necessário sistemas cada vez mais práticos e eficientes na coleta e integração destas informações, para fins de consulta. Um dos formatos mais utilizados para disponibilizar as informações na Web é O XML. O XML, dada a sua natureza dinâmica, permite representações completas e adequadas dos mais diferentes domínios de dados. Ao mesmo tempo, esta natureza dinâmica lhe confere aspectos que tornam complexa a integração de dados neste formato. Este trabalho vem ao encontro deste problema, provendo um conjunto de técnicas de pré-processamento para uniformizar as estruturas de dados no formato XML. Esta uniformização, que busca respeitar a semântica dos dados, visa facilitar a comparação e posterior integração por abordagens já existentes para comparação e integração de dados. Através de estudos de caso e experimentos, demonstra-se como os pré-processamentos sugeridos influem positivamente nos resultados de trabalhos existentes

Aquisição, tratamento, arquivo e difusão de exames de endoscopia

Dissertação de mestrado integrado em Engenharia BiomédicaDe entre os diversos tipos de exames de endoscopia, a esofagogastroduodenoscopia assume um papel preponderante devido a ser o método ideal para examinar a mucosa do trato digestivo alto, bem como para detetar inúmeras patologias gastrenterológicas. O resultado deste tipo de exames é, geralmente, um relatório composto por um conjunto de frames capturados durante o exame, eventualmente acompanhado por um vídeo. Hoje em dia, apenas as imagens juntamente com o relatório endoscópico, são arquivadas. O facto de o vídeo não ser arquivado pode conduzir a um incómodo no bem-estar do paciente, assim como a um acréscimo de custos e tempo despendido, pois frequentemente o mesmo é necessário para revisão e validação da hipótese de diagnóstico, bem como para comparação de segmentos do vídeo com exames futuros. Mesmo nos casos em que a informação é arquivada, a falta de reutilização e partilha de informação e vídeos entre entidades contribui, mais uma vez, para uma repetição desnecessária de exames. A existência de um arquivo de vídeos endoscópicos seria uma mais-valia, pois além de resolver os problemas referidos ainda possibilitaria a sua utilização para fins de pesquisa e investigação, além de disponibilizar exames para servirem como referência para estudo de casos similares. Neste trabalho é proposta uma solução abrangente para a aquisição, tratamento, arquivo e difusão de exames de endoscopia. O objetivo passa por disponibilizar um sistema capaz de gerir toda a informação clínica e administrativa (incluindo conteúdo audiovisual) desde o seu processo de aquisição até ao processo de pesquisa de exames antigos, para comparação com novos casos. De forma a garantir a compatibilidade lexical da informação partilhada no sistema, foi utilizado um vocabulário endoscópico estandardizado, o Minimal Standard Terminology (MST). Neste contexto foi planeado um dispositivo (MIVbox) orientado à aquisição do vídeo endoscópico, independentemente da câmara endoscópica utilizada. Toda a informação é armazenada de forma estruturada e normalizada, possibilitando a sua reutilização e difusão. Para facilitar este processo de partilha, o vídeo sofre algumas etapas de processamento, de forma a ser obtido um vídeo reduzido e as respetivas características do conteúdo. Deste modo, a solução proposta contempla um sistema de anotação que habilita a pesquisa por conteúdo, servindo assim como uma ferramenta versátil para a investigação nesta área. Este sistema é ainda dotado de um módulo de streaming, no qual é transmitido, em tempo real, o exame endoscópico, disponibilizando um canal de comunicação com vídeo unidirecional e áudio bidirecional, permitindo que os profissionais ausentes da sala do exame deem a sua opinião remotamente.Among the different kinds of endoscopic procedures, esophagogastroduodenoscopy plays a major role because it is the ideal method to examine the upper digestive tract, as well as to detect numerous gasteroentologic diseases. The result of such procedures is usually a written report that comprises a set of frames captured during the examination, sometimes complemented with a video. Nowadays only the images are stored along with the endoscopic report. Not storing the video may lead to discomfort concerning the patient’s well-being, as well as an increase of costs and time spent, because it is often necessary to review and validate the diagnostic hypothesis, and compare video segments in future exams. Even in the cases in which the information is stored, the lack of reutilization and share of information and videos among entities contributes, once again, for an unnecessary repetition of exams. Besides solving the problems mentioned above, the existence of an endoscopic video archive would be an asset because it would enable research and investigation activities. Furthermore it would make available exams to serve as a reference for the study of similar cases. In this work, an extended solution of acquisition, processing, archiving and diffusion of endoscopic procedures is proposed. The aim is to provide a system capable of managing all the administrative and clinical information (including audiovisual content) from its acquisition process to the searching process of previous exams, for comparison with new cases. In order to ensure compatibility of lexical information shared in the system, a standardized endoscopic vocabulary, the Minimal Standard Terminology (MST) was used. In this context, a device for the acquisition of the endoscopic video was designed (MIVbox), regardless of the endoscopic camera that is used. All the information is stored in a structured and standardized way, allowing its reuse and sharing. To facilitate this sharing process, the video undergoes some processing steps in order to obtain a summarized video and the respective content characteristics. The proposed solution provides an annotation system that enables content querying, thus becoming a versatile tool for research in this area. This system is also provided with a streaming module in which the endoscopic video is transmitted in real time. This process uses a communication channel with one-way video and two-way audio, allowing professionals absent from the exam room to give their opinion remotely

Implementação e análise de uma arquitetura de grids de agentes para a gerência de redes e sistemas

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação.O gerenciamento centralizado de redes de computadores, telecomunicações e de sistemas pode nos levar a situações em que grandes volumes de dados precisam ser manipulados e analisados por uma única estação de gerenciamento na rede. Além do alto custo, tal abordagem tem se apresentado pouco extensível à medida que cresce o número de dispositivos no ambiente gerenciado. Frente a este problema, este trabalho apresenta uma arquitetura baseada em grids de agentes aplicável ao gerenciamento de redes de computadores e de sistemas. Tal abordagem tem como objetivo básico aplicar princípios da computação em grid, usando agentes de software como infra-estrutura para construção do grid, com o objetivo de otimizar alguns problemas inerentes ao gerenciamento centralizado como a manipulação e análise de grande volume de informação de gerenciamento. Também no escopo deste trabalho são descritos detalhes de implementação da arquitetura de grid proposta e a realização de experimentos em cenários de gerenciamento de sistemas usando um sistema baseado na proposta apresentada

Medidas da complexidade da estrutura de algoritmos codificados em C

Nesta dissertação defendemos uma forma nova de medir o produto de software com base nas medidas usadas na teoria dos sistemas complexos. Consideramos o uso dessas medidas vantajoso em relação ao uso das medidas tradicionais da engenharia de software. A inovação desta dissertação sintetiza-se em considerar o produto de software como um sistema complexo, dotado de uma estrutura que comporta vários níveis e na proposta da correlação de gama longa como medida da complexidade de estrutura de programas fontes. Essa medida, invariante para a escala de cada nível da estrutura, pode ser calculada automaticamente. Na dissertação, primeiro descrevemos o processo de desenvolvimento do software e as medidas existentes para medir o referido processo e produto e introduzimos a teoria dos sistemas complexos. Concluímos que o processo tem características de sistema complexo e propomos que seja medido como tal. Seguidamente, estudamos a estrutura do produto e a dinâmica do seu. processo de desenvolvimento. Apresentamos um estudo experimental sobre algoritmos codificados em C, que usamos para validar hipóteses sobre a complexidade da estrutura do produto. Propomos a correlação de gama longa como medida da complexidade da estrutura. Estendemos essa medida a uma amostra codificada em Java. Concluímos, evidenciando as limitações e as potencialidades dessa medida e a sua aplicação em Engenharia de Software.Universidade Técnica de Lisboa: Instituto Superior Técnic

Modelos de espacialização : integração no pensamento composicional

Doutoramento em MúsicaO presente trabalho propõe-se a conceptualizar os modelos e a criar novas ferramentas para a espacialização da música electroacústica, bem como a explorar formas de integração deste parâmetro na composição musical. É proposta uma taxonomia da espacialização na música electroacústica, com base no levantamento de fontes realizado. O conjunto de aplicações informáticas concebido utiliza o conhecimento actual sobre a audição espacial, implementa duas propostas de desenvolvimento sobre as técnicas de espacialização e incorpora os modelos de espacialização conceptualizados. Por fim, as obras musicais compostas propõem e exploram formas para a utilização da espacialização enquanto elemento gerador do material musical na composição de música electroacústica.This work proposes a conceptualization of the models and the creation of new tools for sound spatialization in electroacoustic music, as well as ways to explore the integration of this parameter in musical composition. A taxonomy of spatialization in electroacoustic music is proposed, based on the sources that have been assessed. The developed suite of software applications uses the current knowledge on spatial hearing, implements the proposed developments on sound spatialization techniques and incorporates the conceptualized spatialization models. Finally, the composed musical works propose and explore ways to integrate spatialization as the generative element of the musical material in electroacoustic music composition

Desenvolvimento e implementação em contexto realista do sistema CLASSQUIZ

Este trabalho foca o desenvolvimento de uma nova solução de sondagem e avaliação em contexto de sala de aula, especialmente em ambientes com muitos alunos, designada CLASSQUIZ. Neste documento, para além da justificação das opções tomadas durante o seu desenvolvimento, é feita uma reflexão sobre os resultados recolhidos dos participantes das sessões de teste realizadas, em ambiente realista. O sistema CLASSQUIZ permite aos professores e formadores realizarem inquéritos, questionários e sondagens, sob a forma de questões de escolha múltipla, que podem ser usados para a avaliação dos alunos, ou meramente para efeitos estatísticos, podendo ser anónimos ou não. Assim, o sistema CLASSQUIZ permite aumentar a interactividade dos alunos numa sala de aula, promovendo a sua participação e estimulando a atenção dada à matéria leccionada. O sistema desenvolvido consiste num servidor e numa série de terminais individuais, a partir dos quais os alunos respondem a questões de escolha múltipla postas globalmente. A autenticação dos alunos é assegurada através dos seus cartões de estudante, que deve permanecer no terminal durante a realização do inquérito. De forma a garantir que apenas os alunos presentes na sala de aula podem participar nos inquéritos realizados, o sistema encontra-se ligado a uma rede local, cujo acesso se encontra restrito a terminais devidamente registados no sistema, prevenindo assim qualquer forma de acesso do exterior. Em vez de precisarem de instalar software adicional nos seus computadores pessoais, os professores podem aceder à interface gráfica do sistema a partir de qualquer dispositivo com um navegador de Internet. Para além disso, cada questão encontra-se associada a um URL, que pode ser inserido numa qualquer apresentação existente, garantindo a fluidez da lição. O sistema possibilita ainda a apresentação dos resultados dos inquéritos realizados, permitindo aos participantes receberem um feedback imediato da sua participação.This dissertation focuses on the development of a solution for polling and evaluating students in a classroom environment, named CLASSQUIZ. In this document, in addition to the justification of the options taken during its development, a reflection is made on the results collected from the participants of the test sessions performed in a realistic environment. The CLASSQUIZ system allows teachers and trainers to carry out surveys and quizzes, in the form of multiple choice questions, which can be used for student evaluation, or merely for statistical purposes, whether anonymous or not. Thus, the CLASSQUIZ system allows the increase of students’ interactivity in a class classroom, promoting their participation and stimulating the attention given to the subject being taught. The developed system consists of a server and a set of individual terminals, through which students are able to answer multiple choice questions posed globally. Authentication of the students is ensured through their ID cards, which must remain inserted in the individual terminal druing the quiz or survey. In order to ensure that only the students present in the classroom can participate in the surveys, the system is connected through a dedicate local network, whose access is restricted to terminals properly registered in the system, thus preventing any form of access from the outside. Instead of being required to install additional software on their personal computers, teachers can access the CLASSQUIZ User Interface from any device with a web browser. In addition, each question is associated with a URL, which can be inserted into any existing presentation, allowing teachers to keep the flow of the lesson. The system also allows the presentation of the results of the surveys, allowing the participants to receive immediate feedback on their performance.Mestrado em Engenharia Mecânic