OPC UA standardiin perustuva monimuuttaja-analysointi sekä tiedonkeruujärjestelmä kemometrisiin sovelluksiin

Chemical industries utilize a variety of different types of online analyzers, for example, in areas like quality monitoring and process control applications. Large production plants typically use several analyzer devices from multiple manufacturers which are employed to measure different target quantities. As manufacturers have their own proprietary protocols for accessing analyzer information it is usually only the target property estimates that are transferred to the higher level automation systems. Other analyzer data, for example spectra, are generally not in a suitable format for further action on the higher level systems. This thesis outlines a solution to the analyzer data acquisition problem by utilizing OPC UA standard and OPC UA analyzer devices companion specification (ADI) to create a data acquisition system for analyzer information. The created system consists of an OPC UA server, which is used as a single access point for all analyzer related information. In addition, the analyzer data is collected and archived into a SQL database, which is accessible through the OPC UA server. The data acquisition system makes it convenient for the end users to access plant analyzer information using the standardized protocols. Furthermore, the OPC UA based data acquisition system can be used to integrate analyzer data with other types of process measurements. This thesis presents an example application where this type of data integration is utilized to increase the accuracy of the target quantity estimates of an analyzer. The same system also has a wide range of other potential applications, some of which are briefly examined in this work. The literature part of the thesis mainly focuses on different aspects of chemometrics; pre-processing and multivariate modelling of the analyzer spectra. These techniques are used in the thesis' experimental part to process data obtained from Neste Oil Oy’s Porvoo refinery. The literature part also briefly examines different protocols used for the transfer of analyzer data through the automation networks. The experimental part the thesis consists of three main parts: The first part is a case study where the refinery measurement data and the analyzer spectra are utilized to demonstrate how product quality estimates accuracies can be improved through data integration. In the second part, the analyzer data acquisition system is developed, including the provision of a separate OPC UA ADI wrapper server for ABB online analyzers. This wrapper was created in order to obtain the data from the production unit analyzers used in the case study. In the final part, a chemometric calculation platform is designed in order to implement the data processing sequence used to process the refinery data. This platform also utilizes the newly created data acquisition system through the OPC UA protocol.Kemianteollisuudessa käytetään monia erityyppisiä online analysaattoreita, joita hyödynnetään esimerkiksi laadunvalvonnassa sekä prosessien ohjauksessa. Eri laitevalmistajilta olevia analysaattorilaitteita voi olla suuri määrä käytössä isoissa tuotantolaitoksissa, mitaten eri kohdesuureita. Usealla laitevalmistajalla on usein omat suljetut protokollat, joilla analysaattori-informaatiota luetaan sekä käsitellään. Tyypillisesti ainoastaan mitattu kohdesuure on helposti saatavilla tuotantolaitoksen ylemmistä informaatiojärjestelmistä. Muu analysaattori-informaatio, kuten mitatut spektrit ja diagnostiikkadata, eivät siten ole helposti saatavilla ylemmällä automaatiotasoilla. Tämä diplomityö esittää ratkaisun analysaattoritiedonkeruuongelmaan hyödyntämällä OPC UA standardia ja OPC UA analysaattorilaitespesifikaatiota (ADI), sekä luomalla näihin pohjautuvan analysaattoritiedonkeruujärjestelmän. Järjestelmä perustuu OPC UA palvelimeen, joka toimii yhteyspisteenä kaikelle laitoksella olevalle analysaattori-informaatiolle. Lisäksi järjestelmä tukee analysaattoridatan historiakeruuta SQL-tietokantaan, josta tietoa voidaan lukea OPC UA palvelimen kautta. Loppukäyttäjien näkökulmasta järjestelmä helpottaa analysaattori-informaation hallintaa. Diplomityö esittää myös käyttöesimerkin, jossa analysaattori- sekä prosessidataa hyödynnetään rinnakkain parantamaan tiettyjen laadunvalvontasuureiden estimointitarkkuutta. Luotu tiedonkeruujärjestelmä mahdollistaa dataintegraation, jossa yhdistetään mittausdataa monista erityyppisistä lähteistä. Työn tutkimusosa käsittää lähinnä kemometriaan liittyviä datan käsittely- ja mallinnusmenetelmiä. Näitä tekniikoita hyödynnetään kokeellisessa osassa, jossa käsitellään Neste Oil Oy:n Porvoon jalostamolta saatua prosessi- sekä analysaattoridataa. Tutkimusosa sisältää myös kuvauksen yleisimmistä analysaattoridatan tiedonsiirtomenetelmistä. Työn kokeellinen osa sisältää kolme pääosaa. Ensimmäisessä osassa havainnollistetaan, kuinka tiettyjen laadunvalvontasuureiden estimointitarkkuutta voidaan parantaa, kun analysaattori-informaatiota sekä prosessidataa hyödynnetään mallinnuksessa. Toisessa osassa esitellään analysaattoritiedonkeruujärjestelmä, joka esittää myös ADI sovittemen ABB online analysaattorille. Tämä OPC UA palvelimeen perustuva sovitin tarvittiin, sillä tutkittu jalostamoyksikkö käyttää ABB:n laitteita laadunvalvonnassa. Viimeisessä osiossa esitellään laskentapalvelu kemometrisiin laskentatarpeisiin. Tämä palvelu implementoi datakäsittelyketjun prosessi- sekä analysaattorimittauksille. Palvelu hyödyntää OPC UA protokollaa ja edellä luotua tiedonkeruujärjestelmää

QoS-Based Optimization of Runtime Management of Sensing Cloud Applications

Die vorliegende Arbeit präsentiert Ansätze und Techniken zur qualitätsbewussten Verbesserung des Laufzeitmanagements von IoT-Anwendungen. IoT-Anwendungen nehmen über die Sensorik von Smart Devices ihre Umgebung wahr, um diese zu analysieren oder mit ihr zu interagieren. Smart Devices sind in der Rechen- und Speicherleistung begrenzt, weshalb viele IoT-Anwendungen über eine IoT Plattform mit elastischen und skalierbaren Cloud Services verbunden sind. Die Last auf dem Cloud Service entsteht durch die verbundenen Smart Devices, die kontinuierlich Nachrichten transferieren. Die Ressourcenkonfiguration des Cloud Services beeinflusst dessen Kapazität. Ein Service Operator, der eine IoT-Anwendung betreibt, ist mit der Herausforderung konfrontiert, die Smart Devices und den Cloud Service so zu konfigurieren, dass eine hohe Datenqualität bei niedrigen Betriebskosten erreicht wird. Um hierbei den Service Operator zur Design Time zu unterstützen, modellieren wir Kostenfunktionen für Datenqualitäten, die durch das Wechselspiel der Smart Device- und Cloud Service-Konfiguration beeinflusst werden. Mit Hilfe dieser Kostenfunktionen kann ein Service Operator nach einer kostenminimalen Konfiguration für bestimmte Szenarien suchen. Existierende Ansätze zur Optimierung von Anwendungen zur Design Time fokussieren sich auf traditionelle Software-Architekturen und bieten daher nicht die notwendigen Konzepte zur Kostenmodellierung von IoT-Anwendungen an. Des Weiteren unterstützen wir den Service Operator durch Lastkontrollverfahren, die auf Kapazitätsengpässe des Cloud Services durch eine kontrollierte Reduktion der Nachrichtenrate reagieren. Während sich das auf die Genauigkeit der Messungen nachteilig auswirken kann, stabilisieren sich zeitliche Verzögerungen und die IoT-Anwendung bleibt auch in starken Überlastszenarien verfügbar. Existierende Laufzeittechniken fokussieren sich auf die automatische Ressourcenprovisionierung von Cloud Services durch Auto-Scaler. Diese ermöglichen zwar, auf Kapazitätsengpässe und Lastschwankungen zu reagieren, doch die erreichte Quality-of-Service (QoS) kann dadurch mit hohen Betriebskosten verbunden sein. Daher ermöglichen wir durch die Lastkontrollverfahren eine weitere Technik, mit der einerseits dynamisch auf Kapazitätsengpässe reagiert werden und andererseits die zur Verfügung stehende Kapazität eines Cloud Services effizient genutzt werden kann. Außerdem präsentieren wir Kopplungstechniken, die Auto-Scaling und Lastkontrollverfahren kombinieren. Bestehende Ansätze zur Rekonfiguration von Smart Devices konzentrieren sich auf Qualitäten wie Genauigkeit oder Energie-Effizienz und sind daher ungeeignet, um auf Kapazitätsengpässe zu reagieren. Zusammenfassend liefert die Dissertation die folgenden Beiträge: 1. Untersuchung von Performance Metriken für Skalierentscheidungen: Wir haben Infrastuktur- und Anwendungsebenen-Metriken daraufhin evaluiert, wie geeignet sie für Skalierentscheidungen von Microservices sind, die variierende Charakteristiken aufweisen. Auf Basis der Ergebnisse kann ein Service Operator eine fundierte Entscheidung darüber treffen, welche Performance Metrik zur Skalierung eines bestimmten Microservices am geeignesten ist. 2. Design von QoS Kostenfunktionen für IoT-Anwendungen: Wir haben ein QoS Kostenmodell aufgestellt, dass das Wirken von Smart Device- und Cloud Service-Konfiguration auf die Qualitäten einer IoT-Anwendung erfasst. Auf Grundlage dieser Kostenmodelle kann die Konfiguration von IoT-Anwendungen zur Design Time optimiert werden. Des Weiteren können mit den Kostenfunktionen Laufzeitverfahren hinsichtlich ihrem Beitrag zur QoS für verschiedene Szenarien evaluiert werden. 3. Entwicklung von Lastkontrollverfahren für IoT-Anwendungen: Die präsentierten Verfahren bieten einen komplementären Mechanismus zu Auto-Scaling an, um bei Kapazitätsengpässen die QoS aufrechtzuerhalten. Hierbei wird die Gesamtlast auf dem Cloud Service durch Anpassungen der Nachrichtenrate der Smart Devices reduziert. Ein Service Operator hat hiermit die Möglichkeit, Kapazitätsengpässen über eine Degradierung der Datenqualität zu begegnen. 4. Kopplung von Lastkontrollverfahren mit Ressourcen-Provisionierung: Wir präsentieren regelbasierte Kopplungsmechanismen, die reaktiv Lastkontrollverfahren oder Auto-Scaler aktivieren und diese damit koppeln. Das ermöglicht, auf Kapazitätsengpässe über eine Kombination von Datenqualitätsreduzierungen und Ressourcekostenerhöhungen zu reagieren. 5. Design eines Frameworks zur Entwicklung selbst-adaptiver Systeme: Das selbst-adaptive Framework bietet ein Anwendungsmodell für IoT-Anwendungen und Konzepte für die Rekonfiguration von Microservices und Smart Devices an. Es kann in verschiedenen Cloud-Umgebungen aufgesetzt werden und beschleunigt die prototypische Entwicklung von Laufzeitverfahren. Wir validierten die Ansätze anhand zweier Case Study Systeme unterschiedlicher Komplexität. Das erste Case Study System besteht aus einem Cloud Service, welcher über eine IoT Plattform Nachrichten von virtuellen Smart Devices verarbeitet. Mit diesem System haben wir für unterschiedliche Anwendungsszenarien die Charakteristiken der vorgestellten Lastkontrollverfahren analysiert, um diese gegen Auto-Scaling und einer Kopplung der Ansätze zu vergleichen. Hierbei stellte sich heraus, dass die Lastkontrollverfahren ähnlich effizient wie Auto-Scaler Überlastszenarien addressieren können und sich die QoS in einem vergleichbaren Bereich bewegt. Im Schnitt erreichten die Lastkontrollverfahren in den untersuchten Szenarien etwa 50 % geringere QoS Gesamtkosten. Es zeigte sich auch, dass sowohl Auto-Scaling als auch die Lastkontrollverfahren in bestimmten Anwendungsszenarien deutliche Nachteile haben, so z. B. wenn die Datengenauigkeit oder Ressourcenkosten im Vordergrund stehen. Es hat sich gezeigt, dass eine Kopplung hierbei immer vorteilhaft ist, um die QoS beizubehalten. Im zweiten Case Study System haben wir eine intelligente Heizungslösung der Robert Bosch GmbH implementiert, um die Ansätze an einem komplexeren System zu validieren. Auch hier zeigte sich, dass eine Kombination von Lastkontrolle und Auto-Scaling am vorteilhaftesten ist und zu einer hohen Datenqualität bei geringen Ressourcenkosten beiträgt. Die Ergebnisse zeigen, dass die vorgestellten Lastkontrollverfahren geeignet sind, die QoS von IoT Anwendungen zu verbessern. Es bietet einem Service Operator damit ein weiteres Werkzeug für das Laufzeitmanagement von IoT Anwendungen, dass einen zum Auto-Scaling komplementären Mechanismus verwendet. Das hier vorgestellte Framework zur Entwicklung selbst-adaptiver IoT Systeme haben wir zur empirischen Beantwortung der Forschungsfragen instanziiert und damit dessen Eignung demonstriert. Wir zeigen außerdem eine exemplarische Verwendung der vorgestellten Kostenfunktionen für verschiedene Anwendungsszenarien und binden diese im Zuge der Validierung in einem Optimierungs-Framework ein

Otimização na alocação de recursos de cloud computing num serviço de autenticação de produtos

Dissertação de mestrado integrado em Engenharia InformáticaA UN1Qnx, S.A., soluções de autenticidade ciber-físicas, é uma empresa sediada em Braga, que desenvolve e comercializa sistemas físicos, eletrónicos e cibernéticos de validação e autenticação de produtos, sendo o objetivo a proteção da marca e o combate à contrafação. Neste momento, a empresa possui um serviço de autenticação de produtos localizado numa máquina virtual na cloud, mais especificamente na Microsoft Azure. Contudo, a utilização deste serviço é intermitente e passa por períodos de inatividade. Porém, quando utilizado, cada execução do serviço é computacionalmente custosa, o que obriga à utilização de uma máquina virtual que tem em conta o caso de máxima utilização. Assim, nos intervalos entre utilizações os custos acumulam-se sem aproveitar os recursos alocados. Deste modo, esta tese passa por otimizar a utilização dos recursos na cloud, tendo em vista tirar proveito da escalabilidade e elasticidade das tecnologias de computação na nuvem, bem como melhorar a latência dos pedidos. A otimização dos recursos passa por comparar diferentes serviços de diferentes forne cedores e selecionar o que se apresenta como a melhor opção. A fim de realizar estas comparações, fez-se antes uma investigação baseada na metodologia Design Science Research. Primeiramente, explorou-se o ambiente da solução (computação na nuvem) e o ambiente do problema, isto é, qual a situação atual da empresa no que diz respeito ao funcionamento do serviço de validação e dos recursos afetos ao mesmo. Em segundo lugar, fez-se uma averiguação sobre o estado da arte das tecnologias usadas, das tecnologias que poderiam vir a ser usadas e de outras empresas da mesma área, sobre quais os seus produtos e o seu modo de funcionamento. Por último, investigaram-se métodos de seleção e comparação entre várias opções. Em terceiro lugar, realizou-se a parte mais trabalhosa e demorada: o desenvolvimento prático. Nesta fase realizaram-se testes de performance, a colocação do serviço num docker container e a utilização de kubernetes. Ainda nesta última parte, houve vária experimentação com diversas arquiteturas. Por fim, o sistema estabilizou numa arquitetura assíncrona, que fez reduzir os custos e, permitiu com que o serviço se adequasse melhor à quantidade de trabalho a processar.UN1Qnx, SA, cyber-physical authenticity solutions, is a company headquartered in Braga, which develops and markets physical, electronic and cyber systems for validating and authenticating products, with the aim of protecting the brand and combating counterfeiting . At this moment, the company has a product authentication service located in a virtual machine in the cloud, more specifically in Microsoft Azure. However, the use of this service is intermittent and goes through periods of inactivity. However, when used, each execution of the service is computationally expensive, which requires the use of a virtual machine that takes into account the case of maximum use. Thus, in the intervals between uses, costs accumulate without taking advantage of the allocated resources. Thus, this thesis involves optimizing the use of resources in cloud, with a view to taking advantage of the scalability and elasticity of cloud computing technologies, as well as improving the latency of requests. Resource optimization involves comparing different services from different providers and selecting the best option. In order to make these comparisons, an investigation based on the Design Science Research methodology was carried out. First, the solution environment (cloud computing) and the problem environment were explored, that is, the current situation of the company with regard to the functioning of the validation service and the resources allocated to it. Secondly, an inquiry was made about the state of the art of the technologies used, the technologies that could be used and other companies in the same area, about their products and how they work. Finally, selection and comparison methods between various options were investigated. Thirdly, the most laborious and time-consuming part was carried out: practical deve lopment. In this phase, performance tests were carried out, the service was placed in a docker container and kubernetes was started to being used. Also in this last part, there was a lot of experimentation with different architectures. Finally, the system stabilized in an asynchronous architecture that reduced costs and allowed the service to be better suited to the amount of work to be processed

Network monitoring in public clouds: issues, methodologies, and applications

Cloud computing adoption is rapidly growing thanks to the carried large technical and economical advantages. Its effects can be observed also looking at the fast increase of cloud traffic: in accordance with recent forecasts, more than 75\% of the overall datacenter traffic will be cloud traffic by 2018. Accordingly, huge investments have been made by providers in network infrastructures. Networks of geographically distributed datacenters have been built, which require efficient and accurate monitoring activities to be operated. However, providers rarely expose information about the state of cloud networks or their design, and seldom make promises about their performance. In this scenario, cloud customers therefore have to cope with performance unpredictability in spite of the primary role played by the network. Indeed, according to the deployment practices adopted and the functional separation of the application layers often implemented, the network heavily influences the performance of the cloud services, also impacting costs and revenues. In this thesis cloud networks are investigated enforcing non-cooperative approaches, i.e.~that do not require access to any information restricted to entities involved in the cloud service provision. A platform to monitor cloud networks from the point of view of the customer is presented. Such a platform enables general customers---even those with limited expertise in the configuration and the management of cloud resources---to obtain valuable information about the state of the cloud network, according to a set of factors under their control. A detailed characterization of the cloud network and of its performance is provided, thanks to extensive experimentations performed during the last years on the infrastructures of the two leading cloud providers (Amazon Web Services and Microsoft Azure). The information base gathered by enforcing the proposed approaches allows customers to better understand the characteristics of these complex network infrastructures. Moreover, experimental results are also useful to the provider for understanding the quality of service perceived by customers. By properly interpreting the obtained results, usage guidelines can be devised which allow to enhance the achievable performance and reduce costs. As a particular case study, the thesis also shows how monitoring information can be leveraged by the customer to implement convenient mechanisms to scale cloud resources without any a priori knowledge. More in general, we believe that this thesis provides a better-defined picture of the characteristics of the complex cloud network infrastructures, also providing the scientific community with useful tools for characterizing them in the future

On the use of intelligent models towards meeting the challenges of the edge mesh

Nowadays, we are witnessing the advent of the Internet of Things (IoT) with numerous devices performing interactions between them or with their environment. The huge number of devices leads to huge volumes of data that demand the appropriate processing. The “legacy” approach is to rely on Cloud where increased computational resources can realize any desired processing. However, the need for supporting real-time applications requires a reduced latency in the provision of outcomes. Edge Computing (EC) comes as the “solver” of the latency problem. Various processing activities can be performed at EC nodes having direct connection with IoT devices. A number of challenges should be met before we conclude a fully automated ecosystem where nodes can cooperate or understand their status to efficiently serve applications. In this article, we perform a survey of the relevant research activities towards the vision of Edge Mesh (EM), i.e., a “cover” of intelligence upon the EC. We present the necessary hardware and discuss research outcomes in every aspect of EC/EM nodes functioning. We present technologies and theories adopted for data, tasks, and resource management while discussing how machine learning and optimization can be adopted in the domain