Aggregating distributed digital collections in the mountain west digital library with the CONTENTdm multi-site server

Journal ArticleThis paper describes the creation of the Mountain West Digital Library (MWDL), a cooperative regional program distributed throughout Utah and Nevada. Its metadata are aggregated at a single website. Six digitization centers at the largest universities in both states digitize their own collections and support partner institutions in their geographic regions. Each center runs a CONTENTdm server, and an aggregating server at the University of Utah harvests metadata into a single searchable index. Local control and identity of collections are hallmarks of the MWD

Aggregoivien OPC UA-palvelimien laajennetut ominaisuudet ja arviointi

OPC United Architecture (OPC UA) is a protocol for data exchange that is based on a server-client model. OPC UA servers are used in industry to collect and organize data from devices. An aggregating OPC UA server collects data from one or more source OPC UA servers and its client serves as the interface to the thus created OPC UA server network. OPC UA has some advantages to its competitors, including built-in support for Historical Access (HA) and Alarms And Conditions (A&C). HA allows storing and reading previous data values, and A&C allows informing external systems of the states of the server. This thesis defined requirements for incorporating HA and A&C to an aggregating OPC UA server and designed how this would be done using software design principles. The requirements were based on a study of the OPC UA specification and other relevant literature. The A&C and HA cases chosen to be designed were based on the aggregating server relaying received requests to source servers. Extensions based on the designs were implemented to a prototype aggregating OPC UA server that was run through tests that evaluate its performance both during configuration and runtime, based on simple use cases. The Prosys Java OPC UA Software Development Kit was used to create and run the server and the tests. The implementation of request relaying-based A&C and HA on an aggregating OPC UA server was found to be simple. This thesis found the performance of the aggregating server to be adequate for simple use cases, but possibly inadequate for multilayer server networks or contexts requiring near real time responses. The performance evaluation of subscriptions, diversified address space transformations and improved configuration times were identified as potential targets for further development.OPC Unified Architecture (OPC UA) on tiedonsiirtoprotokolla, joka perustuu asiakas-palvelin-malliin. OPC UA-palvelimia käytetään teollisuudessa datan keräämiseen laitteista ja sen organisointiin. Aggregoiva OPC UA-palvelin kerää dataa yhdeltä tai useammalta OPC UA lähdepalvelimelta ja sen asiakas toimii rajapintana näin luodulle OPC UA-palvelinverkolle. OPC UA:lla on joitain etuja kilpailijoihinsa nähden, kuten sisäänrakennettu tuki Alarms And Conditionsille (A&C) ja Historical Accessille (HA). A&C mahdollistaa palvelimen tilojen viestimisen ulkoisille järjestelmille ja HA mahdollistaa aikaisempien arvojen tallentamisen ja lukemisen. Tämä työ määritteli, miten aggregoiva OPC UA palvelin voi sisällyttää HA:n ja A\&C:n, ja suunnitteli, miten tämä tehtäisiin käyttäen ohjelmistosuunnittelun menetelmiä. Vaatimukset pohjautuivat tutkimukseen OPC UA-spesifikaatiosta ja muusta relevantista kirjallisuudesta. Suunniteltavaksi valitut A&C:n ja HA:n tapaukset perustuivat pyyntöjen välittämittämiseen aggregoivilta palvelimilta eteenpäin lähdepalvelimille. Näiden suunnitelmien pohjalta toteutettiin laajennukset OPC UA-palvelinprototyyppiiin, jolle ajettiin sekä konfiguroinnin- että ajonaikaista suorituskykyä arvioivia testejä perustuen yksinkertaisiin käyttötapauksiin. Prosys Java OPC UA Software Development Kitiä käytettiin sekä palvelimen että testien luomiseen ja ajoon. Pyyntöjen välitykseen pohjautuvien A&C:n ja HA:n toteutus aggregoivalla OPC UA-palvelimella havaittiin yksinkertaiseksi. Aggregoivan palvelimen suorituskyky yksinkertaisissa käyttötapauksissa todettiin riittäväksi, mutta mahdollisesti riittämättömäksi usean kerroksen palvelinverkkoihin tai lähes reaaliaikaisia vastauksia vaativiin tilanteisiin. Mahdollisiksi lisätutkimusaiheiksi tunnistettiin subskription suorituskyvyn arviointi, monipuolisemmat osoiteavaruusmuunnokset ja konfiguraatio-aikojen parannukset

Aggregoiva OPC UA palvelin yleiseen tiedon yhdistämiseen

OPC UA is an industrial communication protocol that enables the modelling of complex information with semantics and exposing it in the address space of an OPC UA server. With developments such as the Industrial Internet of Things and Industrie 4.0, the amount of data in the industrial environment is increasing and it is provided by an increasing number of sources. This can lead to information becoming increasingly scattered, which creates difficulties and inefficiencies in getting a view of all the available information. This thesis presents the design and implementation of a software solution that can integrate information from multiple OPC UA source servers that provide information in different ways and from different viewpoints. An existing aggregating OPC UA server was improved based on elicited requirements to implement an integration platform that can group together and display the heterogeneous information sources in its specially organized address space. The developed software solution consists of three parts: instance aggregation, type aggregation and service mappings, that cooperate together to create the needed functionality. The implemented prototype solution was evaluated in several test cases and found to meet the goals set for it. The instance aggregation procedure is able to find and group relevant information from different sources, while the type aggregation and service mappings keep the type definitions of the aggregated information intact. The instance aggregation procedure can also be configured by the user with a set of rules that enable compatibility with different use case needs. In the future, the results of this thesis will be used as a starting point in the incremental development of improved versions of the aggregation feature.Teollisuudessa käytetty OPC UA -tiedonsiirtomäärittely mahdollistaa monimutkaisen tiedon ja semantiikan esittämisen UPC UA -palvelimen osoiteavaruudessa oliomallin avulla. Teollisen internetin ja Industrie 4.0:n viitoittama suunta teollisuudessa on lisääntyvä tiedon määrä yhä useammista tietolähteistä. Tämän seurauksena tieto voi pirstaloitua ja täten vaikeuttaa kokonaiskuvan saantia olemassaolevasta tiedosta. Tämä diplomityö esittelee suunnittelun ja toteutuksen ohjelmistolle, joka pystyy integroimaan tietoa useista eri OPC UA -lähdepalvelimista, jotka voivat esittää tietoa eri tavoin ja eri näkökulmista. Olemassaolevaa aggregoivaa OPC UA -palvelinta kehitettiin uusiin vaatimuksiin perustuen toteuttamaan integraatioalusta, joka voi ryhmitellä yhteen ja näyttää tietoa erilaisista lähteistä tarkoituksenmukaisesti järjestetyssä nimiavaruudessaan. Kehitetty ohjelmistoratkaisu koostuu kolmesta osasta: instanssien aggregoinnista, tyyppien aggregoinnista ja palvelukartoituksista, jotka toimivat yhdessä tuottaakseen tarvittavan toiminnallisuuden. Kehitettyä prototyyppiratkaisua arvioitiin useissa testitapauksissa ja sen havaittiin täyttävän sille asetetut tavoitteet. Instanssien aggregointi pystyy löytämään ja ryhmittelemään yhteenkuuluvat tiedot eri lähteistä, kun taas tyyppien aggregointi ja palvelukartoitukset pitävät aggregoidun tiedon tyypppimäärittelyt muuttumattomina. Käyttäjä voi konfiguroida instanssien aggregointia käyttämällä erityisiä sääntömäärittelyjä, jotka mahdollistavat aggregointiprosessin yhteensopivuuden eri käyttötarpeiden kanssa. Tulevaisuudessa tässä opinnäytetyössä saatuja tuloksia käytetään lähtökohtana aggregointitoiminnallisuuden asteittaisesssa jatkokehittämisessä

Replacing internal communication protocol in UNIC control system

This thesis examines OPC-UA (Open Platform Communications Unified Architecture) and investigate how it could be used in Wärtsilä for performing internal communication on their UNIC engine control system. Features of OPC-UA are compared to the currently used in-house built protocol to find out if changing the protocol would be feasible. OPC-UA is a communication specification that standardizes information exchange of industrial automation. This thesis introduces the key concepts of the specification such as information modelling, client-server communication model, publish-subscribe communication model, and the available transportation mappings defining the concrete protocols for transportation. In addition, the current communication implementation of the control system and the services provided for system software components are inspected. After inspections, a general mapping is made between the currently provided services and the OPC-UA features. It is also discussed what transportation protocols shall be chosen for OPC-UA. The objective of the thesis is to list requirements for performing internal communication by using OPC-UA. Requirements are set for the OPC-UA software development kit features based on the mapped services and protocols. The mapped protocols also introduce requirements for the network stack of the platform software. Based on the feature mappings an architectural proposal for OPC-UA implementation on the control system is presented. It is shown how the different OPC-UA software components could be distributed between the different hardware modules of the system, how the information model and communication interfaces could be initialized in the source code, and how the servers of the different hardware modules could be aggregated into a single server. It is also presented how the information model of the control system could be structured. A short performance comparison is performed by comparing the data frame structure of the current implementation and the mapped counterpart. Finally, it is concluded that in theory OPC UA is feasible for performing the internal communication as it provides a lot of options for implementing the tasks of the current service handlers, but in practice the change contains some risks such as immaturity of the technology. Furthermore, the change would require a lot of work, and it could be questioned if the business value of the protocol change is worth the investment.Tässä opinnäytetyössä tarkastellaan OPC-UA:ta (Open Platform Communications Unified Architecture), ja selvitetään miten OPC-UA-tiedonsiirtoa voitaisiin käyttää Wärstilän UNIC-moottorinohjausjärjestelmän sisäisen tiedonsiirron suorittamiseen. OPC-UA ominaisuuksia verrataan tällä hetkellä käytössä olevaan yrityksen itse valmistamaan protokollaan, jotta saadaan selville, olisiko protokollan vaihtaminen mahdollista. OPC-UA on tietoliikennespesifikaatio, joka standardoi teollisen automaation tiedonvaihdon. Tässä opinnäytetyössä esitellään spesifikaation keskeisimmät käsitteet kuten tiedon mallintaminen, asiakas-palvelin-viestintämalli, julkaise-tilaa-viestintämalli sekä käytettävissä olevat tiedon siirtomenetelmät, jotka määrittelevät konkreettiset tiedonsiirtoon käytettävät protokollat. Tarkasteltavana on myös ohjausjärjestelmän nykyinen viestintätoteutus ja sen tarjoamat palvelut järjestelmän eri ohjelmistokomponenteille. Tarkastusten jälkeen tehdään yleinen kartoitus tämänhetkisten palvelujen ja OPC-UA:n ominaisuuksien välille. Opinnäytetyön tavoitteena on listata vaatimukset sisäisen viestinnän suorittamiselle OPC-UA:n avulla. Käytettävälle OPC-UA-ohjelmistokehityspaketille asetetaan vaatimukset kartoitettujen palvelujen ja protokollien perusteella. OPC-UA:n tarjoamat protokollat asettavat myös vaatimuksia alustaohjelmiston verkkopinolle. Ominaisuuskartoitusten perusteella esitetään myös arkkitehtoninen ehdotelma OPC-UA:n toteuttamiselle ohjausjärjestelmässä. Ehdotelma osoittaa, kuinka eri OPC-UA-ohjelmistokomponentit voitaisiin jakaa järjestelmän eri laitteistomoduulien kesken, miten tietomalli ja tietoliikennerajapinnat voidaan alustaa lähdekoodissa ja kuinka eri moduulien palvelimet voitaisiin yhdistää yhdeksi palvelimeksi. Lisäksi esitetään miten järjestelmän tietomalli voisi rakentua. Lyhyt teoreettinen suorituskykyvertailu suoritetaan vertaamalla nykyisen toteutuksen datakehysrakennetta ja kartoitettua vastinetta. Lopuksi todetaan, että teoriassa OPC-UA on käyttökelpoinen sisäisen viestinnän suorittamiseen, koska se tarjoaa paljon vaihtoehtoja nykyisten palvelunkäsittelijöiden tehtävien toteuttamiseen. Käytännössä muutokseen sisältyy kuitenkin riskejä, kuten tekniikan tuoreuteen liittyvä epäkypsyys. Muutos vaatisi paljon työtä ja protokollamuutoksen tuottama liikearvo on hieman kyseenalainen verrattuna vaadittuun investointiin

Wireless Sensor Network for Wine Fermentation

This project implements an automated temperature monitoring system for wine fermentation which is affordable, easy to use, and scalable to typical small winery setups. To realize these requirements, we implemented the system as a wireless sensor network utilizing commercial off-the-shelf hardware. Temperature and system diagnostic information is communicated wirelessly in a peer-to-peer network topology such that all information flows toward an aggregating server. The server makes the temperature information available over the Internet via a web application and alerts the winemaker by email when the temperature has left acceptable bounds that the winemaker may configure. This project also involved materials selection and enclosure design performed cooperatively by or with a materials engineering student, which we briefly discuss. However, we focus mainly on the design, implementation, and assessment of the system’s electronics, software, and network protocols

Aggregoivan OPC UA palvelimen käyttö etäyhteydessä maatalouden työkoneisiin

Agricultural machinery has improved rapidly during the last decades and the role of electronic controllers and sensors has increased. Simultaneously and partially because of this, the efficiency requirements concerning farming have grown more stringent. Information systems to help in farm management are already commonplace. Many work machines utilize the ISO 11783 communication protocol, through which a lot of data from the operation and internal state of a machine could be retrieved. However, this available data from agricultural work machines is not fully utilized. This thesis evaluates OPC UA aggregating servers as a centralized means to read and store the data available from multiple work machines. This thesis builds on an earlier thesis where an OPC UA information model was developed for agricultural work machines utilizing the ISO 11783 communication protocol. First, a literature review was done to get a general view of the current state and the intended future of farm management systems, and to see how and where the data from the work machines can be utilized. Based on this and the previous work, the requirements for an aggregating server concentrating the information available from work machines running OPC UA servers were defined. A prototype aggregating server that is able to automatically transform the information from multiple ISO 11783 work machines to a unified view using a set of mapping rules was designed and implemented. OPC UA aggregating servers were found to be viable technology for the centralized data monitoring and collection of ISO 11783 work machines. All relevant data exposed by the work machine OPC UA servers can also be accessed through the aggregating server. The mapping engine implemented on the aggregating server prototype can be extended to automatically map the information from other devices exposing themselves through OPC UA as well. The usefulness of an aggregating server increases if in the future OPC UA will be more commonly adopted and utilized by other agricultural equipment as well.Maataloustyökoneet ovat kehittyneet nopeasti viime vuosikymmeninä ja elektronisten ohjainten ja anturien rooli niiden toiminnassa on lisääntynyt. Samaan aikaan, ja osittain tästä johtuen, myös maanviljelyyn liittyvät tehokkuusvaatimukset ja erilaiset säännökset ovat lisääntyneet. Nykyisin tietojärjestelmät, jotka auttavat maanviljelijää erilaisissa maatilan hoitamiseen liittyvissä asioissa, ovat yleistyneet. Useat työkoneet käyttävät ISO 11783 -tiedonsiirtoprotokollaa, jonka avulla näistä työkoneista voidaan lukea paljon niiden toimintaan ja sisäiseen tilaan liittyvää dataa. Tätä dataa ei kuitenkaan tällä hetkellä kerätä eikä hyödynnetä niin hyvin kuin olisi mahdollista. Tämä diplomityö arvioi aggregoivia OPC UA palvelimia mahdollisena teknologiana, jolla useista työkoneista saatavaa dataa voitaisiin keskitetysti lukea ja tallentaa. Tämä diplomityö perustuu aiempaan diplomityöhön, jonka tuloksena syntyi OPC UA -tietomalli ISO 11783 -tiedonsiirtoprotokollaa hyödyntäville maataloustyökoneille. Tässä työssä tehdään ensin kirjallisuuskatsaus maatilanhallinnan nykytilanteeseen ja suunniteltuun lähitulevaisuuteen, sekä siihen, kuinka ja missä työkoneista saatavaa dataa voitaisiin hyödyntää. Tämän katsauksen ja edellisen työn perusteella määriteltiin vaatimukset aggregoivalle OPC UA palvelimelle, joka keskittää useasta OPC UA -palvelinta käyttävästä työkoneesta saatavan tiedon. Palvelimesta suunniteltiin ja kehitettiin prototyyppi, joka pystyy automaattisesti muuntamaan tiedot useasta ISO 11783 -protokollaa käyttävästä työkoneesta yhtenäiseksi näkymäksi hyödyntämällä edellisessä työssä kehitettyä tietomallia vasten kirjoitettuja sääntöjä. Aggregoivat OPC UA -palvelimet todettiin kelvolliseksi teknologiaksi keskitettyyn tiedonkeruuseen ISO 11783 -protokollaa käyttävistä työkoneista. Kaikkeen oleelliseen dataan, joka on saatavilla OPC UA:ta hyödyntävistä työkoneista, on pääsy myös aggregoivan palvelimen läpi. Aggregoivan palvelimen käyttämiä muunnossääntöjä voidaan laajentaa keskittämään tietoa myös muista OPC UA:ta hyödyntävistä laitteista. Aggregoivien palvelinten hyödyllisyys tulee lisääntymään, jos OPC UA tullaan ottamaan yleisemmin käyttöön ja jos sitä hyödyntävien laitteiden määrä maataloudessa lisääntyy

Constrained Differentially Private Federated Learning for Low-bandwidth Devices

Federated learning becomes a prominent approach when different entities want to learn collaboratively a common model without sharing their training data. However, Federated learning has two main drawbacks. First, it is quite bandwidth inefficient as it involves a lot of message exchanges between the aggregating server and the participating entities. This bandwidth and corresponding processing costs could be prohibitive if the participating entities are, for example, mobile devices. Furthermore, although federated learning improves privacy by not sharing data, recent attacks have shown that it still leaks information about the training data. This paper presents a novel privacy-preserving federated learning scheme. The proposed scheme provides theoretical privacy guarantees, as it is based on Differential Privacy. Furthermore, it optimizes the model accuracy by constraining the model learning phase on few selected weights. Finally, as shown experimentally, it reduces the upstream and downstream bandwidth by up to 99.9% compared to standard federated learning, making it practical for mobile systems.Comment: arXiv admin note: text overlap with arXiv:2011.0557

Aggregoiva OPC UA-palvelin joustavia tuotantojärjestelmiä varten

Flexible manufacturing systems are becoming increasingly sophisticated as their efficiency is increased with additional software features. More of the information generated by the flexible manufacturing system is being gathered and stored, and increasingly utilized by higher-level systems in new ways to increase cost-effectiveness. The efficient flow of information from a flexible manufacturing system to higher-level information systems has therefore gained importance. Additionally, integrating the devices in the flexible manufacturing system is challenging due to the many communication protocols in use. A communication protocol named OPC UA and an aggregating server architecture are a possible way to modernize flexible manufacturing systems and solve integration problems they face. The goal of this thesis was to clarify the requirements and design of an aggregating OPC UA server as part of a FMS. In this work, the requirements definition, design, and implementation of an aggregating server for flexible manufacturing systems were created, and the functionality demonstrated. The requirements of an aggregating OPC UA server for FMS were formed based on previous work. A software design fulfilling the requirements was detailed. A prototype based on the design was implemented and experimented on by developing example applications using it, complying with selected use cases. External client access to devices, historization of data, alarms with user-defined alarm conditions, and mapping node values to custom functionality were identified as relevant requirements of an OPC UA aggregating server for FMS. The implementation of an aggregating server with these features using OPC UA was found to be practical. This thesis found no objections to the use of OPC UA in a FMS setting. The benefits of using OPC UA increase greatly when compatible equipment is available and does not need to be specifically integrated. However, the extent to which OPC UA is useful in communications between separate information systems is not yet known.Joustavista tuotantojärjestelmistä tulee monimutkaisempia samalla kuin niiden tehokkuutta lisätään kehittämällä ominaisuuksia niitä ohjaaviin ohjelmistoihin. Joustavien tuotantojärjestelmien tuottamaa tietoa kerätään enenevissä määrin, ja korkeamman tason järjestelmät käyttävät sitä jatkuvasti uusilla tavoilla. Tämän tuloksena sujuva tiedonkulku eritasoisten tietojärjestelmien välillä on muodostunut tärkeämmäksi kuin aiemmin. Lisäksi joustavan tuotantojärjestelmän laitteiden integrointi on haastavaa käytössä olevien protokollien määrän vuoksi. Tiedonsiirtoprotokolla nimeltä OPC UA ja aggregoiva palvelinarkkitehtuuri ovat yksi mahdollinen menetelmä joustavien tuotantojärjestelmien viestintästandardien modernisoimiseksi ja integraatio-ongelmien ratkaisemiseksi. Tämän diplomityön tavoite on selvittää joustavaan tuotantojärjestelmään liittyvän aggregoivan OPC UA-palvelimen vaatimukset ja suunnittelu. Tässä työssä laadittiin joustaviin tuotantojärjestelmiin tarkoitetun aggregoivan OPC UA-palvelimen vaatimusmäärittely, suunnitelma ja toteutus, sekä demonstroitiin sen toimivuus. Vaatimukset määriteltiin perustuen aiempaan kirjallisuuteen. Nämä vaatimukset täyttävä aggregoiva OPC UA-palvelin suunniteltiin ja toteutettiin prototyyppinä. Prototyypin toiminnallisuuden osoittamiseksi sillä kehitettiin tiettyjä käyttötapauksia vastaavia sovelluksia. Ulkoisen asiakkaan pääsy laitteiden tietoihin, tiedon historiointi, vapaasti määriteltävät hälytykset, ja noodiarvojen yhdistäminen haluttuun toiminnallisuuteen havaittiin oleellisiksi vaatimuksiksi. Aggregoivan palvelimen toteutus OPC UA-standardia hyödyntäen todettiin käytännönläheiseksi. Tässä työssä ei löydetty esteitä OPC UA-standardin käyttökelpoisuudelle joustavissa tuotantojärjestelmissä. Lisäksi OPC UA-standardin hyödyt kasvavat, kun yhteensopivia laitteita, joita ei tarvitse erikseen integroida on saatavilla. Vielä ei kuitenkaan ole selvää, kuinka laajasti OPC UA-standardia kannattaa käyttää eri tietojärjestelmien välisessä kommunikoinnissa

OPC UA:n nimiavaruuksien muunnokset

OPC UA has begun to take over its predecessor's place in the development of machine-to-machine communications and data transfer. OPC as a technology is one of the more popular choises when it comes to communications with field devices, regardless of the developer of the device itself. To further improve the features available to OPC UA developers, the spread and usage of the technology can be improved even further. One such feature that could be seen as potentially powerful in utilizing the core features and design ideas of OPC UA is address space transformation. By designing a model transformation language for OPC UA address spaces, the technology will be given another advantage compared to OPC classic. The transformation language would allow OPC UA to utilize its server-oriented architecture by enabling more simplified server aggregation, and customization of the displayed address space on the aggregating server's side. Since there has not been much public research in such transformation languages for OPC UA address spaces, the first step taken in this thesis is to discover the requirements for such a language based on other modeling technologies and the transformations used in those. The second step is to apply that knowledge to design a functional rule language and a transformation engine to perform the necessary transformations. The designed rule language and transformation engine are capable of performing the transformation required by the test cases described in this thesis. From the results of those cases, the language shows that it has the necessary features to perform at least the most common types of transformations. Further development is required for more advanced transformations and uncommon scenarios that did not appear in the test cases. The information gathered in both the requirements and the design parts of this work will regardless be useful in the future development of a transformation process for OPC UA address spaces.OPC UA on alkanut ottaa edeltäjänsä paikkaa laitteiden välisessä kommunikoinnissa ja datansiirrossa. OPC on ollut suosituimpien teknologioiden kärkisijoilla jo pitkään, kun on ollut tarpeen yhdistää eri valmistajien kenttälaitteita samaan verkkoon tiedonjakoa varten. OPC UA:n leviämistä laajempaan käyttöön voidaan parantaa lisäämällä mahdollisten ominaisuuksien määrää entisestään. Yksi mahdollinen ominaisuus, joka pystyy hyödyntämään OPC UA:n perusominaisuuksia tehokkaasti, onnimiavaruuksien muunnokset. Suunnittelemalla address spacejen muunnoksia varten kielen, OPC UA saa uuden edun klassiseen OPC:hen verrattuna. Muunnoskieli yhdistettynä OPC UA:n palvelinarkkitehtuuriin mahdollistaisi yksinkertaisen aggregoinnin, jolla ulospäin näkyvien nimiavaruuksien ulkoasua voitaisiin muokata tehokkaasti. Koska tähän aiheeseen liittyen ei ole tehty paljoa julkista tutkimusta, täytyy työssä ensin selvittää, mitkä ovat tällaisen muunnoskielen vaatimukset käyttäen hyödyksi vastaavanlaisia teknologioita ja muunnoskieliä, joita on käytetty muissa yhteyksissä. Tätä tietoa hyödyntäen voidaan suunnitella ja toteuttaa sääntökieli ja kieltä lukeva työkalu, jolla halutut muunnokset voidaan suorittaa. Suunniteltu sääntökieli ja työkalu onnistuivat muuntamaan halutut nimiavaruudet, jotka oli määritelty tässä työssä esitellyissä testitapauksissa. Testien lopputuloksista voidaan päätellä, että suunniteltu kieli sisältää tarpeeksi ominaisuuksia, jotta se pystyy toteuttamaan kaikki perustapaukset muunnoksissa. Lisätutkimus on kuitenkin tarpeen, jotta kehittyneemmät tapaukset ja erikoistilanteet saadaan käsiteltyä oikein tilanteissa, joita ei pystytty kattamaan testitilanteilla. Kielen vaatimusten määrittely ja suunnittelu kuitenkin antavat tarpeeksi tietoa tällaisten sääntökielien toteuttamisesta, jotta tarpeellista jatkokehitystä voidaan alkaa toteuttaa

Federated learning model complexity vs robustness to non-IID data and selective federated learning

Federated learning trains a global model using data distributed across local nodes, and differs from centralized machine learning by moving the computation to the data in order to address the challenges of data ownership, privacy, computational power, and data storage. Previous federated learning research has addressed the effect of non independent and identically distributed data on federated learning [6]. Meanwhile, local models may have better performance if the test set is also non-IID [7]. However, there may be insufficient data on a node to train a local model for every node; hence the purpose of federated learning. This research is the first, to our knowledge, to consider model performance on both a global test set and non-IID test set. Our experiments provide a original finding in that federated learning is only robust to non-IID data with constraints on the width and depth of a neural network. There is a tradeoff, however, between model complexity and feasibility of training the model on edge devices. Thus, we propose selective federated learning algorithm which greatly allows simpler models that fit on edge devices to be robust to highly non-IID data. For non-IID test sets, we prove that a converged federated model may converge to weights which do not provide the optimal local loss for an arbitrary chosen number of training samples on each node. Additionally, this thesis discusses the experiments that were conducted to examine the effects of model complexity, percentage of unbalanced data, and the current modes of model aggregation on model accuracy. For the experiments, we deployed federated learning library for multiple devices, Jetson Nano, Raspberry Pi, Macbook Pro, and Linux server and provide hardware benchmarks.Electrical and Computer Engineerin