Design and Implementation of a Multimodal System for Human-Robot Interactions in Bin-Picking Operations

Manufacturing domains are evolving into Industry 4.0, which requires design choices that leads to flexible, modular, and human-centred solutions. In robotics this phenomenon is seen as utilizing the human flexibility in solutions, in other words solving robotic problems by using the Human-Robot Collaboration. Successful collaboration is achieved with intuitive Human-Robot Interaction methods. The most efficient way to communicate with a robot is to use same communication methods that is seen in human-human communication, such as gaze, speech, touch, and body gestures. Information exchange of two humans communicating consists of mostly body language and most of the activities that the human does in their life are done by using their hands. Therefore, hands present as an excellent source for the input when interacting with a robot. Bin-Picking is seen everywhere, from warehouses to manufacturing processes, and is mostly done by human. Automating such process with robot has endless applications and would lead in higher productivity. Bin-Picking as a robotic problem does not have universal solution, and most of the solutions relies on the fact that a 3D model of the parts that needs to be picked is known. With unknown parts, the systems usually set limitations to the shape of the objects. The main goal of this Thesis is to design and implement a system and a process, that creates a new use for collaborative robot cell, and teaches the system to be able to do Bin-Picking operations automatically with unknown parts. Furthermore, the proposed solution will fit to the so called “Smart Factory”, which is considered as fundamental concept of Industry 4.0. The solution consists of four major components, Orchestrator Application, Robot Controlling Application, 3D-module that finds grasp poses for unknown parts and M2O2P that reads hand gestures from smart glove sensor input. The solution is evaluated in component basis, and in a process working together. Furthermore, the taught system is tested in process created for the evaluation, where the robot picks parts from a bin and hands them to the human operator.Teollisuus on kehittymässä kohti Industry 4.0 -konseptia, ja täten vaatii suunnitteluvalintoja, joiden ansiosta voidaan tuottaa joustavia, modulaarisia ja ihmiskeskeisiä ratkaisuja. Robotiikassa tämä muutos nähdään ihmisen joustavuuden hyödyntämisenä toteutuksissa, eli robotiikan ongelmien ratkaisemista hyödyntäen ihmisten ja robottien välistä yhteistyötä. Onnistunut yhteistyö voidaan saavuttaa käyttämällä intuitiivisia ihmisten ja robottien väliseen kanssakäymiseen käytettyjä menetelmiä. Tehokkain tapa kommunikoida robotin kanssa on käyttää samoja kommunikaatiomenetelmiä, mitä käytetään ihmisten välisessä kanssakäymisessä, kuten katsetta, puhetta, kosketusta tai kehon elekieltä. Ihmisten välisessä kommunikaatiossa tiedonvaihto tapahtuu pääosin kehon elekielellä, ja ihmiset käyttävät käsiään suurimpaan osaan aktiviteeteista heidän elämässään. Täten kädet toimivat loistavasti lähteenä robotin kanssa kommunikoimiselle. Laatikoista poimimista nähdään kaikkialla, aina varastoista teollisuusprosesseihin, ja se tehdään pääosin ihmisten toimesta. Tällaisten prosessien automatisointiin on olemassa loputtomasti käyttökohteita, ja automatisointi johtaa korkeampaan tuottavuuteen. Automaattiseen poimintaan robottien avulla ei ole olemassa universaalia ratkaisua, ja monet ratkaisut pohjautuvat ennakkotietoon poimittavien osien 3D malleista. Tuntemattomilla osilla automaattisen poiminnan järjestelmät yleensä asettavat rajoitteita poimittavien osien muodolle. Tämän diplomityön tavoitteena on suunnitella ja toteuttaa järjestelmä ja prosessi, joka tuottaa uuden käyttötarkoituksen yhteistyörobottisolulle, ja opettaa järjestelmälle, kuinka tehdä automaattisen poiminnan operaatioita tuntemattomilla osilla. Lisäksi ehdotettu toteutus sopii älykkääseen tehtaaseen, joka on yksi olennaisista Industry 4.0 -konsepteista. Ratkaisu koostuu neljästä suuremmasta komponentista, orkestrointi sovelluksesta, robotin ohjaussovelluksesta, 3D-moduulista, joka löytää poiminta-asennon tuntemattomille osille, sekä M2O2P komponentista, jolla luetaan älykkäällä hanskalla tehtäviä käsimerkkejä. Ratkaisu arvioidaan komponentti kerrallaan, ja prosessissa, jossa komponentit toimivat yhdessä. Lisäksi opetettu järjestelmä testataan arviointia varten tehdyllä prosessilla, jossa robotti nostaa osia laatikosta ja ojentaa ne ihmisoperaattorill

Multimodal Interface for Human–Robot Collaboration

Human–robot collaboration (HRC) is one of the key aspects of Industry 4.0 (I4.0) and requires intuitive modalities for humans to communicate seamlessly with robots, such as speech, touch, or bodily gestures. However, utilizing these modalities is usually not enough to ensure a good user experience and a consideration of the human factors. Therefore, this paper presents a software component, Multi-Modal Offline and Online Programming (M2O2P), which considers such characteristics and establishes a communication channel with a robot with predefined yet configurable hand gestures. The solution was evaluated within a smart factory use case in the Smart Human Oriented Platform for Connected Factories (SHOP4CF) EU project. The evaluation focused on the effects of the gesture personalization on the perceived workload of the users using NASA-TLX and the usability of the component. The results of the study showed that the personalization of the gestures reduced the physical and mental workload and was preferred by the participants, while overall the workload of the tasks did not significantly differ. Furthermore, the high system usability scale (SUS) score of the application, with a mean of 79.25, indicates the overall usability of the component. Additionally, the gesture recognition accuracy of M2O2P was measured as 99.05%, which is similar to the results of state-of-the-art applications.publishedVersionPeer reviewe

Lämpöpumppujen verkkovaikutukset

Opinnäytetyön tarkoituksena oli tutustua lämpöpumppujen sähköverkolle aiheuttamiin vaikutuksiin. Opinnäytetyö tehtiin osana EL-tran-konsortion järjestämää lämpöpumppuihin liittyvää tutkimusta. Työssä perehdyttiin lämpöpumpputyyppeihin ja lämpöpumppujen aiheuttamiin verkkovaikutuksiin, niiden syihin ja ennaltaehkäisemiseen. Näitä vaikutuksia tuotiin päätutkimuskohteena olevan muuntopiirin avulla esille. Verkkovaikutuksissa keskityttiin muuntopiirin ja yksittäisten liittymien tehojen aiheuttamiin vaikutuksiin. Tutkittavaksi muuntopiiriksi valittiin omakotitaloalueella sijaitseva muuntopiiri Tampereen Kissanmaalta. Muuntopiiri valittiin sen muuttumattomuutensa ja rakennustyyppien perusteella. Muuntopiirin ja kahdeksan kohteen tuntitehotiedot saatiin sähkölaitokselta. Näitä tuntitehotietoja analysoitiin ja verrattiin mitoituksellisiin tehoihin. Mitoitukselliset tehot määritettiin verkostosuositus SA 1:87:n ja Trimble NIS verkonhallintaohjelmiston avulla. Opinnäytetyössä lämpöpumpuista aiheutuvia ongelmia verkolle saatiin tuotua esille tutkimuskohteena olleen muuntopiirin avulla. Muuntopiirin tehotasot olivat selvästi nousevia tarkastelujaksolla ja jatkavat nousuaan tulevaisuudessa. Öljylämmityksestä maalämpöjärjestelmään muuttaneissa kohteissa huomattiin suurin tehotasojen kasvu ja suurimmat ylitykset mitoituksellisiin tehoihin verraten.The purpose of the Thesis was to get acquainted with different heat pump types and their effect on power grid, the causes of the negative effects and how to prevent them. The Thesis was made in part of heat pump research by EL -tran -consortium. The effects were displayed with the transformation circuit which was the main subject of the Thesis. The research concentrated on effects caused by electrical power in transformation circuit and in single electricity connections. The transformation circuit was chosen from Tampere Kissanmaa, and it was chosen because of its constancy and the type of buildings in the target area. The information about hourly capacity in transformation circuit and in electricity connections was obtained from the electrical power plant. This information was analyzed and compared to designed electrical powers. The designed electrical powers were determined with power grid recommendation SA 1:87 and with Trimble NIS- power grid control software. The effects of heat pumps on the grid were demonstrated successfully. The levels of power were clearly increased in the reference period. The level of the electrical power was increased the most in buildings, where the heating system was changed from oil heating system to heat pump system. Also, the biggest exceeding of designed power was noticed in these subjects