Design and Implementation of a Multimodal System for Human-Robot Interactions in Bin-Picking Operations

Abstract

Manufacturing domains are evolving into Industry 4.0, which requires design choices that leads to flexible, modular, and human-centred solutions. In robotics this phenomenon is seen as utilizing the human flexibility in solutions, in other words solving robotic problems by using the Human-Robot Collaboration. Successful collaboration is achieved with intuitive Human-Robot Interaction methods. The most efficient way to communicate with a robot is to use same communication methods that is seen in human-human communication, such as gaze, speech, touch, and body gestures. Information exchange of two humans communicating consists of mostly body language and most of the activities that the human does in their life are done by using their hands. Therefore, hands present as an excellent source for the input when interacting with a robot. Bin-Picking is seen everywhere, from warehouses to manufacturing processes, and is mostly done by human. Automating such process with robot has endless applications and would lead in higher productivity. Bin-Picking as a robotic problem does not have universal solution, and most of the solutions relies on the fact that a 3D model of the parts that needs to be picked is known. With unknown parts, the systems usually set limitations to the shape of the objects. The main goal of this Thesis is to design and implement a system and a process, that creates a new use for collaborative robot cell, and teaches the system to be able to do Bin-Picking operations automatically with unknown parts. Furthermore, the proposed solution will fit to the so called “Smart Factory”, which is considered as fundamental concept of Industry 4.0. The solution consists of four major components, Orchestrator Application, Robot Controlling Application, 3D-module that finds grasp poses for unknown parts and M2O2P that reads hand gestures from smart glove sensor input. The solution is evaluated in component basis, and in a process working together. Furthermore, the taught system is tested in process created for the evaluation, where the robot picks parts from a bin and hands them to the human operator.Teollisuus on kehittymässä kohti Industry 4.0 -konseptia, ja täten vaatii suunnitteluvalintoja, joiden ansiosta voidaan tuottaa joustavia, modulaarisia ja ihmiskeskeisiä ratkaisuja. Robotiikassa tämä muutos nähdään ihmisen joustavuuden hyödyntämisenä toteutuksissa, eli robotiikan ongelmien ratkaisemista hyödyntäen ihmisten ja robottien välistä yhteistyötä. Onnistunut yhteistyö voidaan saavuttaa käyttämällä intuitiivisia ihmisten ja robottien väliseen kanssakäymiseen käytettyjä menetelmiä. Tehokkain tapa kommunikoida robotin kanssa on käyttää samoja kommunikaatiomenetelmiä, mitä käytetään ihmisten välisessä kanssakäymisessä, kuten katsetta, puhetta, kosketusta tai kehon elekieltä. Ihmisten välisessä kommunikaatiossa tiedonvaihto tapahtuu pääosin kehon elekielellä, ja ihmiset käyttävät käsiään suurimpaan osaan aktiviteeteista heidän elämässään. Täten kädet toimivat loistavasti lähteenä robotin kanssa kommunikoimiselle. Laatikoista poimimista nähdään kaikkialla, aina varastoista teollisuusprosesseihin, ja se tehdään pääosin ihmisten toimesta. Tällaisten prosessien automatisointiin on olemassa loputtomasti käyttökohteita, ja automatisointi johtaa korkeampaan tuottavuuteen. Automaattiseen poimintaan robottien avulla ei ole olemassa universaalia ratkaisua, ja monet ratkaisut pohjautuvat ennakkotietoon poimittavien osien 3D malleista. Tuntemattomilla osilla automaattisen poiminnan järjestelmät yleensä asettavat rajoitteita poimittavien osien muodolle. Tämän diplomityön tavoitteena on suunnitella ja toteuttaa järjestelmä ja prosessi, joka tuottaa uuden käyttötarkoituksen yhteistyörobottisolulle, ja opettaa järjestelmälle, kuinka tehdä automaattisen poiminnan operaatioita tuntemattomilla osilla. Lisäksi ehdotettu toteutus sopii älykkääseen tehtaaseen, joka on yksi olennaisista Industry 4.0 -konsepteista. Ratkaisu koostuu neljästä suuremmasta komponentista, orkestrointi sovelluksesta, robotin ohjaussovelluksesta, 3D-moduulista, joka löytää poiminta-asennon tuntemattomille osille, sekä M2O2P komponentista, jolla luetaan älykkäällä hanskalla tehtäviä käsimerkkejä. Ratkaisu arvioidaan komponentti kerrallaan, ja prosessissa, jossa komponentit toimivat yhdessä. Lisäksi opetettu järjestelmä testataan arviointia varten tehdyllä prosessilla, jossa robotti nostaa osia laatikosta ja ojentaa ne ihmisoperaattorill

    Similar works