Exploratory Action Selection to Learn Object Properties Through Robot Manipulation

Výber prieskumných akcií je pojem popisujúci proces autonómnej selekcie krokov, ktoré vedú agenta k predurčenému cieľu. V tejto práci, je cieľom skúmanie vlastností a celkovo kategórie daného objektu (napr. materiál, krabica, šálka a pod.) robotickým manipulátorom. Extrahovať vlastnosti objektu len vizuálne je limitujúce, najmä v spojitosti s fyzikálnymi/materiálnymi vlastnosťami ako povrchové trenie, tuhosť, či hmotnosť. V rámci tejto práce je hlavným interaktívnym prvkom dotyk, teda najviac informácii je získavaných z haptickej manipulácie predmetom. Narozdiel od vizuálnych vnemov, ktoré sú pasívne---fotografie zaobstarané statickou kamerou---haptické skúmanie je v samotnej podstate aktívne: spôsob manipulácie priamo ovplyvňuje množstvo informácií, ktoré je možné získať. V tejto práci je táto idea sformalizovaná, kde sú volené ďalšie robotické akcie (stláčanie, či dvíhanie objektov) na základe toho, ako je pravdepodobné, že na základe danej akcie príde k zníženiu neistoty v rámci vlastností--teda na základe ich očakávaného informačného zisku. Akcia, ktorá prináša informácií najviac, je zvolená. Očakávaný informačný zisk je počítaný v troch rôznych módoch založených na informačnej entropii. Informačná entropia je odhadovaná ako pre diskrétne pravdepodobnostné rozdelenie materiálovej kategórie, tak i pre spojité pravdepodobnostné rozdelenie vlastností, ako pružnosť, či hustota. Používame klasifikáciu ako proxy metriku toho, ako veľmi sú rozhodnutia algoritmu ohľadne selekcie akcií optimálne. Mód optimalizujúci pre informačný zisk spojitej premennej vykazuje najlepšie výsledky. Učenie sa vlastností objektov je zabezpečené pomocou Bayesovskej aktualizácie z meraní priamo manipulátorom. Takýto výber akcií vedie k viac efektívnemu učenie o okolí a ako výsledok pomáha agentovi v navigácií reálnym svetom, kde je potrebné očakávať aj neočakávané.Action selection is a term used to describe a process of autonomous selection of steps that lead an agent to a predetermined goal. In this work, discovering object properties and the overall object category (e.g., material, or box, mug, etc.) by a robot manipulator is the desired goal. Extracting properties of objects from visual input only is limited, especially regarding physical/material properties like surface roughness, stiffness, or mass. Here, haptic exploration, i.e., mainly proprioceptive and tactile input during manipulation of the object, is indispensable. Furthermore, unlike visual sensing, which is often passive---images taken by a static camera---haptic exploration is intrinsically active: the particular way of manipulating the object determines the quality of information that can be acquired. Here, this idea is formalized, and robot actions (compressing or lifting objects) are assessed by how much they are likely to reduce uncertainty about specific object properties---their expected information gain. The most informative action is then chosen. The expected information gain is calculated in three different modes based on information entropy, which is estimated for both discrete probability distribution of material composition of the object (e.g., plastic, ceramics, metal) and continuous distribution of each property like elasticity or density. We use classification as a proxy metric of how optimal are the choices of the action selection algorithm. Overall the mode optimizing for the information gain of the continuous properties results in the best classification. Learning of object properties is accomplished in the form of a Bayesian update from real measurement actions. Such selection of actions leads to more efficient learning about the environment and, as a result, helps the agent in navigating the real world, where the unexpected shall be expected