I cuochi non sanno scrivere le ricette

Il processo creativo di una ricetta per un cuoco spesso è frutto di idee nate al momento, basate sulla sua esperienza e conoscenza personale. Questo comporta una certa difficoltà nel trasmettere la procedura di realizzazione di una certa ricetta a un altro individuo, che inevitabilmente la riprodurrà a suo modo. Se questo è vero già quando un cuoco junior osserva e riproduce le azioni di un cuoco esperto, diventa ancora più difficile riuscire a ricreare la ricetta originale quando la si legge descritta in modo classico, ovvero con la tipica separazione tra la lista degli ingredienti necessari e le varie fasi della preparazione. Questa problematica è ben chiara ai cuochi stessi, che faticano a trasmettere in modo intuitivo ai loro colleghi e/o sottoposti una procedura che sia il più possibile univoca e che porti alla riproduzione il più possibile simile sia del gusto che della presentazione finale del piatto. Per ovviare a questo problema, il presente lavoro di ricerca ha come obiettivo la creazione e messa in opera di un sistema intelligente che, utilizzando diversi sensori, sia in grado di comprendere (i) le azioni che il cuoco compie man mano che procede con la preparazione, (ii) quali ingredienti usa per ogni sotto-fase e (iii) quali strumenti utilizza per ogni sotto-fase. In questo modo, sarà il sistema a ricondurre ogni azione analizzata ad una azione nota (ad esempio “mescolare” o “tagliare”) e, componendole in forma di flusso di lavoro, produrrà al termine una riscrittura completa della ricetta che sia di più chiaro e intuitivo utilizzo

Validazione di algoritmi di calibrazione estrinseca basati su skeletonization del corpo umano

La presente memoria descrive le procedure utilizzate per la valutazione metrologica di procedure di calibrazione estrinseca di sistemi di visione composti da più telecamere. Viene definita calibrazione estrinseca quella procedura che consente di calcolare posizione ed orientamento di ogni telecamera presente in un sistema multicamera rispetto a tutte le altre. I metodi di calibrazione estrinseca si possono dividere principalmente in tre gruppi: tradizionali, basati sul riconoscimento di forme tridimensionali e basati su skeletonization. I metodi di calibrazione tradizionali si basano sull’utilizzo di target di calibrazione noti (scacchiere, griglie di punti, frange, etc) che vengono riconosciuti automaticamente dal sistema. Il sistema misura la posizione dei punti caratteristici del target ottenendo in questo modo i parametri di rotazione e traslazione desiderati. I metodi basati sul riconoscimento di forme tridimensionali (3D shape matching) sono invece fondati sulla coerenza geometrica di un oggetto 3D posizionato nel campo di vista delle varie telecamere: ciascun dispositivo registra una parte dell’oggetto target e successivamente, allineando ciascuna vista con le rimanenti, ed analizzando la traiettoria dell’oggetto vista da ogni telecamera è possibile risalire alle matrici di calibrazione. I metodi di calibrazione tradizionali, così come quelli basati su 3D shape matching risultano svantaggiosi in termini di tempo di esecuzione. Inoltre, queste tipologie necessitano di un target di calibrazione. Infine, i metodi basati sul riconoscimento dello scheletro umano (skeleton-based) utilizzano come target di calibrazione direttamente le articolazioni (joint) di un operatore che si posiziona all’interno del campo di vista delle telecamere. I metodi skeleton-based rappresentano quindi un’evoluzione dei metodi di 3D shape matching in quanto è come se venissero considerate forme 3D multiple rappresentate dai segmenti corporei dell’operatore stesso. Risulta quindi possibile ottenere una calibrazione estrinseca senza alcun oggetto caratteristico, ma semplicemente utilizzando il corpo dell’operatore umano come oggetto stesso. Nonostante in letteratura siano presenti lavori relativi alla valutazione dell’accuratezza nella misura dei joint, non sono presenti lavori che mostrano come questa accuratezza venga propagata a livello di matrici di rototraslazione risultanti dalla procedura di calibrazione. Il presente lavoro descrive le procedure utilizzate per valutare l’affidabilità della calibrazione estrinseca ottenuta tramite le posizioni dei joint misurate tramite il metodo di skeletonization descritto in [3]

Two-Stage Transfer Learning for Heterogeneous Robot Detection and 3D Joint Position Estimation in a 2D Camera Image using CNN

Collaborative robots are becoming more common on factory floors as well as regular environments, however, their safety still is not a fully solved issue. Collision detection does not always perform as expected and collision avoidance is still an active research area. Collision avoidance works well for fixed robot-camera setups, however, if they are shifted around, Eye-to-Hand calibration becomes invalid making it difficult to accurately run many of the existing collision avoidance algorithms. We approach the problem by presenting a stand-alone system capable of detecting the robot and estimating its position, including individual joints, by using a simple 2D colour image as an input, where no Eye-to-Hand calibration is needed. As an extension of previous work, a two-stage transfer learning approach is used to re-train a multi-objective convolutional neural network (CNN) to allow it to be used with heterogeneous robot arms. Our method is capable of detecting the robot in real-time and new robot types can be added by having significantly smaller training datasets compared to the requirements of a fully trained network. We present data collection approach, the structure of the multi-objective CNN, the two-stage transfer learning training and test results by using real robots from Universal Robots, Kuka, and Franka Emika. Eventually, we analyse possible application areas of our method together with the possible improvements.Comment: 6+n pages, ICRA 2019 submissio

A Deep Learning Approach for Multi-View Engagement Estimation of Children in a Child-Robot Joint Attention Task

International audienceIn this work we tackle the problem of child engagement estimation while children freely interact with a robot in a friendly, room-like environment. We propose a deep-based multi-view solution that takes advantage of recent developments in human pose detection. We extract the child's pose from different RGB-D cameras placed regularly in the room, fuse the results and feed them to a deep neural network trained for classifying engagement levels. The deep network contains a recurrent layer, in order to exploit the rich temporal information contained in the pose data. The resulting method outperforms a number of baseline classifiers, and provides a promising tool for better automatic understanding of a child's attitude, interest and attention while cooperating with a robot. The goal is to integrate this model in next generation social robots as an attention monitoring tool during various Child Robot Interaction (CRI) tasks both for Typically Developed (TD) children and children affected by autism (ASD)