Misura delle fasi del passo tramite algoritmi di machine learning durante camminate in esterna assistite da esoscheletro

Negli ultimi anni si è assistito ad uno sviluppo sempre maggiore di dispositivi robotici indossabili (esoscheletri) per il supporto degli arti inferiori, che permettono ad utilizzatori paraplegici di tornare a camminare. L’utilizzo di questi esoscheletri è purtroppo spesso limitato all’interno di laboratori specializzati muniti di diversi tipi di trasduttori per l’analisi della cinematica e della dinamica della camminata assistita. È noto che le performance nell’utilizzo di questi esoscheletri migliora notevolmente quando il paziente cammina in un ambiente maggiormente “user-friendly” quale ad esempio l’ambiente esterno. Secondo questa logica, durante gli scorsi anni, sono state sviluppate all’interno del nostro gruppo di ricerca delle stampelle strumentate in grado di misurare sia il carico scambiato tra stampella e piano d’appoggio della stessa, sia la fase del passo (stance o swing) in cui si trova l’utilizzatore dell’esoscheletro. In questo modo il fisioterapista è in grado di valutare la qualità della camminata del paziente in relazione alla fase del passo che sta attualmente svolgendo. L’algoritmo di misura della fase del passo è stato validato in un ambiente interno mostrando risultati incoraggianti: si è ottenuta una accuratezza di classificazione pari all’85% (deviazione standard pari al 3%). La presente memoria descrive la procedura di validazione dell’algoritmo per la misura delle fasi del passo durante prove di camminata assistite svolte in ambiente esterno, in diverse condizioni

Validazione di algoritmi di calibrazione estrinseca basati su skeletonization del corpo umano

La presente memoria descrive le procedure utilizzate per la valutazione metrologica di procedure di calibrazione estrinseca di sistemi di visione composti da più telecamere. Viene definita calibrazione estrinseca quella procedura che consente di calcolare posizione ed orientamento di ogni telecamera presente in un sistema multicamera rispetto a tutte le altre. I metodi di calibrazione estrinseca si possono dividere principalmente in tre gruppi: tradizionali, basati sul riconoscimento di forme tridimensionali e basati su skeletonization. I metodi di calibrazione tradizionali si basano sull’utilizzo di target di calibrazione noti (scacchiere, griglie di punti, frange, etc) che vengono riconosciuti automaticamente dal sistema. Il sistema misura la posizione dei punti caratteristici del target ottenendo in questo modo i parametri di rotazione e traslazione desiderati. I metodi basati sul riconoscimento di forme tridimensionali (3D shape matching) sono invece fondati sulla coerenza geometrica di un oggetto 3D posizionato nel campo di vista delle varie telecamere: ciascun dispositivo registra una parte dell’oggetto target e successivamente, allineando ciascuna vista con le rimanenti, ed analizzando la traiettoria dell’oggetto vista da ogni telecamera è possibile risalire alle matrici di calibrazione. I metodi di calibrazione tradizionali, così come quelli basati su 3D shape matching risultano svantaggiosi in termini di tempo di esecuzione. Inoltre, queste tipologie necessitano di un target di calibrazione. Infine, i metodi basati sul riconoscimento dello scheletro umano (skeleton-based) utilizzano come target di calibrazione direttamente le articolazioni (joint) di un operatore che si posiziona all’interno del campo di vista delle telecamere. I metodi skeleton-based rappresentano quindi un’evoluzione dei metodi di 3D shape matching in quanto è come se venissero considerate forme 3D multiple rappresentate dai segmenti corporei dell’operatore stesso. Risulta quindi possibile ottenere una calibrazione estrinseca senza alcun oggetto caratteristico, ma semplicemente utilizzando il corpo dell’operatore umano come oggetto stesso. Nonostante in letteratura siano presenti lavori relativi alla valutazione dell’accuratezza nella misura dei joint, non sono presenti lavori che mostrano come questa accuratezza venga propagata a livello di matrici di rototraslazione risultanti dalla procedura di calibrazione. Il presente lavoro descrive le procedure utilizzate per valutare l’affidabilità della calibrazione estrinseca ottenuta tramite le posizioni dei joint misurate tramite il metodo di skeletonization descritto in [3]

Increasing the accuracy of position and orientation of the objects placed by the manipulator

Předkládaná disertační práce se zabývá zvyšováním přesnosti polohy objektů při jejich umisťování či montáži robotem. Průmyslové roboty se běžně používají v montážních linkách, kde se stále častěji využívá tzv. bin-bickin, což je vytahování neuspořádaných předmětů z palety či krabice. Tato pick-and-place aplikace se řeší pomocí vision systému a robotu, který uchopené objekty ukládá na dopravník, který posouvá objekty na technologické lince pro další zpracování. V práci je představená možnost vynechat dopravník a uchopený objekt robotem použít pro danou montáž či manipulaci bezprostředně po uchopení objektu bin-picking systémem. Práce se věnuje zpřesnění odhadu polohy objektu v chapadle robotu (v 3D prostoru) Iterative Closest Point algoritmem. K zpřesnění odhadu polohy jsou klíčová správná vstupní data do ICP algoritmu, čehož se dosáhne skenováním relevantních prvků, geometrických primitiv daného objektu. Úvodní část této disertační práce se věnuje komerčně dostupným bin-picking systémům a přehledu aktuálního stavu řešené problematiky s možnostmi zpřesnění montáže či manipulace s objektem manipulace. Následně jsou stanoveny cíle práce, které vycházejí z průzkumu současného stavu a v souvislosti s projekty realizovanými katedrou robotiky. Vlastní část práce je rozdělena do dílčích kapitol, podle jednotlivých cílů práce. V práci je popsána metodika pro umístění senzorů vůči skenovanému objektu z různých materiálů pro zabezpečení sběru dat. Na základě získaných charakteristik je vytvořen simulační model pro účely virtuálního skenování a simulací. Následně je vytvořena metodika rozmístění senzorů pro zpřesnění odhadu polohy – hledání optimální polohy senzorů vůči skenovanému objektu s ohledem na získaná data pro vstup do ICP algoritmu. Simulační model, virtuální skenování a odhad polohy je ověřen na reálném systému.The presented dissertation deals with increasing the position accuracy of objects during their placement or assembly by a robot. Industrial robots are commonly used in assembly lines, where bin-picking, which is the removal of disordered objects from a pallet or box, is becoming increasingly used. This pick-and-place application is solved by a vision system and a robot that places the grasped objects on a conveyor that moves the objects on the technology line for further processing. This work presents the possibility to eliminate the conveyor which can be achieved by performing the assembly process directly after grasping the object via bin-picking system. The thesis focuses on refining the object pose estimation in a gripper of the robot (in 3D space) by Iterative Closest Point algorithm. To refine the pose estimation, the correct input data to the ICP algorithm are crucial, which is achieved by scanning the relevant features, the geometric primitives of the object. The introductory part of this dissertation is devoted to commercially available bin-picking systems and an overview of the current state of the art with possibilities for refining the assembly or manipulation process. Then, the objectives of the thesis are stated based on a survey of the current state of the art and in the context of projects carried out by the Department of Robotics. The actual part of the thesis is divided into subchapters according to the different objectives of the thesis. This article describes a methodology for positioning sensors relative to the scanned object (and various materials) to increase the reliability of data collection. Based on the obtained characteristics, a simulation model is developed for virtual scanning and simulation purposes. Subsequently, a sensor placement methodology is developed to refine the pose estimation – finding the optimal pose of the sensors relative to the scanned object with respect to the collected data for input to the ICP algorithm. The simulation model and pose estimation are verified on a real system.354 - Katedra robotikyvyhově

SMART WEARABLES: ADVANCING MYOPIA RESEARCH THROUGH QUANTIFICATION OF THE VISUAL ENVIRONMENT

Myopia development has been attributed to eyeball elongation, but its driving force is not fully understood. Previous research suggests lack of time spent outdoors with exposure to high light levels or time spent on near-work as potential environmental risk factors. Although light levels are quantifiable with wearables, near-work relies solely on questionnaires for data collection and there remains a risk of subjective bias. Studies spanning decades identified that eye growth is optically guided. This proposal received further support from recent findings of larger changes in the thickness of the eye’s choroidal layer after short-term optical interventions compared with daily eye-length changes attributed to myopia. Most of these studies used a monocular optical appliance to manipulate potential myogenic factors, which may introduce confounders by disrupting the natural functionality of the visual system. This thesis reports on improvements in systems for characterising the visual dioptric space and its application to myopia studies. Understanding the driving forces of myopia will prevent related vision loss. Study I: An eye-tracker was developed and validated that incorporated time-of-flight (ToF) technology to obtain spatial information of the wearer’s field of view. By matching gaze data with point cloud data, the distance to the point of regard (DtPoR) is determined. Result: DtPoR can be measured continuously with clinically relevant accuracy to estimate near-work objectively. Study II: Near-work was measured with diary entries and compared with DtPoR estimations. Diversity of the dioptric landscape presented to the retina was assessed during near-work. Results: Objective and subjective measures of near-work were not found to highly correlate. Ecologically valid dioptric landscape during near-work decreases by up to -1.5 D towards the periphery of a 50˚ visual field. Study III: Choroid thickness changes were evaluated after exposure (approximately 30min) to a controlled, dioptrically diverse landscape with a global, sensitivity enhanced model. Result: No choroid thickness changes were found within the measuring field of approximately 45˚. Discussion The developed device could support future research to resolve disagreement between objective and subjective data of near-work and contribute to a better understanding of the ecological valid dioptric landscape. Proposed choroid layer thickness model might support short-term myopia-control research