Validation of a smart mirror for gesture recognition in gym training performed by a vision-based deep learning system

This paper illustrates the development and validation of a smart mirror for sports training. The application is based on the skeletonization algorithm MediaPipe and runs on an embedded device Nvidia Jetson Nano equipped with two fisheye cameras. The software has been evaluated considering the exercise biceps curl. The elbow angle has been measured by both MediaPipe and the motion capture system BTS (ground truth), and the resulting values have been compared to determine angle uncertainty, residual errors, and intra-subject and inter-subject repeatability. The uncertainty of the joints’ estimation and the quality of the image captured by the cameras reflect on the final uncertainty of the indicator over time, highlighting the areas of improvement for further development

Validazione di algoritmi di calibrazione estrinseca basati su skeletonization del corpo umano

La presente memoria descrive le procedure utilizzate per la valutazione metrologica di procedure di calibrazione estrinseca di sistemi di visione composti da più telecamere. Viene definita calibrazione estrinseca quella procedura che consente di calcolare posizione ed orientamento di ogni telecamera presente in un sistema multicamera rispetto a tutte le altre. I metodi di calibrazione estrinseca si possono dividere principalmente in tre gruppi: tradizionali, basati sul riconoscimento di forme tridimensionali e basati su skeletonization. I metodi di calibrazione tradizionali si basano sull’utilizzo di target di calibrazione noti (scacchiere, griglie di punti, frange, etc) che vengono riconosciuti automaticamente dal sistema. Il sistema misura la posizione dei punti caratteristici del target ottenendo in questo modo i parametri di rotazione e traslazione desiderati. I metodi basati sul riconoscimento di forme tridimensionali (3D shape matching) sono invece fondati sulla coerenza geometrica di un oggetto 3D posizionato nel campo di vista delle varie telecamere: ciascun dispositivo registra una parte dell’oggetto target e successivamente, allineando ciascuna vista con le rimanenti, ed analizzando la traiettoria dell’oggetto vista da ogni telecamera è possibile risalire alle matrici di calibrazione. I metodi di calibrazione tradizionali, così come quelli basati su 3D shape matching risultano svantaggiosi in termini di tempo di esecuzione. Inoltre, queste tipologie necessitano di un target di calibrazione. Infine, i metodi basati sul riconoscimento dello scheletro umano (skeleton-based) utilizzano come target di calibrazione direttamente le articolazioni (joint) di un operatore che si posiziona all’interno del campo di vista delle telecamere. I metodi skeleton-based rappresentano quindi un’evoluzione dei metodi di 3D shape matching in quanto è come se venissero considerate forme 3D multiple rappresentate dai segmenti corporei dell’operatore stesso. Risulta quindi possibile ottenere una calibrazione estrinseca senza alcun oggetto caratteristico, ma semplicemente utilizzando il corpo dell’operatore umano come oggetto stesso. Nonostante in letteratura siano presenti lavori relativi alla valutazione dell’accuratezza nella misura dei joint, non sono presenti lavori che mostrano come questa accuratezza venga propagata a livello di matrici di rototraslazione risultanti dalla procedura di calibrazione. Il presente lavoro descrive le procedure utilizzate per valutare l’affidabilità della calibrazione estrinseca ottenuta tramite le posizioni dei joint misurate tramite il metodo di skeletonization descritto in [3]

Misura delle fasi del passo tramite algoritmi di machine learning durante camminate in esterna assistite da esoscheletro

Negli ultimi anni si è assistito ad uno sviluppo sempre maggiore di dispositivi robotici indossabili (esoscheletri) per il supporto degli arti inferiori, che permettono ad utilizzatori paraplegici di tornare a camminare. L’utilizzo di questi esoscheletri è purtroppo spesso limitato all’interno di laboratori specializzati muniti di diversi tipi di trasduttori per l’analisi della cinematica e della dinamica della camminata assistita. È noto che le performance nell’utilizzo di questi esoscheletri migliora notevolmente quando il paziente cammina in un ambiente maggiormente “user-friendly” quale ad esempio l’ambiente esterno. Secondo questa logica, durante gli scorsi anni, sono state sviluppate all’interno del nostro gruppo di ricerca delle stampelle strumentate in grado di misurare sia il carico scambiato tra stampella e piano d’appoggio della stessa, sia la fase del passo (stance o swing) in cui si trova l’utilizzatore dell’esoscheletro. In questo modo il fisioterapista è in grado di valutare la qualità della camminata del paziente in relazione alla fase del passo che sta attualmente svolgendo. L’algoritmo di misura della fase del passo è stato validato in un ambiente interno mostrando risultati incoraggianti: si è ottenuta una accuratezza di classificazione pari all’85% (deviazione standard pari al 3%). La presente memoria descrive la procedura di validazione dell’algoritmo per la misura delle fasi del passo durante prove di camminata assistite svolte in ambiente esterno, in diverse condizioni

Gesture recognition per robotica collaborativa: primo approccio

Con il nuovo paradigma di Industria 4.0 si introducono i robot collaborativi, che condividono l’area di lavoro con l’operatore. Risulta necessario non solo elaborare adeguate strategie per assicurare la sicurezza degli operatori, ma anche metodi efficaci per comunicare con i robot collaborativi in modo naturale, tramite comandi vocali o gesti. Come primo approccio al problema della comunicazione umano-robot si è adottato un sistema di riconoscimento gesti basato su un algoritmo di Deep Learning, sviluppato sulla piattaforma MATLAB 2017b, in grado di riconoscere quattro diversi tipi di gesto a partire da immagini RGB, come riportato in Fig. 1. I gesti proposti sono caratterizzati da tre condizioni: devono essere eseguiti usando entrambe le mani con la sinistra chiusa a pugno, il più possibile alla stessa altezza e non troppo distanti tra loro. Il sistema è stato testato offline su quattro diversi dataset acquisiti sperimentalmente per valutare le performance in diverse condizioni. L’applicazione è stata poi testata in real-time per valutare la velocità del sistema nell’effettuare i riconoscimenti

Strumentazione ottica per la misura di strutture trabecolari: caratterizzazione metrologica e confronto tra setup sperimentali

L’additive manufacturing (prototipazione rapida o stampa 3D) è una tecnica che permette di riprodurre oggetti senza i vincoli geometrici tipici della manifattura classica. Questa tecnica consente di realizzare particolari di estrema complessità tra cui le cosiddette “strutture trabecolari”, strutture che presentano proprietà fisiche, meccaniche e topologiche molto vantaggiose. Grazie a queste caratteristiche, negli ultimi anni, esse sono state sempre più utilizzate in ambiti applicativi quali ad esempio la biomedica e l’automotive. Nonostante l’elevata flessibilità delle macchine per la prototipazione, la complessità di queste strutture è tale da generare spesso differenze tra la struttura progettata e il risultato finale della stampa 3D. Risulta quindi necessario progettare e realizzare dei banchi di misura che possano individuare tali differenze. Attualmente la caratterizzazione sperimentale è infatti limitata alla valutazione delle curve di sforzo (mediante test di compressione), e alla valutazione della porosità della superficie (tramite microscopi elettronici). Queste valutazioni vengono eseguite tramite tecniche quali, ad esempio, la Digital Image Correlation. Un altro approccio di misura comprende la visione 2D e 3D, con la quale è possibile effettuare misure dimensionali di campioni di strutture trabecolari prototipate. La presente memoria descrive i primi risultati ottenuti tramite due diversi setup sperimentali per la misura dimensionale di una struttura trabecolare realizzata tramite additive manufacturing. In particolare sono stati utilizzati due trasduttori di misura differenti, un triangolatore laser e una telecamera con ottica telecentrica, per la misura delle dimensioni caratteristiche di un campione prototipato. Le misure effettuate sono state valutate sia in termini di accuratezza di misura che di conformità con il progetto di partenza

Caratterizzazione metrologica di un sistema di tracking uomo-oggetti per applicazioni di robotica collaborativa

Negli ultimi anni, il panorama industriale ha subito un forte cambiamento, muovendosi sempre più rapidamente verso processi automatizzati e intelligenti nell’ottica della quarta Rivoluzione Industriale, definita oggi anche come Industry 4.0. Tale approccio significa essere in grado di monitorare i processi aziendali in tempo reale, in modo da implementare soluzioni di coordinazione in grado di restituire valore aggiunto alla produzione. Le attività devono essere svolte in piena sicurezza per l’operatore, che si trova a dover condividere lo stesso spazio di lavoro con un robot industriale. Per tale ragione, risulta di vitale importanza studiare l’affidabilità di un sistema che, sfruttando le informazioni di colore e di profondità di una telecamera RGB-D, determini in tempo reale la presenza di persone e oggetti e ne restituisca la posizione nello spazio. A tal proposito, la presente memoria descrive le metodologie adottate per la caratterizzazione metrologica del sistema descritto in [1], in grado di affrontare le tematiche affrontate utilizzando due Kinect di seconda generazione (Kinect v2) basate su tecnologia TOF, considerate ancora oggi la scelta migliore in termini di qualità/prezzo

Confronto metrologico tra telecamere a tempo di volo per la misura della cinematica del corpo umano

Lo sviluppo della medicina e il miglioramento delle condizioni di vita hanno portato ad un innalzamento dell’aspettativa di vita che a sua volta ha generato un aumento del numero di persone che necessitano di assistenza medica (ospedaliera o domiciliare). Questo fenomeno ha generato una richiesta sempre più alta di figure assistenziali quali infermieri, fisioterapisti, etc.). Sempre più spesso tali figure soffrono di disturbi muscoloscheletrici dovuti a procedure scorrette assunte durante il proprio lavoro di assistenza all’anziano. Risulta quindi sempre più importante sviluppare sistemi di misura per il training e il monitoraggio ergonomico dei cosiddetti “caregiver”. In questo ambito si colloca il lavoro di ricerca descritto nella presente memoria, il cui obiettivo è quello di illustrare lo sviluppo di un sistema di misura della cinematica del corpo umano basato su telecamere a tempo di volo (Time-Of-Flight, TOF). La telecamera scelta per il sistema di misura è la Camboard Picoplexx (PmdTM), una telecamera TOF che grazie alle dimensioni ridotte e all’assenza di alimentazione esterna (la telecamera viene alimentata direttamente tramite porta USB2.0) consente la massima portabilità, unita ad una buona risoluzione e sensibilità di misura. La presente memoria descrive le metodologie utilizzate e i risultati ottenuti nell’ambito della caratterizzazione metrologica della telecamera Picoplexx e della sua comparazione rispetto alle performance del dispositivo Kinect V2 (MicrosoftTM), considerato il golden standard tra le telecamere TOF in commercio

Emx2 is a dose-dependent negative regulator of Sox2 telencephalic enhancers.

The transcription factor Sox2 is essential for neural stem cells (NSC) maintenance in the hippocampus and in vitro. The transcription factor Emx2 is also critical for hippocampal development and NSC self-renewal. Searching for 'modifier' genes affecting the Sox2 deficiency phenotype in mouse, we observed that loss of one Emx2 allele substantially increased the telencephalic β-geo (LacZ) expression of a transgene driven by the 5' or 3' Sox2 enhancer. Reciprocally, Emx2 overexpression in NSC cultures inhibited the activity of the same transgene. In vivo, loss of one Emx2 allele increased Sox2 levels in the medial telencephalic wall, including the hippocampal primordium. In hypomorphic Sox2 mutants, retaining a single 'weak' Sox2 allele, Emx2 deficiency substantially rescued hippocampal radial glia stem cells and neurogenesis, indicating that Emx2 functionally interacts with Sox2 at the stem cell level. Electrophoresis mobility shift assays and transfection indicated that Emx2 represses the activities of both Sox2 enhancers. Emx2 bound to overlapping Emx2/POU-binding sites, preventing binding of the POU transcriptional activator Brn2. Additionally, Emx2 directly interacted with Brn2 without binding to DNA. These data imply that Emx2 may perform part of its functions by negatively modulating Sox2 in specific brain areas, thus controlling important aspects of NSC function in development