Validazione di algoritmi di calibrazione estrinseca basati su skeletonization del corpo umano

La presente memoria descrive le procedure utilizzate per la valutazione metrologica di procedure di calibrazione estrinseca di sistemi di visione composti da più telecamere. Viene definita calibrazione estrinseca quella procedura che consente di calcolare posizione ed orientamento di ogni telecamera presente in un sistema multicamera rispetto a tutte le altre. I metodi di calibrazione estrinseca si possono dividere principalmente in tre gruppi: tradizionali, basati sul riconoscimento di forme tridimensionali e basati su skeletonization. I metodi di calibrazione tradizionali si basano sull’utilizzo di target di calibrazione noti (scacchiere, griglie di punti, frange, etc) che vengono riconosciuti automaticamente dal sistema. Il sistema misura la posizione dei punti caratteristici del target ottenendo in questo modo i parametri di rotazione e traslazione desiderati. I metodi basati sul riconoscimento di forme tridimensionali (3D shape matching) sono invece fondati sulla coerenza geometrica di un oggetto 3D posizionato nel campo di vista delle varie telecamere: ciascun dispositivo registra una parte dell’oggetto target e successivamente, allineando ciascuna vista con le rimanenti, ed analizzando la traiettoria dell’oggetto vista da ogni telecamera è possibile risalire alle matrici di calibrazione. I metodi di calibrazione tradizionali, così come quelli basati su 3D shape matching risultano svantaggiosi in termini di tempo di esecuzione. Inoltre, queste tipologie necessitano di un target di calibrazione. Infine, i metodi basati sul riconoscimento dello scheletro umano (skeleton-based) utilizzano come target di calibrazione direttamente le articolazioni (joint) di un operatore che si posiziona all’interno del campo di vista delle telecamere. I metodi skeleton-based rappresentano quindi un’evoluzione dei metodi di 3D shape matching in quanto è come se venissero considerate forme 3D multiple rappresentate dai segmenti corporei dell’operatore stesso. Risulta quindi possibile ottenere una calibrazione estrinseca senza alcun oggetto caratteristico, ma semplicemente utilizzando il corpo dell’operatore umano come oggetto stesso. Nonostante in letteratura siano presenti lavori relativi alla valutazione dell’accuratezza nella misura dei joint, non sono presenti lavori che mostrano come questa accuratezza venga propagata a livello di matrici di rototraslazione risultanti dalla procedura di calibrazione. Il presente lavoro descrive le procedure utilizzate per valutare l’affidabilità della calibrazione estrinseca ottenuta tramite le posizioni dei joint misurate tramite il metodo di skeletonization descritto in [3]

A low-cost, flexible and portable volumetric capturing system

Multi-view capture systems are complex systems to engineer. They require technical knowledge to install and intricate processes to setup related mainly to the sensors’ spatial alignment (i.e. external calibration). However, with the ongoing developments in new production methods, we are now at a position where the production of high quality realistic 3D assets is possible even with commodity sensors. Nonetheless, the capturing systems developed with these methods are heavily intertwined with the methods themselves, relying on custom solutions and seldom - if not at all - publicly available. In light of this, we design, develop and publicly offer a multi-view capture system based on the latest RGB-D sensor technology. For our system, we develop a portable and easy-to-use external calibration method that greatly reduces the effort and knowledge required, as well as simplify the overall process