Deep Learning Techniques applied to Photometric Stereo

La tesi si focalizza sullo studio dello stato dell’arte della fotometria stereo con deep learning: Self-calibrating Deep Photometric Stereo Networks. Il modello è composto è composto di due reti, la prima predice la direzione e l’intensità delle luci, la seconda predice le normali della superficie. L’obiettivo della tesi è individuare i limiti del modello e capire se possa essere modifcato per avere buone prestazioni anche in scenari reali. Il progetto di tesi è basato su fine-tuning, una tecnica supervisionata di transfer learning. Per questo scopo un nuovo dataset è stato creato acquisendo immagini in laboratorio. La ground-truth è ottenuta tramite una tecnica di distillazione. In particolare la direzione delle luci è ottenuta utilizzando due algoritmi di calibrazione delle luci e unendo i due risultati. Analogamente le normali delle superfici sono ottenute unendo i risultati di vari algoritmi di fotometria stereo. I risultati della tesi sono molto promettenti. L’errore nella predizione della direzione e dell’intensità delle luci è un terzo dell’errore del modello originale. Le predizioni delle normali delle superfici possono essere analizzate solo qualitativamente, ma i miglioramenti sono evidenti. Il lavoro di questa tesi ha mostrato che è possibile applicare transfer-learning alla fotometria stereo con deep learning. Perciò non è necessario allenare un nuovo modello da zero ma è possibile approfittare di modelli già esistenti per migliorare le prestazioni e ridurre il tempo di allenamento

Ranking-based Deep Cross-modal Hashing

Cross-modal hashing has been receiving increasing interests for its low storage cost and fast query speed in multi-modal data retrievals. However, most existing hashing methods are based on hand-crafted or raw level features of objects, which may not be optimally compatible with the coding process. Besides, these hashing methods are mainly designed to handle simple pairwise similarity. The complex multilevel ranking semantic structure of instances associated with multiple labels has not been well explored yet. In this paper, we propose a ranking-based deep cross-modal hashing approach (RDCMH). RDCMH firstly uses the feature and label information of data to derive a semi-supervised semantic ranking list. Next, to expand the semantic representation power of hand-crafted features, RDCMH integrates the semantic ranking information into deep cross-modal hashing and jointly optimizes the compatible parameters of deep feature representations and of hashing functions. Experiments on real multi-modal datasets show that RDCMH outperforms other competitive baselines and achieves the state-of-the-art performance in cross-modal retrieval applications

On error correlation and accuracy of nearest neighbor ensemble classifiers

Recent empirical work has shown that combining predictors can lead to significant reduction in generalization error. Unfortunately, many combining methods do not improve nearest neighbor (NN) classifiers at all. This is because NN methods are very robust with respect to variations of a data set. In contrast, they are sensitive to input features. We exploit the instability of NN classifiers with respect to different choices of features to generate an effective and diverse set of NN classifiers. Interestingly, the approach takes advantage of the high dimensionality of the data. We investigate techniques to decorrelate errors while keeping the individual classifiers accurate. We analyze the results both in terms of error rates and error correlations. The experimental results show that our technique can offer significant performance improvements with respect to competitive methods.