Point Cloud Subjective Evaluation Methodology based on 2D Rendering

Point clouds are one of the most promising technologies for 3D content representation. In this paper, we describe a study on quality assessment of point clouds, degraded by octree-based compression on different levels. The test contents were displayed using Screened Poisson surface reconstruction, without including any textural information, and they were rated by subjects in a passive way, using a 2D image sequence. Subjective evaluations were performed in five independent laboratories in different countries, with the inter-laboratory correlation analysis showing no statistical differences, despite the different equipment employed. Benchmarking results reveal that the state-of-the-art point cloud objective metrics are not able to accurately predict the expected visual quality of such test contents. Moreover, the subjective scores collected from this experiment were found to be poorly correlated with subjective scores obtained from another test involving visualization of raw point clouds. These results suggest the need for further investigations on adequate point cloud representations and objective quality assessment tools

Εξαγωγή χαρακτηριστικών σημείων του προσώπου και αναγνώριση κατεύθυνσης βλέμματος στην αλληλεπίδραση ανθρώπου-μηχανής

In the modern age of information, there is a growing interest in improving interaction between humans and computers in an unremitting attempt to render it as seamless as the interaction between humans. In the core of this endeavor are the study of the human face and the focus of attention, determined by the eye gaze. The main objective of the current thesis is to develop accurate and reliable methods for extracting facial information, localizing the positions of the eye centers and performing tracking of the eye gaze. Usually such systems are grounded upon various assumptions regarding the topology of the features and the camera parameters or require dedicated hardware. In the regard of ubiquitous computing, all the methods developed in the scope of the current thesis use images and videos acquired using standard cameras under natural illumination, without the requirement of any special setup and without imposing constraints to the user. The methods developed for the facial feature extraction involve the detection of the lips, the eyebrows and the eyelids. The accurate localization of the eye centers is also extensively studied, comprising the cornerstone on which the study of eye gaze is based. Based on the methods of the previous chapters a system for estimating gaze direction is developed, studying also the different parameters that affect its performance and proposing the optimal setup. Finally, the gaze tracking system proposed is implemented in various practical applications, demonstrating its capabilities and appropriateness for real life applications. All the individual methods proposed have been extensively evaluated in challenging databases and compared to their counterparts found in the literature. The results presented in this thesis indicate the performance superiority of the proposed methods and encourage further research on the field.Στην σύγχρονη εποχή της πληροφορίας η αλληλεπίδραση μεταξύ ανθρώπου-υπολογιστή βρίσκεται στο επίκεντρο του ενδιαφέροντος, σε μια προσπάθεια να υλοποιηθούν διεπαφές οι οποίες θα λειτουργούν απρόσκοπτα και φυσικά, προσομοιώνοντας την επικοινωνία μεταξύ ανθρώπων. Στον πυρήνα αυτής της προσπάθειας βρίσκεται η μελέτη του προσώπου καθώς και η εστίαση της προσοχής που καθορίζεται από την κατεύθυνση του βλέμματος. Κεντρικό αντικείμενο της παρούσας διδακτορικής διατριβής είναι η ανάλυση εικόνων και βίντεο χρησιμοποιώντας τεχνικές υπολογιστικής όρασης με στόχο τον εντοπισμό των χαρακτηριστικών σημείων του προσώπου, τον ακριβή εντοπισμό των κέντρων των ματιών καθώς και της παρακολούθησης της κατεύθυνσης του βλέμματος. Συνήθως τέτοια συστήματα βασίζονται σε παραδοχές σχετικά με την τοπολογική θέση των χαρακτηριστικών σημείων, τις παραμέτρους της κάμερας, ή σε χρήση εξειδικευμένου υλικού (hardware). Έχοντας ως στόχο ένα σύστημα το οποίο θα μπορεί να λειτουργεί καθολικά, μη παρεμβατικά, κάτω από οποιεσδήποτε συνθήκες και χωρίς να θέτει συγκεκριμένους περιορισμούς στο χρήστη, όλες οι προσεγγίσεις που αναπτύχθηκαν στα πλαίσια της παρούσας διατριβής βασίζονται στη χρήση μιας απλής κάμερας, κάτω από κανονικές συνθήκες φωτισμού. Στην παρούσα διατριβή αρχικά πραγματοποιείται η εύρεση του προσώπου και ο εντοπισμός των χαρακτηριστικών σημείων του. Στη συνέχεια εντοπίζονται τα κέντρα των ματιών και υπολογίζεται η κατεύθυνση του βλέμματος. Τέλος οι τεχνικές που αναπτύχθηκαν ενσωματώνονται σε πραγματικές εφαρμογές. Η αποτελεσματικότητα της μεθόδου παρακολούθησης αξιολογείται σε διαθέσιμες βάσεις δεδομένων και εξάγονται αποτελέσματα και συμπεράσματα. Οι μέθοδοι που αναπτύχθηκαν στην παρούσα διατριβή παρουσιάζουν βελτιωμένη απόδοση σε σχέση με τις υπάρχουσες μεθόδους, ενθαρρύνοντας περεταίρω έρευνα στο πεδίο

Multimedia content analysis for emotional characterization of music video clips

Nowadays, tags play an important role in the search and retrieval process in multimedia content sharing social networks. As the amount of multimedia contents explosively increases, it is a challenging problem to find a content that will be appealing to the users. Furthermore, the retrieval of multimedia contents, which can match users’ current mood or affective state, can be of great interest. One approach to indexing multimedia contents is to determine the potential affective state, which they can induce in users. In this paper, multimedia content analysis is performed to extract affective audio and visual cues from different music video clips. Furthermore, several fusion techniques are used to combine the information extracted from the audio and video contents of music video clips. We show that using the proposed methodology, a relatively high performance (up to 90%) of affect recognition is obtained