Web Video Verification using Contextual Cues

As news agencies and the public increasingly rely on User-Generated Content, content verification is vital for news producers and consumers alike. We present a novel approach for verifying Web videos by analyzing their online context. It is based on supervised learning on contextual features: one feature set is based on an existing approach for tweet verification adapted to video comments. The other is based on video metadata, such as the video description, likes/dislikes, and uploader information. We evaluate both on a dataset of real and fake videos from YouTube, and demonstrate their effectiveness (F-scores: 0.82, 0.79). We then explore their complementarity and show that under an optimal fusion scheme, the classifier would reach an F-score of 0.9. We finally study the performance of the classifier through time, as more comments accumulate, emulating a real-time verification setting

Scene integration for online VR advertising clouds

This paper presents a scene composition approach that allows the combinational use of standard three dimensional objects, called models, in order to create X3D scenes. The module is an integral part of a broader design aiming to construct large scale online advertising infrastructures that rely on virtual reality technologies. The architecture addresses a number of problems regarding remote rendering for low end devices and last but not least, the provision of scene composition and integration. Since viewers do not keep information regarding individual input models or scenes, composition requires the consideration of mechanisms that add state to viewing technologies. In terms of this work we extended a well-known, open source X3D authoring tool

Scene Integration for Online VR Advertising Clouds

This paper presents a scene composition approach that allows the combinational use of standard three dimensional objects, called models, in order to create X3D scenes. The module is an integral part of a broader design aiming to construct large scale online advertising infrastructures that rely on virtual reality technologies. The architecture addresses a number of problems regarding remote rendering for low end devices and last but not least, the provision of scene composition and integration. Since viewers do not keep information regarding individual input models or scenes, composition requires the consideration of mechanisms that add state to viewing technologies. In terms of this work we extended a well-known, open source X3D authoring tool

Adaptation of Controllers for Image-Based Homing

Following a study of the existing algorithms for image-based homing, and their strengths and weaknesses, a new, adaptive controller was designed. The controller achieves homing through gradient descent of the RMS surface by modelling C. Elegans chemotaxis with a first-order function. The controller parameters were evolved in a simulated environment, and were then tested and evaluated both in simulation and in the real world. A comparison also took place between this and other, established algorithms. The simulation and real world results indicate that homing through gradient descent does offer some advantages over the traditional homing algorithms. They also demonstrate that the taxis algorithm is a very efficient way to take advantage of the properties of the RMS surface in a known environment, although further research will be necessary before the controller becomes fully applicable. 2 Acknowledgement

Automatic semantic video classification based on spatial and temporal descriptors: theoretical analysis and real-world application

During the last decades, digital multimedia recording devices have become increasingly cheap and widespread, leading to an abrupt worldwide accumulation of huge volumes of multimedia material. At the same time, the success of open publication web sites, as well as the significant increase in the number of specialized digital multimedia collections, such as TV archives or museum catalogues, has made the need for indexing such databases imperative. To this day, indexing methods fundamentally rely on the manual annotation of multimedia material. Research in Automatic Semantic Indexing aims at the creation of systems able to automatically detect the presence of high-level concepts within multimedia items, so as to reduce the cost of indexing and overcome the limitations of manual annotation. Our research focuses on low-level visual descriptors for video shots for the purpose Semantic Video Indexing. In chapter 1 we describe the aims and challenges of semantic indexing, briefly review past related work and contemporary research directions, and present the aims of this dissertation. Chapter 2 describes a number of fundamental concepts that are necessary for the reader to follow our work. In chapter 3, we exhaustively review and analyse previously proposed descriptors for color, texture, local features οn motion, while the dominant approaches in shape description are also briefly touched upon. For each descriptor, we present the underlying rationale, as well as its respective strengths and weaknesses, placing emphasis on the results of published experimental comparisons, wherever these are available. Following that analysis, in chapter 4 we propose three novel motion descriptors, each corresponding to a different aspect of motion information. Our first descriptor focuses on camera behaviour, emphasizing on the temporal relationships between different camera operations. These relationships concern both the possibility of coexistence of multiple camera operations at the same time, and the potential transitions between different consecutive camera operations. The second descriptor is derived from an attempt to improve a classic foreground motion descriptor, by replacing sparse motion fields with dense optical flow as its base information. As a further improvement, we shift the descriptors focus from the absolute local intensity of foreground motion, to its relative spatial distribution. Finally, our third descriptor aims at representing relationships between neighbouring motion vectors through Local Binary Patterns. As it constitutes an entirely novel descriptor for dynamic texture through local motion information, a series of possible variants are explored with respect to its structure. In chapter 5 we present a proposal for the application of the VACOR algorithm, from the field of Data Analysis, for the evaluation of descriptors and the analysis of each individual variables role in semantic content-based classification. In terms of experimental evaluations, we attempt data-driven Hierarchical Classification of a set of video shots from three semantic classes. Following an evaluation of the clustering of the three classes, an exhaustive analysis of the higher nodes of the classification tree is performed, where each descriptor variable is studied with respect to its role in the resulting classification. Besides being a first-level evaluation of our proposeddescriptors, this application serves as a broader example for descriptor evaluation using Data Analysis methods. In chapter 6, Semantic Classification is attempted using Support Vector Machines. Sixteen semantic classes are defined in a database of 1074 video shots, and a number of variants of our proposed descriptors are evaluated with respect to their relative performance in indexing unknown video shots. Consecutively, our descriptors are experimentally compared to their state-of-the-art counterparts, in order to measure the relative improvement achieved. Finally, we implement an integrated system for semantic video classification, based on a large number of state-of-the-art descriptors, selected from the analysis of chapter 3. Within the context of this system, we evaluate the contribution of our novel descriptors in improving the overall system performance, as well as the overall classification success of the final system incorporating both the classic and novel descriptors. Based on the experimental results, and the observed strengths and weaknesses of ourdescriptors, in chapter 7 we reach a series of conclusions concerning the degree of success of our project, the significance of our contributions, and the potential future directions of our research.Με την ευρεία εμπορική διάδοση των μέσων αποθήκευσης οπτικής και ακουστικής πληροφορίας όπως οι κάμερες και οι φωτογραφικές μηχανές, ο όγκος του πολυμεσικού υλικού που καταγράφεται και διακινείται καθημερινά έχει, τις τελευταίες δεκαετίες, γνωρίσει κατακόρυφη αύξηση. Ταυτόχρονα, η ύπαρξη ιστοσελίδων ανοιχτής δημοσίευσης, καθώς και εξειδικευμένων βάσεων πολυμεσικών δεδομένων, από τηλεοπτικά αρχεία μέχρι καταλόγους μουσείων, έχει ως συνέπεια η αναζήτηση πολυμεσικού υλικού να αποτελεί καθημερινή πρακτική για ένα μεγάλο αριθμό χρηστών. Οι σημερινές προσεγγίσεις αρχειοθέτησης στηρίζονται στην περιγραφή κάθε πολυμεσικού αντικείμενου με το χέρι. Το ερευνητικό πεδίο της Αυτόματης Σημασιολογικής Ταξινόμησης αποσκοπεί στην αυτόματη αναγνώριση υψηλού επίπεδου εννοιών στο περιεχόμενο των πολυμεσικών αντικείμενων, ώστε ο χρήστης να μπορεί να πλοηγείται σε μια συλλογή βάσει των πραγματικών του επιθυμιών. Στην εργασία αυτή εστιάζουμε στους περιγράφεις χαμηλού επίπεδου των οπτικών χαρακτηριστικών των εικονοσειρών, με σκοπό τη σημασιολογική ταξινόμηση. Στο κεφάλαιο 1 παρουσιάζεται η πρόκληση της σημασιολογικής ταξινόμησης, μια σύντομη ιστορική ανάδρομη σε αντίστοιχα ερευνητικά εγχειρήματα και οι σύγχρονες τάσεις της έρευνας καθώς και οι στόχοι της διατριβής, ενώ στο κεφάλαιο 2 παρουσιάζονται οι βασικές έννοιες που θεωρούνται απαραίτητες για την κατανόηση της εργασίας. Στο κεφάλαιο 3 γίνεται μια εξαντλητική ανάλυση των διαθέσιμων περιγραφέων χρώματος, υφής, τοπικών χαρακτηριστικών, καθώς και κίνησης ενώ αναφέρονται συνοπτικά οι κυρίες τάσεις στους/ περιγράφεις σχήματος. Για κάθε περιγραφέα αναλύεται η φιλοσοφία του, τα ισχυρά του σημεία καθώς και οι αδυναμίες του, με έμφαση στα αποτελέσματα των δημοσιευμένων πειραματικών συγκρίσεων, όπου αυτά υπάρχουν. Ακολουθώντας την ανάλυση, στο κεφάλαιο 4 προτείνονται τρεις νέοι περιγράφεις των φαινομένων κίνησης, καθένας από τους οποίους αντιστοιχεί σε διαφορετικό τύπο πληροφορίας. Ο πρώτος αποσκοπεί στην περιγραφή της κίνησης κάμερας, εστιάζοντας στην καταγραφή των χρονικών σχέσεων μεταξύ των κινήσεων της κάμερας για κάθε καρέ. Οι χρονικές σχέσεις αυτές αφορούν το ενδεχόμενο συνύπαρξης δύο διαφορετικών κινήσεων την ίδια χρονική στιγμή, καθώς και στην διαδοχή διαφορετικών κινήσεων στο χρόνο. Ο δεύτερος αποτελεί μια απόπειρα βελτίωσης ενός κλασικού περιγραφέα της κίνησης προσκήνιου, μεταφέροντας τον από το πεδίο διανυσμάτων μπλοκ στην οπτική ροή, και μετατοπίζοντας την εστίασή του από την κίνηση των αντικείμενων του προσκήνιου στην αναπαράσταση της χωρικής κατανομής της κίνησης αυτής. Ο τρίτος περιγραφέας επιδιώκει την αναπαράσταση των σχέσεων μεταξύ γειτονικών διανυσμάτων κίνησης με τη μορφή Τοπικών Δυαδικών Προτύπων. Καθώς πρόκειται για έναν εντελώς νέο περιγραφέα της δυναμικής υφής μέσω των τοπικών χαρακτηριστικών κίνησης, μια σειρά διαφορετικών επιλογών παρουσιάζονται σχετικά με τη δομή του. Στο κεφάλαιο 5 παρουσιάζεται μια πρόταση για εφαρμογή του αλγορίθμου VACOR από τον κλάδο της Ανάλυσης Δεδομένων, για την αξιολόγηση περιγραφέων και την ανάλυση του ρόλου τους στην ταξινόμηση βάσει του σημασιολογικού περιεχομένου. Πειραματικά, επιχειρείται η καθοδηγούμενη από τα δεδομένα Ιεραρχική Ταξινόμηση ενός συνόλου εικονοσειρών που ανήκουν σε τρεις διαφορετικές σημασιολογικές κλάσεις. Αφού εξεταστεί ο διαχωρισμός μεταξύ των σημασιολογικών εννοιών που επιτεύχθηκε με τη χρήση των περιγραφέων μας, ακολουθεί αναλυτική εξέταση των κόμβων της ταξινόμησης και του ρόλου της κάθε μεταβλητής των περιγραφέων στο σχηματισμό τους. Η εφαρμογή αυτή αποτελεί ένα υπόδειγμα για την αξιολόγηση περιγραφέων με τη χρήση μεθόδων της Ανάλυσης Δεδομένων. Στο κεφάλαιο 6, επιχειρείται Σημασιολογική Ταξινόμηση με τη χρήση Μηχανών Διανυσμάτων Υποστήριξης. Σε μια βάση δεδομένων 1074 εικονοσειρών ορίζονται 16 σημασιολογικές κλάσεις και ένας αριθμός διαφορετικών εκδοχών των πρωτότυπων περιγραφέων αξιολογούνται με κριτήριο τη συγκριτική τους ικανότητα ταξινόμησης άγνωστων εικονοσειρών. Στη συνέχεια οι περιγραφείς μας συγκρίνονται πειραματικά με κλασικούς περιγραφείς παρόμοιας στόχευσης, ώστε να αναδειχθεί ο βαθμός στον οποίο αποτελούν βελτίωση επί των δημοφιλέστερων προσεγγίσεων. Τέλος, υλοποιείται πειραματικά ένα ολοκληρωμένο σύστημα ταξινόμησης εικονοσειρών, βασισμένο στους αποτελεσματικότερους κλασικούς περιγράφεις, όπως αυτοί αναδείχθηκαν από την ανάλυσή μας. Στα πλαίσια του συστήματος αυτού, εξετάζεται και αξιολογείται η συνεισφορά των περιγραφέων μας στην βελτίωση της ακρίβειας της ταξινόμησης, καθώς και η συνολική ικανότητα ταξινόμησης του τελικού συστήματος. Από την πειραματική διερεύνηση των ισχυρών τους σημείων, άλλα και των αδυναμιών τους, καταλήγουμε στο κεφάλαιο 7 σε μια σειρά συμπερασμάτων όσον άφορα το βαθμό επίτευξης των στόχων μας, τη σημασία των συνεισφορών μας, καθώς και τις μελλοντικές ερευνητικές κατευθύνσεις γύρω από αυτές

Scene Integration for Online VR Advertising Clouds

This paper presents a scene composition approach that allows the combinational use of standard three dimensional objects, called models, in order to create X3D scenes. The module is an integral part of a broader design aiming to construct large scale online advertising infrastructures that rely on virtual reality technologies. The architecture addresses a number of problems regarding remote rendering for low end devices and last but not least, the provision of scene composition and integration. Since viewers do not keep information regarding individual input models or scenes, composition requires the consideration of mechanisms that add state to viewing technologies. In terms of this work we extended a well-known, open source X3D authoring tool

Web and Social Media Image Forensics for News Professionals

User-generated content -commonly referred to as "eyewitness media"- has become an essential component in journalism and news reporting. Increasingly more news providers, such as news agencies, broadcasters and Web-only players have set up teams of dedicated investigators or are in the process of training parts of their journalistic workforce to gather and evaluate material from social networks and the Web. If verified, such content can be invaluable in delivering a news story. However, while source checking and verification is as old as journalism itself, the verification of digital material is a relatively young field, with protocols and assisting tools still being developed. In this work, we present our efforts towards a Web-based image verification platform. The platform, currently in its alpha stage, features image tampering detection using a number of state-of-the-art algorithms and image metadata visualization. We discuss the current strengths and limitations of the platform and the implemented state-of-the-art with respect to the specific requirements of the task, resulting from its Web-based nature and its intended use by news investigators with limited expertise in the domain of image forensics

Etude de protocole de sécurisation de services à très fortes contraintes

Given that physics can be fundamental for realistic and interactive Web3D applications, a number of JavaScript versions of physics engines have been introduced during the past years. This paper presents the implementation of the rigid body physics component, as defined by the X3D specification, in the X3DOM environment, and the creation of dynamic 3D interactive worlds. We briefly review the state of the art in current technologies forWeb3D graphics, including HTML5, WebGL and X3D, and then explore the significance of physics engines in building realistic Web3D worlds. We include a comprehensive review of JavaScript physics engine libraries, and proceed to summarize the significance of our implementation while presenting in detail the methodology followed. The results obtained so far from our cross-browser experiments demonstrate that real-time interactive scenes with hundreds of rigid bodies can be constructed and operate with acceptable frame rates, while the allowing the user to maintain the scene control.The research of this paper is granted by the European Union and the Hellenic General Secretary of Research and Technology under the COOPERATION 2009 / 09SYN-72-956 Framework