Multifeature analysis and semantic context learning for image classification

This article introduces an image classification approach in which the semantic context of images and multiple low-level visual features are jointly exploited. The context consists of a set of semantic terms defining the classes to be associated to unclassified images. Initially, a multiobjective optimization technique is used to define a multifeature fusion model for each semantic class. Then, a Bayesian learning procedure is applied to derive a context model representing relationships among semantic classes. Finally, this ..

Semantic multimedia modelling & interpretation for annotation

The emergence of multimedia enabled devices, particularly the incorporation of cameras in mobile phones, and the accelerated revolutions in the low cost storage devices, boosts the multimedia data production rate drastically. Witnessing such an iniquitousness of digital images and videos, the research community has been projecting the issue of its significant utilization and management. Stored in monumental multimedia corpora, digital data need to be retrieved and organized in an intelligent way, leaning on the rich semantics involved. The utilization of these image and video collections demands proficient image and video annotation and retrieval techniques. Recently, the multimedia research community is progressively veering its emphasis to the personalization of these media. The main impediment in the image and video analysis is the semantic gap, which is the discrepancy among a user’s high-level interpretation of an image and the video and the low level computational interpretation of it. Content-based image and video annotation systems are remarkably susceptible to the semantic gap due to their reliance on low-level visual features for delineating semantically rich image and video contents. However, the fact is that the visual similarity is not semantic similarity, so there is a demand to break through this dilemma through an alternative way. The semantic gap can be narrowed by counting high-level and user-generated information in the annotation. High-level descriptions of images and or videos are more proficient of capturing the semantic meaning of multimedia content, but it is not always applicable to collect this information. It is commonly agreed that the problem of high level semantic annotation of multimedia is still far from being answered. This dissertation puts forward approaches for intelligent multimedia semantic extraction for high level annotation. This dissertation intends to bridge the gap between the visual features and semantics. It proposes a framework for annotation enhancement and refinement for the object/concept annotated images and videos datasets. The entire theme is to first purify the datasets from noisy keyword and then expand the concepts lexically and commonsensical to fill the vocabulary and lexical gap to achieve high level semantics for the corpus. This dissertation also explored a novel approach for high level semantic (HLS) propagation through the images corpora. The HLS propagation takes the advantages of the semantic intensity (SI), which is the concept dominancy factor in the image and annotation based semantic similarity of the images. As we are aware of the fact that the image is the combination of various concepts and among the list of concepts some of them are more dominant then the other, while semantic similarity of the images are based on the SI and concept semantic similarity among the pair of images. Moreover, the HLS exploits the clustering techniques to group similar images, where a single effort of the human experts to assign high level semantic to a randomly selected image and propagate to other images through clustering. The investigation has been made on the LabelMe image and LabelMe video dataset. Experiments exhibit that the proposed approaches perform a noticeable improvement towards bridging the semantic gap and reveal that our proposed system outperforms the traditional systems

Recherche d'images par le contenu, analyse multirésolution et modèles de régression logistique

Cette thèse, présente l'ensemble de nos contributions relatives à la recherche d'images par le contenu à l'aide de l'analyse multirésolution ainsi qu'à la classification linéaire et nonlinéaire. Dans la première partie, nous proposons une méthode simple et rapide de recherche d'images par le contenu. Pour représenter les images couleurs, nous introduisons de nouveaux descripteurs de caractéristiques qui sont des histogrammes pondérés par le gradient multispectral. Afin de mesurer le degré de similarité entre deux images d'une façon rapide et efficace, nous utilisons une pseudo-métrique pondérée qui utilise la décomposition en ondelettes et la compression des histogrammes extraits des images. Les poids de la pseudo-métrique sont ajustés à l'aide du modèle classique de régression logistique afin d'améliorer sa capacité à discriminer et la précision de la recherche. Dans la deuxième partie, nous proposons un nouveau modèle bayésien de régression logistique fondé sur une méthode variationnelle. Une comparaison de ce nouveau modèle au modèle classique de régression logistique est effectuée dans le cadre de la recherche d'images. Nous illustrons par la suite que le modèle bayésien permet par rapport au modèle classique une amélioration notoire de la capacité à discriminer de la pseudo-métrique et de la précision de recherche. Dans la troisième partie, nous détaillons la dérivation du nouveau modèle bayésien de régression logistique fondé sur une méthode variationnelle et nous comparons ce modèle au modèle classique de régression logistique ainsi qu'à d'autres classificateurs linéaires présents dans la littérature. Nous comparons par la suite, notre méthode de recherche, utilisant le modèle bayésien de régression logistique, à d'autres méthodes de recherches déjà publiées. Dans la quatrième partie, nous introduisons la sélection des caractéristiques pour améliorer notre méthode de recherche utilisant le modèle introduit ci-dessus. En effet, la sélection des caractéristiques permet de donner automatiquement plus d'importance aux caractéristiques qui discriminent le plus et moins d'importance aux caractéristiques qui discriminent le moins. Finalement, dans la cinquième partie, nous proposons un nouveau modèle bayésien d'analyse discriminante logistique construit à l'aide de noyaux permettant ainsi une classification nonlinéaire flexible

Search Relevance based on the Semantic Web

In this thesis, we explore the challenge of search relevance in the context of semantic search. Specifically, the notion of semantic relevance can be distinguished from the other types of relevance in Information Retrieval (IR) in terms of employing an underlying semantic model. We propose the emerging Semantic Web data on the Web which is represented in RDF graph structures as an important candidate to become such a semantic model in a search process

Kontext-abhängige Personalisierung multimedialer Inhalte auf mobilen Endgeräten

Die Bedeutung multimedialer Dienste hat in den letzten Jahren beträchtlich zugenommen. Ihre Nutzung ist heutzutage nicht mehr nur auf stationäre Geräte beschränkt: durch bessere mobile Endgeräte und leistungsfähigere Netze können diese Dienste immer mehr auch unterwegs eingesetzt werden. Gerade im mobilen Umfeld kämpfen sie aber mit zwei grundlegenden Problemen: zum einen ist es für den Nutzer schwierig, aus der riesigen Menge der Inhalte diejenigen zu finden, die für ihn wirklich relevant sind. Dieses Problem tritt auch bei stationärer Nutzung auf, die schlechteren Eingabemöglichkeiten und die geringere Bandbreite mobiler Endgeräte schränken aber gerade hier die Nutzung massiv ein. Zum anderen zeichnen sich mobile Geräte durch eine starke Heterogenität aus. Um multimediale Inhalte komfortabel nutzen zu können, muss deren optimale Darstellung für die unterschiedlichen Charakteristika dieser heterogenen Endgeräte gefunden werden. Eine Lösung für diese beiden Probleme ist die Personalisierung multimedialer Inhalte. Im mobilen Bereich findet die Nutzung multimedialer Inhalte in einem wesentlich dynamischeren Kontext statt. Der Nutzer kann sich räumlich bewegen, die Umgebungslautstärke und die Lichtverhältnisse ändern sich häufig, und er ist der Witterung ausgesetzt. Wie diese Informationen genutzt werden, um die Personalisierung multimedialer Inhalte zu unterstützen, soll im Rahmen dieser Arbeit näher untersucht werden. Dafür wurde die Multimedia Adaptation and Selection Language (MASL) zur Beschreibung von Inhalten und Nutzern entwickelt. Die Informationen, die mit dieser Sprache erfasst werden, werden durch Nutzereingabe (explizit) oder automatisch (implizit) gewonnen. Exemplarisch wird dies in der vorliegenden Arbeit mit der expliziten und impliziten Gewinnung von Schlüsselwörtern zu Inhalten und Nutzerbewertungen gezeigt. Die Beschreibungen in MASL werden verwendet, um multimediale Inhalte Kontext-abhängig auszuwählen und die gewählten Inhalte in der Darstellung an den aktuellen Nutzungskontext anzupassen. Für die Auswahl werden Empfehlungssysteme eingesetzt, die Inhalte gemäß den aktuellen Kontextinformationen des Nutzers selektieren. Die entwickelten Ansätze werden in ein einheitliches Framework integriert, das flexibel konfigurierbar ist. Für die Anpassung der Darstellung wird eine Middleware entwickelt, die verteilt arbeitet: der Server-seitige Teil führt eine Voranpassung der Inhalte durch, der Client beendet den Anpassungsprozess

Statistical Models for Automatic Video Annotation and Retrieval

We apply a continuous relevance model (CRM) to the problem of directly retrieving the visual content of videos using text queries. The model computes a joint probability model for image features and words using a training set of annotated images. The model may then be used to annotate unseen test images. The probabilistic annotations are used for retrieval using text queries. We also propose a modified model - the normalized CRM - which substantially improves performance on a subset of the TREC Video dataset