7 research outputs found

    Personalised video retrieval: application of implicit feedback and semantic user profiles

    Get PDF
    A challenging problem in the user profiling domain is to create profiles of users of retrieval systems. This problem even exacerbates in the multimedia domain. Due to the Semantic Gap, the difference between low-level data representation of videos and the higher concepts users associate with videos, it is not trivial to understand the content of multimedia documents and to find other documents that the users might be interested in. A promising approach to ease this problem is to set multimedia documents into their semantic contexts. The semantic context can lead to a better understanding of the personal interests. Knowing the context of a video is useful for recommending users videos that match their information need. By exploiting these contexts, videos can also be linked to other, contextually related videos. From a user profiling point of view, these links can be of high value to recommend semantically related videos, hence creating a semantic-based user profile. This thesis introduces a semantic user profiling approach for news video retrieval, which exploits a generic ontology to put news stories into its context. Major challenges which inhibit the creation of such semantic user profiles are the identification of user's long-term interests and the adaptation of retrieval results based on these personal interests. Most personalisation services rely on users explicitly specifying preferences, a common approach in the text retrieval domain. By giving explicit feedback, users are forced to update their need, which can be problematic when their information need is vague. Furthermore, users tend not to provide enough feedback on which to base an adaptive retrieval algorithm. Deviating from the method of explicitly asking the user to rate the relevance of retrieval results, the use of implicit feedback techniques helps by learning user interests unobtrusively. The main advantage is that users are relieved from providing feedback. A disadvantage is that information gathered using implicit techniques is less accurate than information based on explicit feedback. In this thesis, we focus on three main research questions. First of all, we study whether implicit relevance feedback, which is provided while interacting with a video retrieval system, can be employed to bridge the Semantic Gap. We therefore first identify implicit indicators of relevance by analysing representative video retrieval interfaces. Studying whether these indicators can be exploited as implicit feedback within short retrieval sessions, we recommend video documents based on implicit actions performed by a community of users. Secondly, implicit relevance feedback is studied as potential source to build user profiles and hence to identify users' long-term interests in specific topics. This includes studying the identification of different aspects of interests and storing these interests in dynamic user profiles. Finally, we study how this feedback can be exploited to adapt retrieval results or to recommend related videos that match the users' interests. We analyse our research questions by performing both simulation-based and user-centred evaluation studies. The results suggest that implicit relevance feedback can be employed in the video domain and that semantic-based user profiles have the potential to improve video exploration

    PRESTK : situation-aware presentation of messages and infotainment content for drivers

    Get PDF
    The amount of in-car information systems has dramatically increased over the last few years. These potentially mutually independent information systems presenting information to the driver increase the risk of driver distraction. In a first step, orchestrating these information systems using techniques from scheduling and presentation planning avoid conflicts when competing for scarce resources such as screen space. In a second step, the cognitive capacity of the driver as another scarce resource has to be considered. For the first step, an algorithm fulfilling the requirements of this situation is presented and evaluated. For the second step, I define the concept of System Situation Awareness (SSA) as an extension of Endsley’s Situation Awareness (SA) model. I claim that not only the driver needs to know what is happening in his environment, but also the system, e.g., the car. In order to achieve SSA, two paths of research have to be followed: (1) Assessment of cognitive load of the driver in an unobtrusive way. I propose to estimate this value using a model based on environmental data. (2) Developing model of cognitive complexity induced by messages presented by the system. Three experiments support the claims I make in my conceptual contribution to this field. A prototypical implementation of the situation-aware presentation management toolkit PRESTK is presented and shown in two demonstrators.In den letzten Jahren hat die Menge der informationsanzeigenden Systeme im Auto drastisch zugenommen. Da sie potenziell unabhängig voneinander ablaufen, erhöhen sie die Gefahr, die Aufmerksamkeit des Fahrers abzulenken. Konflikte entstehen, wenn zwei oder mehr Systeme zeitgleich auf limitierte Ressourcen wie z. B. den Bildschirmplatz zugreifen. Ein erster Schritt, diese Konflikte zu vermeiden, ist die Orchestrierung dieser Systeme mittels Techniken aus dem Bereich Scheduling und Präsentationsplanung. In einem zweiten Schritt sollte die kognitive Kapazität des Fahrers als ebenfalls limitierte Ressource berücksichtigt werden. Der Algorithmus, den ich zu Schritt 1 vorstelle und evaluiere, erfüllt alle diese Anforderungen. Zu Schritt 2 definiere ich das Konzept System Situation Awareness (SSA), basierend auf Endsley’s Konzept der Situation Awareness (SA). Dadurch wird erreicht, dass nicht nur der Fahrer sich seiner Umgebung bewusst ist, sondern auch das System (d.h. das Auto). Zu diesem Zweck m¨ussen zwei Bereiche untersucht werden: (1) Die kognitive Belastbarkeit des Fahrers unaufdringlich ermitteln. Dazu schlage ich ein Modell vor, das auf Umgebungsinformationen basiert. (2) Ein weiteres Modell soll die Komplexität der präsentierten Informationen bestimmen. Drei Experimente stützen die Behauptungen in meinem konzeptuellen Beitrag. Ein Prototyp des situationsbewussten Präsentationsmanagement-Toolkits PresTK wird vorgestellt und in zwei Demonstratoren gezeigt

    Caractérisation de la couverture d'information : une approche computationnelle fondée sur les asymétries

    Get PDF
    De nos jours, la production accélérée d’information demande à toute personne d’adopter des stratégies de sélection d’information, d’exclusion d’information répétée et même de fusion d’information, afin de construire un panorama complet d’une thématique. Ces stratégies correspondent bien au processus de couverture d’information qui devient un exercice de plus en plus quotidien, mais aussi de plus en plus complexe. Des techniques de Traitement Automatique de Langue Naturelle (TALN) tentent de réaliser la couverture d’information de façon automatique. Dans cette thèse, nous abordons la couverture d’information avec une approche computationnelle basée sur les asymétries. Nous avons appliqué notre analyse en deux scenarios différents : Dans le premier scénario, nous avons analysé la couverture d’information dans les dissertations d’étudiants en vérifiant la présence des concepts qui proviennent des sources bibliographiques officielles telles que suggérées dans le syllabus du cours. Nous réalisons cette analyse à l’aide d’un coefficient de couverture qui utilise de l’information lexico-sémantique. Cette caractéristique hybride nous permet de capturer les différentes formes de surface lexicale qu’un étudiant peut utiliser pour exprimer un même concept. Pour déterminer si les concepts d’un livre sont couverts dans le contenu des dissertations, nous mettons en oeuvre une stratégie d’alignement de texte. Notre approche est en mesure de détecter une dissertation avec un faible degré de couverture d’information parmi un groupe de dissertations qui ont une meilleure couverture. Pour corroborer les interprétations de nos résultats, nous avons conduit une évaluation qualitative avec les enseignants du cours. Cette évaluation a fait constater que les résultats de nos analyses coïncident avec les notes octroyées aux dissertations. Conséquemment, la couverture des concepts dans les dissertations d’étudiants permet d’expliquer la note qui est attribuée aux dissertations par les enseignants. Dans le deuxième scénario, nous avons analysé la couverture d’information dans les textes journalistiques de type narratif. Dans ce type de texte, des événements, qui se produisent dans le monde, sont racontés et discutés par les journalistes. Les événements deviennent notre intérêt dans ce cas. Un événement présente une structure, celle-ci peut trouver sa forme dans les réponses des questions : qui a fait quoi ? À qui ? Où ? Et quand ? Afin de capturer le plus d’information concernant un événement, nous avons conçu un coefficient de couverture d’information basé sur des patrons linguistiques linéaires. Ces patrons, bien que simples, essaient de capturer la structure d’un événement. Nous avons aussi utilisé une stratégie de pondération des patrons afin de privilégier un patron en particulier. Nous abordons la couverture d’information, dans ce cas, avec une approche de détection de la nouvelle information, qui correspond à l’information non couverte par les autres sources. Dans l’évaluation quantitative, notre approche asymétrique est en mesure de performer aussi bien que les mesures symétriques de l’état de l’art. En plus, notre approche offre l’avantage d’expliquer l’origine de la nouvelle information grâce à la stratégie de pondération des patrons
    corecore