Optimizing Hypervideo Navigation Using a Markov Decision Process Approach

Interaction with hypermedia documents is a required feature for new sophisticated yet flexible multimedia applications. This paper presents an innovative adaptive technique to stream hypervideo that takes into account user behaviour. The objective is to optimize hypervideo prefetching in order to reduce the latency caused by the network. This technique is based on a model provided by a Markov Decision Process approach. The problem is solved using two methods: classical stochastic dynamic programming algorithms and reinforcement learning. Experimental results under stochastic network conditions are very promising

Diverse Contributions to Implicit Human-Computer Interaction

Cuando las personas interactúan con los ordenadores, hay mucha información que no se proporciona a propósito. Mediante el estudio de estas interacciones implícitas es posible entender qué características de la interfaz de usuario son beneficiosas (o no), derivando así en implicaciones para el diseño de futuros sistemas interactivos. La principal ventaja de aprovechar datos implícitos del usuario en aplicaciones informáticas es que cualquier interacción con el sistema puede contribuir a mejorar su utilidad. Además, dichos datos eliminan el coste de tener que interrumpir al usuario para que envíe información explícitamente sobre un tema que en principio no tiene por qué guardar relación con la intención de utilizar el sistema. Por el contrario, en ocasiones las interacciones implícitas no proporcionan datos claros y concretos. Por ello, hay que prestar especial atención a la manera de gestionar esta fuente de información. El propósito de esta investigación es doble: 1) aplicar una nueva visión tanto al diseño como al desarrollo de aplicaciones que puedan reaccionar consecuentemente a las interacciones implícitas del usuario, y 2) proporcionar una serie de metodologías para la evaluación de dichos sistemas interactivos. Cinco escenarios sirven para ilustrar la viabilidad y la adecuación del marco de trabajo de la tesis. Resultados empíricos con usuarios reales demuestran que aprovechar la interacción implícita es un medio tanto adecuado como conveniente para mejorar de múltiples maneras los sistemas interactivos.Leiva Torres, LA. (2012). Diverse Contributions to Implicit Human-Computer Interaction [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/17803Palanci

Satisfaire un internaute impatient est difficile

International audienceConsidérons un internaute qui va d'une page Web à une autre en suivant les liens qu'il rencontre. Pour éviter que l'internaute ne (s'im)patiente, il est important d'essayer de télécharger les documents avant que l'internaute ne les atteigne. Cependant, le coût d'un tel pré-téléchargement ne doit pas excéder le gain en temps qu'il génère. Ainsi, il faut minimiser la bande passante utilisée pour le pré-téléchargement tout en s'assurant que l'internaute impatient n'attende jamais. Nous modélisons ce problème sous forme d'un jeu de type Cops and Robber dans les graphes. En particulier, étant donnés un graphe $G$ qui représente le graphe du Web et une page Web de départ $v_0 \in V(G)$, nous définissons l'indice de contrôle de $G$, $ic(G,v_0) \in \mathbb{N}$, qui modélise la vitesse minimum de téléchargement suffisante pour que l'internaute partant de $v_0$ n'attende jamais quoi qu'il fasse. Nous considérons le problème de décider si $ic(G,v_0) \leq k$ et démontrons plusieurs résultats de complexité. En particulier, décider si $ic(G,v_0) \leq 2$ est NP-difficile si $G$ est cordal, et décider si $ic(G,v_0) \leq 4$ est PSPACE-complet si $G$ est un graphe orienté acyclique. Nous donnons un algorithme exponentiel exact qui calcule $ic(G,v_0)$ en temps $O^*(2^n)$ dans un graphe de $n$ sommets quelconque. Puis, nous montrons que le problème est polynomial dans le cas des arbres et des graphes d'intervalles. Enfin, nous donnons une caractérisation combinatoire de l'indice de contrôle. Pour tout graphe $G$ et $v_0 \in V(G)$, $ic(G,v_0) \geq \max_{S} \lceil \frac{|N[S]|-1}{|S|} \rceil$ avec $v_0 \in S \subseteq V$, $S$ induit un sous-graphe connexe et $N[S]$ l'ensemble des sommets de $S$ ou voisins d'un sommet de $S$. Il y a de plus égalité dans le cas des arbres

Deliverable D1.1 State of the art and requirements analysis for hypervideo

This deliverable presents a state-of-art and requirements analysis report for hypervideo authored as part of the WP1 of the LinkedTV project. Initially, we present some use-case (viewers) scenarios in the LinkedTV project and through the analysis of the distinctive needs and demands of each scenario we point out the technical requirements from a user-side perspective. Subsequently we study methods for the automatic and semi-automatic decomposition of the audiovisual content in order to effectively support the annotation process. Considering that the multimedia content comprises of different types of information, i.e., visual, textual and audio, we report various methods for the analysis of these three different streams. Finally we present various annotation tools which could integrate the developed analysis results so as to effectively support users (video producers) in the semi-automatic linking of hypervideo content, and based on them we report on the initial progress in building the LinkedTV annotation tool. For each one of the different classes of techniques being discussed in the deliverable we present the evaluation results from the application of one such method of the literature to a dataset well-suited to the needs of the LinkedTV project, and we indicate the future technical requirements that should be addressed in order to achieve higher levels of performance (e.g., in terms of accuracy and time-efficiency), as necessary

Annotierte interaktive nichtlineare Videos - Software Suite, Download- und Cache-Management

Modern Web technology makes the dream of fully interactive and enriched video come true. Nowadays it is possible to organize videos in a non-linear way playing in a sequence unknown in advance. Furthermore, additional information can be added to the video, ranging from short descriptions to animated images and further videos. This affords an easy and efficient to use authoring tool which is capable of the management of the single media objects, as well as a clear arrangement of the links between the parts. Tools of this kind can be found rarely and do mostly not provide the full range of needed functions. While providing an interactive experience to the viewer in the Web player, parallel plot sequences and additional information lead to an increased download volume. This may cause pauses during playback while elements have to be downloaded which are displayed with the video. A good quality of experience for these videos with small waiting times and a playback without interruptions is desired. This work presents the SIVA Suite to create the previously described annotated interactive non-linear videos. We propose a video model for interactivity, non-linearity, and annotations, which is implemented in an XML format, an authoring tool, and a player. Video is the main medium, whereby different scenes are linked to a scene graph. Time controlled additional content called annotations, like text, images, audio files, or videos, is added to the scenes. The user is able to navigate in the scene graph by selecting a button at a button panel. Furthermore, other navigational elements like a table of contents or a keyword search are provided. Besides the SIVA Suite, this thesis presents algorithms and strategies for download and cache management to provide a good quality of experience while watching the annotated interactive non-linear videos. Therefor, we implemented a standard-independent player framework. Integrated into a simulation environment, the framework allows to evaluate algorithms and strategies for the calculation of start-up times, and the selection of elements to pre-fetch into and delete from the cache. Their interaction during the playback of non-linear video contents can be analyzed. The algorithms and strategies can be used to minimize interruptions in the video flow after user interactions. Our extensive evaluation showed that our techniques result in faster start-up times and lesser interruptions in the video flow than those of other players. Knowledge of the structure of an interactive non-linear video can be used to minimize the start-up time at the beginning of a video while minimizing an increase in the overall download volume.Moderne Web-Technologien lassen den Traum von voll interaktiven und bereicherten Videos wahr werden. Heutzutage ist es möglich, Videos in nicht-linearer Art und Weise zu organisieren, welche dann in einer vorher unbekannten Reihenfolge abgespielt werden können. Weiterhin können den Videos Zusatzinformationen in Form von kurzen Beschreibungen über animierte Bilder bis hin zu weiteren Videos hinzugefügt werden. Dies erfordert ein einfach und effizient zu bedienendes Autorenwerkzeug, das in der Lage ist, sowohl einzelne Medien-Objekte zu verwalten, als auch die Verbindungen zwischen den einzelnen Teilen klar darzustellen. Tools dieser Art sind selten und bieten meist nicht den vollen benötigten Funktionsumfang. Während dem Betrachter dieses interaktive Erlebnis im Web Player zur Verfügung gestellt wird, führen parallele Handlungsstränge und zusätzliche Inhalte zu einem erhöhten Download-Volumen. Dies kann zu Pausen während der Wiedergabe führen, in denen Elemente vom Server geladen werden müssen, welche mit dem Video angezeigt werden sollen. Ein gutes Benutzungserlebnis für solche Videos kann durch geringe Wartezeiten und eine unterbrechungsfreie Wiedergabe erreicht werden. Diese Arbeit stellt die SIVA Suite vor, mit der die zuvor beschriebenen annotierten interaktiven nicht-linearen Videos erstellt werden können. Wir bilden Interaktivität, Nichtlinearität und Annotationen in einem Video-Model ab. Dieses wird in unserem XML-Format, Autorentool und Player umgesetzt. Als Leitmedium werden hierbei Videos verwendet, welche aufgeteilt in Szenen zu einer Graphstruktur zusammengefügt werden können. Zeitlich gesteuerte zusätzliche Inhalte, sogenannte Annotationen, wie Texte, Bilder, Audio-Dateien und Videos, werden den Szenen hinzugefügt. Der Betrachter kann im Szenengraph navigieren, indem er in einem bereitgestellten Button-Panel eine Nachfolgeszene auswählt. Andere Navigationselemente sind ein Inhaltsverzeichnis sowie eine Suchfunktion. Neben der SIVA Suite beschreibt diese Arbeit Algorithmen und Strategien für Download und Cache Management, um eine gute Nutzungserfahrung während der Betrachtung der annotierten interaktiven nicht-linearen Videos zu bieten. Ein Webstandard-unabhängiges Playerframework erlaubt es, das Zusammenspiel von Algorithmen und Strategien zu evaluieren, welche für die Berechnung der Start-Zeitpunkte für die Wiedergabe, sowie die Auswahl von vorauszuladenden sowie zu löschenden Elemente verwendet werden. Ziel ist es, Unterbrechungen zu minimieren, wenn der Ablauf des Videos durch Benutzerinteraktion beeinflusst wird. Unsere umfassende Evaluation zeigte, dass es möglich ist, kürzere Startup-Zeiten und weniger Unterbrechungen mit unseren Strategien zu erreichen, als bei der Verwendung der Strategien anderer Player. Die Kenntnis der Struktur des interaktiven nicht-linearen Videos kann dazu verwendet werden, die Startzeit am Anfang der Szenen zu minimieren, während das Download-Volumen nicht erhöht wird

Interaction Design Patterns und CSCL-Scripts für Videolernumgebungen

In den letzten Jahren haben Lernvideos im Bereich des informellen und formellen Lernens an Bedeutung gewonnen. Inwieweit Lernende bei der Nutzung von Videos unterstützt werden und Lehrende didaktische Szenarien umsetzen können, hängt jedoch von der eingesetzten Videolernumgebung ab. Es ist Anliegen der vorliegende Arbeit, Prinzipien des User Interface Designs sowie Komponenten und Mechanismen videobasierter Lehr-Lern-Szenarien in Bezug auf Videolernumgebungen zu identifizieren, zu beschreiben und technisch zu realisieren. Das Ziel besteht darin, Gestaltungsprinzipien in Form von Interaction Design Patterns zu erarbeiten und computergestützte videobasierte Lehr-Lern-Szenarien mit Hilfe von CSCL-Scripts durch eine geeignete Spezifikation und Formalisierung zu realisieren. Für die Erarbeitung der Interaction Design Patterns wurden 121 Videolernumgebungen hinsichtlich 50 Kategorien in einer Inhaltsanalyse empirisch untersucht und dokumentiert. Unter Berücksichtigung ähnlicher Patterns aus thematisch verwandten Pattern Languages und den Erfahrungen aus der Implementierung und dem Einsatz von Videolernumgebungen entstanden 45 Interaction Design Patterns für verbreitete Lösungen für wiederkehrende Probleme bei der Gestaltung und Entwicklung von Videolernumgebungen. Diese Patterns wurden auf Pattern Konferenzen diskutiert und im Anschluss evaluiert sowie bei der Konzeption, Entwicklung und Bewertung mehrerer Videolernumgebungen angewendet. Zudem wurde das Software Framework VI-TWO vorgestellt, mit dem sich fast alle Patterns auf einfache Weise in Web-Anwendungen realisieren lassen. Zur Spezifikation videobasierter CSCL-Scripts wurden existierende videobasierte und nicht videobasierte Scripts analysiert. Im Ergebnis unterschieden sich videobasierte CSCL-Scripts von allgemeinen CSCL-Scripts vor allem hinsichtlich der mit dem Video verknüpften oder darin verankerten Aufgaben und Aktivitäten. Videos werden dabei nicht als monolithische Einheiten, sondern als zeitkontinuierliche Medien betrachtet, in denen weitere Informationen zeitgenau verankert und Lernaktivitäten stattfinden können. Außerdem ließen sich drei Typen videobasierter CSCL-Scripts identifizieren: (1) Scripts zur Analyse und Diskussion von Videoinhalten, (2) Peer Annotation Scripts einschließlich dem Peer Assessment und (3) Jigsaw-Scripts, die das problembasierte Lernen mit Hilfe von Videos ermöglichen. Unabhängig davon variiert die Komplexität der Scripts auf drei Stufen: (1) sofern voneinander abgegrenzte zeitliche Phasen von Lernaktivitäten bestehen, (2) wenn darüber hinaus die Teilnehmer innerhalb von Gruppen Aufgaben bearbeiten (intra-group) und (3) falls außerdem Aufgaben auch gruppenübergreifend bearbeitet werden (inter-group). Auf Grundlage der Spezifikation konnte ein Datenmodell und ein Modell für die nutzerseitige Modellierung von Scripts verschiedener Komplexitätsstufen sowie Typen entwickelt und in dem CSCL-System VI-LAB realisiert werden. Diese Arbeit leistet in zweifacher Hinsicht einen Beitrag zur Forschung im Bereich E-Learning. Zum einen beschreiben die Interaction Design Patterns wiederkehrende User Interface Lösungen und stellen somit ein Hilfsmittel für Designer, Software Entwickler und Lehrende bei der Gestaltung und Implementierung von Videolernumgebungen dar. Zum anderen wurden durch die Spezifikation und softwareseitige Umsetzung videobasierter CSCL-Scripts Voraussetzungen geschaffen, die den praktischen Einsatz und die weitere Untersuchung des kollaborativen Lernens mit Videos ermöglichen.:1 Einführung 19 1.1 Motivation 19 1.2 Herausforderungen und Forschungsfragen 20 1.2.1 Interaction Design Patterns 20 1.2.2 Videobasierte CSCL-Scripts 22 1.3 Kapitelübersicht und Forschungsmethoden 25 1.3.1 Kapitelübersicht 25 1.3.2 Forschungsmethoden je Kapitel 27 2 Lernen mit Videos 29 2.1 Terminologie, Einsatzfelder und Potentiale von Lernvideos 30 2.1.1 Begriffsbestimmung 30 2.1.2 Einsatzfelder und Szenarien für das Lernen mit Videos 32 2.1.3 Potentiale des Medium Video 34 2.2 Videos im Kontext kognitiver Lerntheorien 36 2.2.1 Theorie der kognitiven Last 36 2.2.2 Kognitive Theorie des Lernens mit Multimedia 38 2.3 Interaktivität audiovisueller Lernmedien 44 2.4 Lernformen 48 2.4.1 Rezeptives Lernen 49 2.4.2 Selbstgesteuertes Lernen 50 2.4.3 Kollaboratives Lernen 52 2.5 Zusammenfassung 56 3 Videolernumgebungen und Hypervideos 59 3.1 Terminologie und Modelle 60 3.1.1 Videolernumgebung 60 3.1.2 Terminologie: Video, Hypervideo und interaktives Video 62 3.1.3 Spezifikationen für Hypervideo-Dokumente 65 3.1.4 Modelle des zeitlichen Layouts 66 3.2 Human Video Interface 69 3.2.1 Gestaltungsraum von Hypervideos 70 3.2.2 Usability-Herausforderungen von Human Video Interfaces 74 3.3 Technische Herausforderungen 76 3.3.1 Download und Cache-Management / Echte Nicht-Linearität 77 3.3.2 Synchronisierung von Video und Annotationen 78 3.3.3 Adressierung und Abruf von Medienfragmenten 78 3.3.4 Deklarative Ansätze der Repräsentation von Multimedia 80 3.4 Produktion und Integration in Lernumgebungen 81 3.4.1 Produktion: Vorgehensweisen und Paradigmen 82 3.4.2 Integration in Lernumgebungen und Zusammenspiel mit Diensten im WWW 85 3.5 Zusammenfassung 87 4 Interaction Design Patterns für Videolernumgebungen 91 4.1 Einführung in Design Patterns 92 4.1.1 Design Patterns 95 4.1.2 Mustersprache 101 4.1.3 Verwandte Ansätze im Interaction Design 104 4.1.4 Verwandte Pattern Languages 106 4.2 Systematische Elaboration von Design Patterns 109 4.2.1 Stand der Forschung bzgldem Pattern Mining 110 4.2.2 Inhaltsanalyse von Videolernumgebungen 112 4.2.3 Analyse und Integration ähnlicher Muster bzwMustersprachen 128 4.2.4 Verfassen sowie Revision und Evaluation der Muster 130 4.2.5 Konstruktion der Pattern Language 135 4.3 Pattern Language für Videolernumgebungen 140 4.3.1 Struktur der Pattern Language 140 4.3.2 Angrenzende Mustersprachen 144 4.3.3 Repräsentation in einer Wissensbasis 145 4.3.4 Anwendungs- und Einsatzszenarien 148 4.3.5 Exemplarische Interaction Design Patterns 151 4.4 Zusammenfassung 168 5 Videobasierte CSCL-Scripts 171 5.1 Einführung 172 5.1.1 Hintergrund zu Scripts und CSCL-Scripts 172 5.1.2 Definition videobasierter CSCL-Scripts 175 5.1.3 Mehrwert und Potentiale 177 5.1.4 Typisierung videobasierter CSCL-Scripts 178 5.2 Spezifikation videobasierter CSCL-Scripts 184 5.2.1 Script-Komponenten 185 5.2.2 Script-Mechanismen 194 5.3 Modellierung von CSCL-Scripts 197 5.3.1 Komplexitätslevel 200 5.3.2 Verwandte Systeme und Ansätze zur Modellierung von Scripts 201 5.3.3 Konzept für eine formale Repräsentation 206 5.3.4 Konzept zur Modellierung im User Interface 209 5.4 Zusammenfassung 212 6 Realisierung von Patterns und Scripts 215 6.1 VI-TWO: JavaScript Framework für interaktive Videos 216 6.1.1 Anforderungen 217 6.1.2 Verwandte Arbeiten 219 6.1.3 Architektur von VI-TWO 222 6.1.4 Videoplayer 224 6.1.5 Videoannotationen 225 6.1.6 Makrointeraktivität in Kollektionen von Videos 229 6.1.7 Autorenwerkzeuge 232 6.2 VI-LAB: CSCL-System für videobasierte CSCL-Scripts 235 6.2.1 Anforderungen 236 6.2.2 Architektur von VI-LAB 238 6.2.3 Modellierung videobasierter CSCL-Scripts 241 6.2.4 Monitoring 244 6.3 Anwendungsbeispiele für VI-TWO und VI-LAB 246 6.3.1 Vi-Wiki 246 6.3.2 IWRM education 247 6.3.3 VI-LAB (Version 1) auf Basis von Wordpress 247 6.3.4 VI-LAB (Version 2) auf Basis von node.js 248 6.3.5 Theresienstadt explained 249 6.4 Zusammenfassung 252 7 Schlussbetrachtung 255 7.1 Beitrag der Arbeit zur Forschung 255 7.2 Kritische Würdigung 256 7.3 Ausblick 25

Optimal Prefetching in Random Trees

International audienceWe propose and analyze a model for optimizing the prefetching of documents, in the situation where the connection between documents is discovered progressively. A random surfer moves along the edges of a random tree representing possible sequences of documents, which is known to a controller only up to depth d. A quantity k of documents can be prefetched between two movements. The question is to determine which nodes of the known tree should be prefetched so as to minimize the probability of the surfer moving to a node not prefetched. We analyzed the model with the tools of Markov decision process theory. We formally identified the optimal policy in several situations, and we identified it numerically in others

To satisfy impatient Web surfers is hard

International audiencePrefetching is a basic mechanism for faster data access and efficient computing. An important issue in prefetching is the tradeoff between the amount of network's resources wasted by the prefetching and the gain of time. For instance, in the Web, browsers may download documents in advance while a Web surfer is surfing. Since the Web surfer follows the hyperlinks in an unpredictable way, the choice of the Web pages to be prefetched must be computed online. The question is then to determine the minimum amount of resources used by prefetching that ensures that all documents accessed by theWeb surfer have previously been loaded in the cache. We model this problem as a two-player game similar to Cops and Robber Games in graphs. Let k 1 be any integer. The first player, a fugitive, starts on a marked vertex of a (di)graph G. The second player, an observer, marks at most k vertices, then the fugitive moves along one edge/arc of G to a new vertex, then the observer marks at most k vertices, etc. The fugitive wins if it enters an unmarked vertex, and the observer wins otherwise. The surveillance number of a (di)graph is the minimum k such that the observer marking at most k vertices at each step can win against any strategy of the fugitive. We also consider the connected variant of this game, i.e., when a vertex can be marked only if it is adjacent to an already marked vertex. We study the computational complexity of the game. All our results hold for both variants, connected or unrestricted. We show that deciding whether the surveillance number of a chordal graph is at most 2 is NP-hard. We also prove that deciding if the surveillance number of a DAG is at most 4 is PSPACEcomplete. Moreover, we show that the problem of computing the surveillance number is NP-hard in split graphs. On the other hand, we provide polynomial time algorithms computing surveillance numbers of trees and interval graphs. Moreover, in the case of trees, we establish a combinatorial characterization of the surveillance number