Contributions to the design and development process of interactive applications for digital TV based on Ginga-NCL

Orientador: Yuzo IanoDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: No entorno atual da televisão digital no Brasil, a interatividade é uma característica importante para se estabelecer uma plataforma de comunicação entre os usuários e as emissoras. O middleware Ginga, ainda em desenvolvimento, se apresenta como uma oportunidade para a interatividade por meio do Ginga-NCL, um framework que permite o desenvolvimento de aplicações usando as linguagens NCL e Lua. Porém, as formas de se implementar aplicações não são padronizadas, uma vez que os receptores no mercado são limitados em hardware e as aplicações nem sempre poderão ser executadas sem seguir algumas regras ou restrições para se otimizar as aplicações. Este trabalho oferece uma nova perspectiva sobre o desenvolvimento de gráfico de aplicações interativas, com técnicas para se otimizar os parâmetros limitantes, além de uma biblioteca de código aberto para se implementar um teclado virtual em qualquer aplicação Ginga-NCLAbstract: Interactivity for digital television is, nowadays, a very important feature to stablish a communication pathway between users and broadcasters, due to digital television's current status in Brazil. The Ginga middleware, still in development status, presents an opportunity for achieving interactivity via Ginga-NCL, a framework that allows application development and deployment using NCL and Lua programming languages. However, there are not standardised ways to develop applications, the currently available receivers in the market are very limited in hardware, and released applications will not be able to always execute flawlessly without standards or guidelines to optimise them. The author's work offers a new perspective on graphical environment development for interactive applications with techniques to optimise against the limiting factors, and presents an open-source library for implementing a virtual keyboard in any Ginga-NCL application as wellMestradoTelecomunicações e TelemáticaMestre em Engenharia Elétric

Gingainstancing: uma ferramenta para geração de produtos derivados do middleware do sistema brasileiro de televisão digital.

With the need for a tool for automating the generation of configurations needed by the runtime environment of middleware Ginga, we built a software automation to win this. In this software is managed the application engineering of the middleware software product line. The software built was elaborated through Modeling frameworks and an architecture description language, the Fractal ADL. It permits the architecture descriptions; both reference architecture and application architecture. With a component--‐based development, and the FlexCM runtime environment, with dynamic linkage of these components, it is allowed the use of such architecture description language, with a certain adaptation in the reference one so it can be modeled according to a feature model. The interface proposed to the software was a wizard built in three cohesive stages, So that these stages work in distinct processes of the application engineering.Com a necessidade de uma ferramenta para automatização da geração de configurações necessárias pelo ambiente de execução do middleware Ginga, foi construído um software para conquistar essa automatização. Neste trabalho é gerenciada a engenharia de aplicação da linha de produto de software do middleware. O software construído foi elaborado através de frameworks de modelos e uma linguagem de descrição de arquitetura, a Fractal ADL. Ela permite que arquiteturas sejam descritas, tanto de referência quanto de aplicação. Com um desenvolvimento baseado em componentes, e o ambiente FlexCM de execução, com ligação dinâmica desses componentes, é permitido o uso de tal linguagem de descrição de arquitetura, com uma certa adaptação na arquitetura de referência para que possa ser modelada de acordo com um modelo de características. A proposta de interface dada para o software foi de um wizard construído em três etapas coesas, de maneira que etapas distintas trabalham em processos distintos da engenharia de aplicação

Ubiquitous Computing

The aim of this book is to give a treatment of the actively developed domain of Ubiquitous computing. Originally proposed by Mark D. Weiser, the concept of Ubiquitous computing enables a real-time global sensing, context-aware informational retrieval, multi-modal interaction with the user and enhanced visualization capabilities. In effect, Ubiquitous computing environments give extremely new and futuristic abilities to look at and interact with our habitat at any time and from anywhere. In that domain, researchers are confronted with many foundational, technological and engineering issues which were not known before. Detailed cross-disciplinary coverage of these issues is really needed today for further progress and widening of application range. This book collects twelve original works of researchers from eleven countries, which are clustered into four sections: Foundations, Security and Privacy, Integration and Middleware, Practical Applications

Libro de aplicaciones y usabilidad de la televisión digital interactiva : VIII Conferencia Iberoamericana de Aplicaciones t Usabilidad de la TV Interactiva (jAUTI 2019)

Las jAUTI2019 VIII Jornadas Iberoamericanas sobre Aplicaciones y Usabilidad de la Televisión Digital Interactiva, se realizaron durante WebMedia 2019 XXV Simpósio Brasilero de Sistemas Multimedia y Web , del 29 de Octubre al 1 de Noviembre en Río de Janeiro (Brasil). jAUTI2019 es la octava edición de un evento científico organizado anualmente por la RedAUTI Red Temática de Aplicaciones y Usabilidad de la Televisión Digital Interactiva, formada por más de 250 investigadores pertenecientes a 32 universidades de España, Portugal y once países latinoamericanos (Argentina, Brasil, Colombia, Costa Rica, Cuba, Chile, Ecuador, Guatemala, Perú, Uruguay, Venezuela). Este libro reúne los trabajos aceptados en el evento el cual tiene como objetivo presentar los esfuerzos de investigación de la academia, la industria o las agencias gubernamentales en el diseño, desarrollo y usabilidad de aplicaciones para la Televisión Digital Interactiva (TVDi) y tecnologías relacionadas.A jAUTI 2019 - VIII Conferência Ibero-Americana de Aplicações e Usabilidade da Televisão Digital Interativa, foi realizada durante o WebMedia 2019 - XXV Simpósio Brasileiro de Multimídia e Sistemas Web, de 29 de outubro à 1 de novembro no Rio de Janeiro (Brasil). O jAUTI 2019 é a oitava edição de um evento científico organizado anualmente pela Rede Temática de Aplicações e Usabilidade da Televisão Digital Interativa (RedAUTI), formada por mais de 250 pesquisadores de 32 universidades de Espanha, Portugal e onze países da América Latina (Argentina, Brasil, Colômbia, Costa Rica, Cuba, Chile, Equador, Guatemala, Peru, Uruguai, Venezuela). Este livro reúne os trabalhos aceitos no evento, que visa apresentar os esforços de pesquisa da academia, da indústria ou de agências governamentais no projeto, desenvolvimento e usabilidade de aplicativos para Televisão Digital Interativa (TVDi) e tecnologias relacionadas.The jAUTI 2019 VIII Ibero-American Conference on Applications and Usability of Interactive Digital Television, were held during WebMedia 2019 XXV Brazilian Symposium on Multimedia and Web Systems, from October 29 to November 1 in Rio de Janeiro (Brazil). jAUTI 2019 is the eighth edition of a scientific event organized annually by the RedAUTI Thematic Network of Applications and Usability of Interactive Digital Television, formed by more than 250 researchers from 32 universities in Spain, Portugal and eleven Latin American countries (Argentina, Brazil, Colombia, Costa Rica, Cuba, Chile, Ecuador, Guatemala, Peru, Uruguay, Venezuela). This book gathers the works accepted in the event which aims to present the research efforts of the academy, industry or government agencies in the design, development and usability of applications for Interactive Digital Television (TVDi) and related technologies.RedAUT

Libro de aplicaciones y usabilidad de la televisión digital interactiva : VIII Conferencia Iberoamericana de Aplicaciones t Usabilidad de la TV Interactiva (jAUTI 2019)

Las jAUTI2019 VIII Jornadas Iberoamericanas sobre Aplicaciones y Usabilidad de la Televisión Digital Interactiva, se realizaron durante WebMedia 2019 XXV Simpósio Brasilero de Sistemas Multimedia y Web , del 29 de Octubre al 1 de Noviembre en Río de Janeiro (Brasil). jAUTI2019 es la octava edición de un evento científico organizado anualmente por la RedAUTI Red Temática de Aplicaciones y Usabilidad de la Televisión Digital Interactiva, formada por más de 250 investigadores pertenecientes a 32 universidades de España, Portugal y once países latinoamericanos (Argentina, Brasil, Colombia, Costa Rica, Cuba, Chile, Ecuador, Guatemala, Perú, Uruguay, Venezuela). Este libro reúne los trabajos aceptados en el evento el cual tiene como objetivo presentar los esfuerzos de investigación de la academia, la industria o las agencias gubernamentales en el diseño, desarrollo y usabilidad de aplicaciones para la Televisión Digital Interactiva (TVDi) y tecnologías relacionadas.A jAUTI 2019 - VIII Conferência Ibero-Americana de Aplicações e Usabilidade da Televisão Digital Interativa, foi realizada durante o WebMedia 2019 - XXV Simpósio Brasileiro de Multimídia e Sistemas Web, de 29 de outubro à 1 de novembro no Rio de Janeiro (Brasil). O jAUTI 2019 é a oitava edição de um evento científico organizado anualmente pela Rede Temática de Aplicações e Usabilidade da Televisão Digital Interativa (RedAUTI), formada por mais de 250 pesquisadores de 32 universidades de Espanha, Portugal e onze países da América Latina (Argentina, Brasil, Colômbia, Costa Rica, Cuba, Chile, Equador, Guatemala, Peru, Uruguai, Venezuela). Este livro reúne os trabalhos aceitos no evento, que visa apresentar os esforços de pesquisa da academia, da indústria ou de agências governamentais no projeto, desenvolvimento e usabilidade de aplicativos para Televisão Digital Interativa (TVDi) e tecnologias relacionadas.The jAUTI 2019 VIII Ibero-American Conference on Applications and Usability of Interactive Digital Television, were held during WebMedia 2019 XXV Brazilian Symposium on Multimedia and Web Systems, from October 29 to November 1 in Rio de Janeiro (Brazil). jAUTI 2019 is the eighth edition of a scientific event organized annually by the RedAUTI Thematic Network of Applications and Usability of Interactive Digital Television, formed by more than 250 researchers from 32 universities in Spain, Portugal and eleven Latin American countries (Argentina, Brazil, Colombia, Costa Rica, Cuba, Chile, Ecuador, Guatemala, Peru, Uruguay, Venezuela). This book gathers the works accepted in the event which aims to present the research efforts of the academy, industry or government agencies in the design, development and usability of applications for Interactive Digital Television (TVDi) and related technologies.RedAUT

Libro de aplicaciones y usabilidad de la televisión digital interactiva : VIII Conferencia Iberoamericana de Aplicaciones t Usabilidad de la TV Interactiva (jAUTI 2019)

Las jAUTI2019 VIII Jornadas Iberoamericanas sobre Aplicaciones y Usabilidad de la Televisión Digital Interactiva, se realizaron durante WebMedia 2019 XXV Simpósio Brasilero de Sistemas Multimedia y Web , del 29 de Octubre al 1 de Noviembre en Río de Janeiro (Brasil). jAUTI2019 es la octava edición de un evento científico organizado anualmente por la RedAUTI Red Temática de Aplicaciones y Usabilidad de la Televisión Digital Interactiva, formada por más de 250 investigadores pertenecientes a 32 universidades de España, Portugal y once países latinoamericanos (Argentina, Brasil, Colombia, Costa Rica, Cuba, Chile, Ecuador, Guatemala, Perú, Uruguay, Venezuela). Este libro reúne los trabajos aceptados en el evento el cual tiene como objetivo presentar los esfuerzos de investigación de la academia, la industria o las agencias gubernamentales en el diseño, desarrollo y usabilidad de aplicaciones para la Televisión Digital Interactiva (TVDi) y tecnologías relacionadas.A jAUTI 2019 - VIII Conferência Ibero-Americana de Aplicações e Usabilidade da Televisão Digital Interativa, foi realizada durante o WebMedia 2019 - XXV Simpósio Brasileiro de Multimídia e Sistemas Web, de 29 de outubro à 1 de novembro no Rio de Janeiro (Brasil). O jAUTI 2019 é a oitava edição de um evento científico organizado anualmente pela Rede Temática de Aplicações e Usabilidade da Televisão Digital Interativa (RedAUTI), formada por mais de 250 pesquisadores de 32 universidades de Espanha, Portugal e onze países da América Latina (Argentina, Brasil, Colômbia, Costa Rica, Cuba, Chile, Equador, Guatemala, Peru, Uruguai, Venezuela). Este livro reúne os trabalhos aceitos no evento, que visa apresentar os esforços de pesquisa da academia, da indústria ou de agências governamentais no projeto, desenvolvimento e usabilidade de aplicativos para Televisão Digital Interativa (TVDi) e tecnologias relacionadas.The jAUTI 2019 VIII Ibero-American Conference on Applications and Usability of Interactive Digital Television, were held during WebMedia 2019 XXV Brazilian Symposium on Multimedia and Web Systems, from October 29 to November 1 in Rio de Janeiro (Brazil). jAUTI 2019 is the eighth edition of a scientific event organized annually by the RedAUTI Thematic Network of Applications and Usability of Interactive Digital Television, formed by more than 250 researchers from 32 universities in Spain, Portugal and eleven Latin American countries (Argentina, Brazil, Colombia, Costa Rica, Cuba, Chile, Ecuador, Guatemala, Peru, Uruguay, Venezuela). This book gathers the works accepted in the event which aims to present the research efforts of the academy, industry or government agencies in the design, development and usability of applications for Interactive Digital Television (TVDi) and related technologies.RedAUT

Utilizando dispositivos móveis como segunda tela para o suporte de múltiplos usuários na televisão digital interativa

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2013.Com a TV Digital, diversas aplicações interativas podem ser desenvolvidas, como exemplo jogos, t-commerce e t-learning. O controle remoto, que será utilizado para interagir com essas aplicações, mostra-se limitado e é questionável se eles são os me-lhores dispositivos para uma interação mais complexa, como navegação em menus e entrada de texto. O objetivo geral do trabalho foi propor uma solução que visa estender a interatividade da TV digital, para ser utiliza juntamente com uma segunda tela e de modo que possa ser utilizada por múltiplos usuários simultaneamente. A segunda tela visa suprir os problemas relacionados ao controle remoto e a interatividade, estendendo a interatividade para um dispositivo móvel. O trabalho foi desenvolvido no contexto do t-learning, pois acredita-se que a segunda tela pode colaborar com o seu crescimento, melhorando a experiência do usuário e mantendo o caráter de entretenimento da televi-são. O trabalho também analisa as diferentes soluções propostas na literatura para inte-ragir com a TV, seja criando um novo artefato ou utilizando dispositivos móveis, assim como também analisa a maturidade das pesquisas do t-learning. Um modelo foi pro-posto para incluir o uso de dispositivos móveis de forma integrada com o Set-Top Box, responsável por receber a interatividade, permitindo o suporte a múltiplos usuários e sincronização de dados. Um protótipo foi desenvolvido utilizando uma avaliação nutri-cional, onde dados pessoais são respondidos nos dispositivos móveis enquanto a TV apresenta dados relevantes no contexto coletivo. Abstract : Many interactive applications can be developed on Digital TV such as games, t-commerce and t-learning. The remote control, which is used to interact with these applications, is limited and it is questionable if it is the best device for a more complex interaction like navigation in menus and text input. The main objective of this work is to propose a solution that aims to extend the interactive digital TV, allowing the use in conjunction with a second screen and allowing multiple users simultaneously. Second screen is intended to address problems related to the remote control and interactivity by extending the interactivity to a mobile device. This work is developed on the t-learning context, it is believed that the second screen can collaborate with their growth, improv-ing the user experience and maintaining the entertainment character of television. This work also analyzes different solutions proposed in the literature to interact with the TV, by creating a new artifact or using mobile devices, as well as analyzing the maturity of t-learning researches. A model is proposed to include the use of mobile devices in an integrated manner with the Set-Top Box, responsible for receiving interactivity, allow-ing support for multiple users and data synchronization. A prototype is presented using a nutritional assessment, where personal data are answered on a mobile device while the TV displays data relevant collective context

MediaSync: Handbook on Multimedia Synchronization

This book provides an approachable overview of the most recent advances in the fascinating field of media synchronization (mediasync), gathering contributions from the most representative and influential experts. Understanding the challenges of this field in the current multi-sensory, multi-device, and multi-protocol world is not an easy task. The book revisits the foundations of mediasync, including theoretical frameworks and models, highlights ongoing research efforts, like hybrid broadband broadcast (HBB) delivery and users' perception modeling (i.e., Quality of Experience or QoE), and paves the way for the future (e.g., towards the deployment of multi-sensory and ultra-realistic experiences). Although many advances around mediasync have been devised and deployed, this area of research is getting renewed attention to overcome remaining challenges in the next-generation (heterogeneous and ubiquitous) media ecosystem. Given the significant advances in this research area, its current relevance and the multiple disciplines it involves, the availability of a reference book on mediasync becomes necessary. This book fills the gap in this context. In particular, it addresses key aspects and reviews the most relevant contributions within the mediasync research space, from different perspectives. Mediasync: Handbook on Multimedia Synchronization is the perfect companion for scholars and practitioners that want to acquire strong knowledge about this research area, and also approach the challenges behind ensuring the best mediated experiences, by providing the adequate synchronization between the media elements that constitute these experiences

Annotierte interaktive nichtlineare Videos - Software Suite, Download- und Cache-Management

Modern Web technology makes the dream of fully interactive and enriched video come true. Nowadays it is possible to organize videos in a non-linear way playing in a sequence unknown in advance. Furthermore, additional information can be added to the video, ranging from short descriptions to animated images and further videos. This affords an easy and efficient to use authoring tool which is capable of the management of the single media objects, as well as a clear arrangement of the links between the parts. Tools of this kind can be found rarely and do mostly not provide the full range of needed functions. While providing an interactive experience to the viewer in the Web player, parallel plot sequences and additional information lead to an increased download volume. This may cause pauses during playback while elements have to be downloaded which are displayed with the video. A good quality of experience for these videos with small waiting times and a playback without interruptions is desired. This work presents the SIVA Suite to create the previously described annotated interactive non-linear videos. We propose a video model for interactivity, non-linearity, and annotations, which is implemented in an XML format, an authoring tool, and a player. Video is the main medium, whereby different scenes are linked to a scene graph. Time controlled additional content called annotations, like text, images, audio files, or videos, is added to the scenes. The user is able to navigate in the scene graph by selecting a button at a button panel. Furthermore, other navigational elements like a table of contents or a keyword search are provided. Besides the SIVA Suite, this thesis presents algorithms and strategies for download and cache management to provide a good quality of experience while watching the annotated interactive non-linear videos. Therefor, we implemented a standard-independent player framework. Integrated into a simulation environment, the framework allows to evaluate algorithms and strategies for the calculation of start-up times, and the selection of elements to pre-fetch into and delete from the cache. Their interaction during the playback of non-linear video contents can be analyzed. The algorithms and strategies can be used to minimize interruptions in the video flow after user interactions. Our extensive evaluation showed that our techniques result in faster start-up times and lesser interruptions in the video flow than those of other players. Knowledge of the structure of an interactive non-linear video can be used to minimize the start-up time at the beginning of a video while minimizing an increase in the overall download volume.Moderne Web-Technologien lassen den Traum von voll interaktiven und bereicherten Videos wahr werden. Heutzutage ist es möglich, Videos in nicht-linearer Art und Weise zu organisieren, welche dann in einer vorher unbekannten Reihenfolge abgespielt werden können. Weiterhin können den Videos Zusatzinformationen in Form von kurzen Beschreibungen über animierte Bilder bis hin zu weiteren Videos hinzugefügt werden. Dies erfordert ein einfach und effizient zu bedienendes Autorenwerkzeug, das in der Lage ist, sowohl einzelne Medien-Objekte zu verwalten, als auch die Verbindungen zwischen den einzelnen Teilen klar darzustellen. Tools dieser Art sind selten und bieten meist nicht den vollen benötigten Funktionsumfang. Während dem Betrachter dieses interaktive Erlebnis im Web Player zur Verfügung gestellt wird, führen parallele Handlungsstränge und zusätzliche Inhalte zu einem erhöhten Download-Volumen. Dies kann zu Pausen während der Wiedergabe führen, in denen Elemente vom Server geladen werden müssen, welche mit dem Video angezeigt werden sollen. Ein gutes Benutzungserlebnis für solche Videos kann durch geringe Wartezeiten und eine unterbrechungsfreie Wiedergabe erreicht werden. Diese Arbeit stellt die SIVA Suite vor, mit der die zuvor beschriebenen annotierten interaktiven nicht-linearen Videos erstellt werden können. Wir bilden Interaktivität, Nichtlinearität und Annotationen in einem Video-Model ab. Dieses wird in unserem XML-Format, Autorentool und Player umgesetzt. Als Leitmedium werden hierbei Videos verwendet, welche aufgeteilt in Szenen zu einer Graphstruktur zusammengefügt werden können. Zeitlich gesteuerte zusätzliche Inhalte, sogenannte Annotationen, wie Texte, Bilder, Audio-Dateien und Videos, werden den Szenen hinzugefügt. Der Betrachter kann im Szenengraph navigieren, indem er in einem bereitgestellten Button-Panel eine Nachfolgeszene auswählt. Andere Navigationselemente sind ein Inhaltsverzeichnis sowie eine Suchfunktion. Neben der SIVA Suite beschreibt diese Arbeit Algorithmen und Strategien für Download und Cache Management, um eine gute Nutzungserfahrung während der Betrachtung der annotierten interaktiven nicht-linearen Videos zu bieten. Ein Webstandard-unabhängiges Playerframework erlaubt es, das Zusammenspiel von Algorithmen und Strategien zu evaluieren, welche für die Berechnung der Start-Zeitpunkte für die Wiedergabe, sowie die Auswahl von vorauszuladenden sowie zu löschenden Elemente verwendet werden. Ziel ist es, Unterbrechungen zu minimieren, wenn der Ablauf des Videos durch Benutzerinteraktion beeinflusst wird. Unsere umfassende Evaluation zeigte, dass es möglich ist, kürzere Startup-Zeiten und weniger Unterbrechungen mit unseren Strategien zu erreichen, als bei der Verwendung der Strategien anderer Player. Die Kenntnis der Struktur des interaktiven nicht-linearen Videos kann dazu verwendet werden, die Startzeit am Anfang der Szenen zu minimieren, während das Download-Volumen nicht erhöht wird