Mechanisms for resilient video transmission in wireless networks

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia da Universidade de CoimbraRemote video viewing is largely growing, especially in wireless devices. Therefore, video transmission mechanisms such as retransmission and Forward Error Correction (FEC) are very important to ensure that the video arrives at its destination while retaining its quality. While some of these mechanisms can obtain good performance, this does not mean they provide an optimal situation. There are several factors that negatively impact Quality of Experience (QoE) in video transmission, such as network congestion, loss and type of video being transmitted. Adaptive Forward Error Correction schemes aim at providing protection against loss errors by analysing several relevant characteristics of the video and/or network, and using them to apply unequal error protection (UEP) to di erent parts of the video. Taking this into account, it is clear that an adaptive FEC mechanism is a viable option to achieve optimal error protection, thus increasing the video transmission's resilience against errors and losses, and therefore improving Quality of Experience for the end user. This work presents and examines the state-of-the-art mechanisms for retransmission, FEC, QoE, video classi cation and algorithm optimization. The assessment of the mechanisms presents an in-depth study of each concept and individually explores their advantages and disadvantages. Three mechanisms which provide adaptive FEC are developed in and evaluated in a simulation environment, with motion classi cation, error correction, adaptive redundancy allocation and loss feedback components. The capabilities of the adaptive FEC mechanisms are evaluated through a wireless network environment in order to assess their performance against other methods. The results obtained through the assessed mechanisms showed incremental improvements through each stage of development. They also showed that it is possible to accurately characterize the intensity of motion in video sequences according to their characteristics. Furthermore, the ndings highlight the importance of shielding sequences with higher amounts of motion intensity with greater quantities of redundancy due to david their higher degradation when subjected to error. The mechanisms achieved a considerable reduction in the amount of redundancy used to shield the data being transmitted, particularly the loss prediction mechanism. At the same time, the mechanisms maintained video quality which combined with the overhead reduction results in an overall improvement of QoE ultimately enhancing video transmission in wireless networks

Mecanismos para transmissão resiliente de vídeos

Tese de doutoramento do Programa de Doutoramento em Ciências e Tecnologias da Informação, apresentada ao Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologia da Universidade de CoimbraWireless networks are envisaged to be one of the most important technologies to provide cost-efficient content delivery, including for video applications. They will allow thousands of thousands of fixed and mobile users to access, produce, share, and consume video content in an ubiquitous way. Real-time video services over these networks are becoming a part of everyday life and have been used to spread information ranging from education to entertainment content. However, the challenge of dealing with the fluctuating bandwidth, scarce resources, and time-varying error rate of these networks, highlights the need for error-resilient video transmission. In this context, the combination of Forward Error Correction (FEC) and Unequal Error Protection (UEP) approaches is known to provide the distribution of video applications for wireless users with Quality of Experience (QoE) assurance. In order to correctly perform the UEP it is necessary to identify the most important parts in the video sequences. To tackle this issue, this thesis proposed a procedure to assess the video characteristics, such as the codec type, the frame type and size, the length and format of the group of pictures as well as the motion vectors, and their related impact on the perceived quality to end-users. Furthermore, as the video content plays an important role on the perceived quality, this thesis also proposes a method to characterise the video’s motion intensity. This involves conducting an exploratory data analysis in bootstrap time and then the use of several techniques in real-time to use the found results. The purpose of the above-mentioned proposals is to give support for the main goal of this thesis, which is to propose mechanisms for resilient video transmission. Taking everything into consideration, this thesis proposes a series of cross-layer video-aware and FEC-based mechanisms with UEP to enhance video transmission in several types of wireless networks. A number of methods to set an adaptive amount of redundancy were used in these mechanisms, such as heuristic techniques, random neural networks, ant colony optimisation, and fuzzy logic. In the first one, heuristic techniques, the mechanisms rely on human experience to define the best strategy. In addition, the aim is not to reach a perfect solution, but a practical one with satisfactory results. In the random neural networks methods, the neurones are trained and validated before run-time until they are able to perform an adequate numeric categorisation. The ant colony optimisation techniques use a defined metaheuristic based on the ant’s pheromones and pre-set rules to compute a precise amount of redundancy. The last one, fuzzy logic techniques, the mechanisms depend on fuzzy rules and sets to find an adequate redundancy ratio. The advantages and drawbacks of the proposed mechanisms were demonstrated in realistic simulations using real video sequences and actual network traces. The assessments were conducted with well-known QoE metrics. The results show that all the proposed mechanisms were able to outperform the competitors on both perceived video quality and network footprint.As redes sem fios estão entre as tecnologias mais importantes para prover a entrega de conteúdos a um custo acessível, inclusive no caso de aplicações de vídeo. Esta tecnologia vai permitir que milhares de utilizadores móveis tenham acesso, produzam, partilhem e consumam conteúdo de vídeo de uma maneira ubíqua. Nestas redes, os serviços de distribuição de vídeos em tempo real já se tornaram parte do dia-a-dia e são utilizados para difundir desde conteúdo educacional como também de entretenimento. Entretanto, devido às dificuldades de gerir a flutuação da largura de banda disponível, os recursos escassos, e os erros que variam de tempo-em-tempo, revela-se a necessidade de uma transmissão de vídeo resistente a perdas. Neste contexto, a utilização conjunta de correção antecipada de erros (do Inglês Forward Error Correction - FEC) e também da proteção desigual contra erros (do Ingês Unequal Error Protection - UEP) podem auxiliar na distribuição de serviços de vídeo para utilizadores de rede sem fios com garantia de qualidade de experiência (do Inglês Quality of Experience - QoE). Procurando aplicar de forma adequada a proteção desigual de erros é necessário identificar corretamente as partes mais importantes das sequências de vídeo. Para resolver esta situação, esta tese propôs um procedimento para avaliar as características dos vídeos, tais como o tipo de codec, o tipo e tamanho dos quadros, o comprimento do grupo de imagens e também os vetores de movimentações, bem como o impacto destas características na qualidade percebida pelos utilizadores finais. O conteúdo do vídeo também é importante na definição da qualidade. Esta tese também propôs um método para melhor caracterizar a intensidade de movimentação. Isto envolve realizar uma analise exploratória de dados antes de iniciar o sistema, assim como a utilização de diversas técnicas para aceder aos resultados obtidos em tempo real. As técnicas acima foram propostas para dar suporte ao principal tema desta tese, que é o de projetar e construir mecanismos para a transmissão resiliente de vídeos. Levando em consideração as informações acima, esta tese propôs diversos mecanismos utilizando técnicas de “cross-layer” e “video-aware” baseadas na correção antecipada dos erros e com proteção desigual da informação. O objetivo principal é melhorar a qualidade dos vídeos transmitidos em diversos tipos de redes sem fio. Para chegar a este resultado, diversos mecanismos adaptativos foram utilizados, tais como técnicas heurísticas, redes neuronais aleatórias, otimização por colónias de formigas e lógica difusa. As técnicas heurísticas referem-se a métodos que utilizam a experiência humana sobre o assunto para definir a melhor estratégia. É importante frisar que o principal objetivo não é encontrar a solução perfeita, mas sim uma solução prática que tenha resultados satisfatórios. Outra técnica utilizada são as redes neuronais aleatórias, onde os neurónios são treinados e validados ante da execução do mecanismo até que estes atinjam a capacidade de realizar adequadamente a categorização numérica das informações que recebem. No método de otimização por colónia de formigas, a quantidade de redundância é calculada utilizando uma meta-heurística que é baseada nos feromônios das formigas e em regras pré-definidas. O último método é a lógica difusa que utiliza regras e um conjunto de dados para encontrar a quantidade mais adequada de redundância. As vantagens e desvantagens dos mecanismos propostos foram demonstradas através de simulações realísticas com a utilização de sequências de vídeo reais e arquivos de registos de redes. A avaliação dos mecanismos foram realizadas através de métricas conhecidas de qualidade de experiência. Os resultados obtidos demonstram que os mecanismos propostos foram capazes de obter uma melhor performance que os competidores tanto na questão da qualidade dos vídeos como na questão da sobrecarga da rede