Dynamic Resource Management of Network-on-Chip Platforms for Multi-stream Video Processing

This thesis considers resource management in the context of parallel multiple video stream decoding, on multicore/many-core platforms. Such platforms have tens or hundreds of on-chip processing elements which are connected via a Network-on-Chip (NoC). Inefficient task allocation configurations can negatively affect the communication cost and resource contention in the platform, leading to predictability and performance issues. Efficient resource management for large-scale complex workloads is considered a challenging research problem; especially when applications such as video streaming and decoding have dynamic and unpredictable workload characteristics. For these type of applications, runtime heuristic-based task mapping techniques are required. As the application and platform size increase, decentralised resource management techniques are more desirable to overcome the reliability and performance bottlenecks in centralised management. In this work, several heuristic-based runtime resource management techniques, targeting real-time video decoding workloads are proposed. Firstly, two admission control approaches are proposed; one fully deterministic and highly predictable; the other is heuristic-based, which balances predictability and performance. Secondly, a pair of runtime task mapping schemes are presented, which make use of limited known application properties, communication cost and blocking-aware heuristics. Combined with the proposed deterministic admission controller, these techniques can provide strict timing guarantees for hard real-time streams whilst improving resource usage. The third contribution in this thesis is a distributed, bio-inspired, low-overhead, task re-allocation technique, which is used to further improve the timeliness and workload distribution of admitted soft real-time streams. Finally, this thesis explores parallelisation and resource management issues, surrounding soft real-time video streams that have been encoded using complex encoding tools and modern codecs such as High Efficiency Video Coding (HEVC). Properties of real streams and decoding trace data are analysed, to statistically model and generate synthetic HEVC video decoding workloads. These workloads are shown to have complex and varying task dependency structures and resource requirements. To address these challenges, two novel runtime task clustering and mapping techniques for Tile-parallel HEVC decoding are proposed. These strategies consider the workload communication to computation ratio and stream-specific characteristics to balance predictability improvement and communication energy reduction. Lastly, several task to memory controller port assignment schemes are explored to alleviate performance bottlenecks, resulting from memory traffic contention

Improved Spectrum Usage with Multi-RF Channel Aggregation Technologies for the Next-Generation Terrestrial Broadcasting

[EN] Next-generation terrestrial broadcasting targets at enhancing spectral efficiency to overcome the challenges derived from the spectrum shortage as a result of the progressive allocation of frequencies - the so-called Digital Dividend - to satisfy the growing demands for wireless broadband capacity. Advances in both transmission standards and video coding are paramount to enable the progressive roll-out of high video quality services such as HDTV (High Definition Televison) or Ultra HDTV. The transition to the second generation European terrestrial standard DVB-T2 and the introduction of MPEG-4/AVC video coding already enables the transmission of 4-5 HDTV services per RF (Radio Frequency) channel. However, the impossibility to allocate higher bit-rate within the remaining spectrum could jeopardize the evolution of the DTT platforms in favour of other high-capacity systems such as the satellite or cable distribution platforms. Next steps are focused on the deployment of the recently released High Efficiency Video Coding (HEVC) standard, which provides more than 50% coding gain with respect to AVC, with the next-generation terrestrial standards. This could ensure the competitiveness of the DTT. This dissertation addresses the use of multi-RF channel aggregation technologies to increase the spectral efficiency of future DTT networks. The core of the Thesis are two technologies: Time Frequency Slicing (TFS) and Channel Bonding (CB). TFS and CB consist in the transmission of the data of a TV service across multiple RF channels instead of using a single channel. CB spreads data of a service over multiple classical RF channels (RF-Mux). TFS spreads the data by time-slicing (slot-by-slot) across multiple RF channels which are sequentially recovered at the receiver by frequency hopping. Transmissions using these features can benefit from capacity and coverage gains. The first one comes from a more efficient statistical multiplexing (StatMux) for Variable Bit Rate (VBR) services due to a StatMux pool over a higher number of services. Furthermore, CB allows increasing service data rate with the number of bonded RF channels and also advantages when combined with SVC (Scalable Video Coding). The coverage gain comes from the increased RF performance due to the reception of the data of a service from different RF channels rather that a single one that could be, eventually, degraded. Robustness against interferences is also improved since the received signal does not depend on a unique potentially interfered RF channel. TFS was firstly introduced as an informative annex in DVB-T2 (not normative) and adopted in DVB-NGH (Next Generation Handheld). TFS and CB are proposed for inclusion in ATSC 3.0. However, they have never been implemented. The investigations carried out in this dissertation employ an information-theoretical approach to obtain their upper bounds, physical layer simulations to evaluate the performance in real systems and the analysis of field measurements that approach realistic conditions of the network deployments. The analysis report coverage gains about 4-5 dB with 4 RF channels and high capacity gains already with 2 RF channels. This dissertation also focuses on implementation aspects. Channel bonding receivers require one tuner per bonded RF channel. The implementation of TFS with a single tuner demands the fulfilment of several timing requirements. However, the use of just two tuners would still allow for a good performance with a cost-effective implementation by the reuse of existing chipsets or the sharing of existing architectures with dual tuner operation such as MIMO (Multiple Input Multiple Output).[ES] La televisión digital terrestre (TDT) de última generación está orientada a una necesaria mejora de la eficiencia espectral con el fin de abordar los desafíos derivados de la escasez de espectro como resultado de la progresiva asignación de frecuencias - el llamado Dividendo Digital - para satisfacer la creciente demanda de capacidad para la banda ancha inalámbrica. Los avances tanto en los estándares de transmisión como de codificación de vídeo son de suma importancia para la progresiva puesta en marcha de servicios de alta calidad como la televisión de Ultra AD (Alta Definición). La transición al estándar europeo de segunda generación DVB-T2 y la introducción de la codificación de vídeo MPEG-4 / AVC ya permite la transmisión de 4-5 servicios de televisión de AD por canal RF (Radiofrecuencia). Sin embargo, la imposibilidad de asignar una mayor tasa de bit sobre el espectro restante podría poner en peligro la evolución de las plataformas de TDT en favor de otros sistemas de alta capacidad tales como el satélite o las distribuidoras de cable. El siguiente paso se centra en el despliegue del reciente estándar HEVC (High Efficiency Video Coding), que ofrece un 50% de ganancia de codificación con respecto a AVC, junto con los estándares terrestres de próxima generación, lo que podría garantizar la competitividad de la TDT en un futuro cercano. Esta tesis aborda el uso de tecnologías de agregación de canales RF que permitan incrementar la eficiencia espectral de las futuras redes. La tesis se centra en torno a dos tecnologías: Time Frequency Slicing (TFS) y Channel Bonding (CB). TFS y CB consisten en la transmisión de los datos de un servicio de televisión a través de múltiples canales RF en lugar de utilizar un solo canal. CB difunde los datos de un servicio a través de varios canales RF convencionales formando un RF-Mux. TFS difunde los datos a través de ranuras temporales en diferentes canales RF. Los datos son recuperados de forma secuencial en el receptor mediante saltos en frecuencia. La implementación de estas técnicas permite obtener ganancias en capacidad y cobertura. La primera de ellas proviene de una multiplexación estadística (StatMux) de servicios de tasa variable (VBR) más eficiente. Además, CB permite aumentar la tasa de pico de un servicio de forma proporcional al número de canales así como ventajas al combinarla con codificación de vídeo escalable. La ganancia en cobertura proviene de un mejor rendimiento RF debido a la recepción de los datos de un servicio desde diferentes canales en lugar uno sólo que podría estar degradado. Del mismo modo, es posible obtener una mayor robustez frente a interferencias ya que la recepción o no de un servicio no depende de si el canal que lo alberga está o no interferido. TFS fue introducido en primer lugar como un anexo informativo en DVB-T2 (no normativo) y posteriormente fue adoptado en DVB-NGH (Next Generation Handheld). TFS y CB han sido propuestos para su inclusión en ATSC 3.0. Aún así, nunca han sido implementados. Las investigaciones llevadas a cabo en esta Tesis emplean diversos enfoques basados en teoría de la información para obtener los límites de ganancia, en simulaciones de capa física para evaluar el rendimiento en sistemas reales y en el análisis de medidas de campo. Estos estudios reportan ganancias en cobertura en torno a 4-5 dB con 4 canales e importantes ganancias en capacidad aún con sólo 2 canales RF. Esta tesis también se centra en los aspectos de implementación. Los receptores para CB requieren un sintonizador por canal RF agregado. La implementación de TFS con un solo sintonizador exige el cumplimiento de varios requisito temporales. Sin embargo, el uso de dos sintonizadores permitiría un buen rendimiento con una implementación más rentable con la reutilización de los actuales chips o su introducción junto con las arquitecturas existentes que operan con un doble sintonizador tales como[CA] La televisió digital terrestre (TDT) d'última generació està orientada a una necessària millora de l'eficiència espectral a fi d'abordar els desafiaments derivats de l'escassetat d'espectre com a resultat de la progressiva assignació de freqüències - l'anomenat Dividend Digital - per a satisfer la creixent demanda de capacitat per a la banda ampla sense fil. Els avanços tant en els estàndards de transmissió com de codificació de vídeo són de la màxima importància per a la progressiva posada en marxa de serveis d'alta qualitat com la televisió d'Ultra AD (Alta Definició). La transició a l'estàndard europeu de segona generació DVB-T2 i la introducció de la codificació de vídeo MPEG-4/AVC ja permet la transmissió de 4-5 serveis de televisió d'AD per canal RF (Radiofreqüència). No obstant això, la impossibilitat d'assignar una major taxa de bit sobre l'espectre restant podria posar en perill l'evolució de les plataformes de TDT en favor d'altres sistemes d'alta capacitat com ara el satèl·lit o les distribuïdores de cable. El següent pas se centra en el desplegament del recent estàndard HEVC (High Efficiency Vídeo Coding), que oferix un 50% de guany de codificació respecte a AVC, junt amb els estàndards terrestres de pròxima generació, la qual cosa podria garantir la competitivitat de la TDT en un futur pròxim. Aquesta tesi aborda l'ús de tecnologies d'agregació de canals RF que permeten incrementar l'eficiència espectral de les futures xarxes. La tesi se centra entorn de dues tecnologies: Time Frequency Slicing (TFS) i Channel Bonding (CB). TFS i CB consistixen en la transmissió de les dades d'un servei de televisió a través de múltiples canals RF en compte d'utilitzar un sol canal. CB difon les dades d'un servei a través d'uns quants canals RF convencionals formant un RF-Mux. TFS difon les dades a través de ranures temporals en diferents canals RF. Les dades són recuperades de forma seqüencial en el receptor per mitjà de salts en freqüència. La implementació d'aquestes tècniques permet obtindre guanys en capacitat i cobertura. La primera d'elles prové d'una multiplexació estadística (StatMux) de serveis de taxa variable (VBR) més eficient. A més, CB permet augmentar la taxa de pic d'un servei de forma proporcional al nombre de canals així com avantatges al combinar-la amb codificació de vídeo escalable. El guany en cobertura prové d'un millor rendiment RF a causa de la recepció de les dades d'un servei des de diferents canals en lloc de només un que podria estar degradat. De la mateixa manera, és possible obtindre una major robustesa enfront d'interferències ja que la recepció o no d'un servei no depén de si el canal que l'allotja està o no interferit. TFS va ser introduït en primer lloc com un annex informatiu en DVB-T2 (no normatiu) i posteriorment va ser adoptat en DVB-NGH (Next Generation Handheld). TFS i CB han sigut proposades per a la seva inclusió en ATSC 3.0. Encara així, mai han sigut implementades. Les investigacions dutes a terme en esta Tesi empren diverses vessants basades en teoria de la informació per a obtindre els límits de guany, en simulacions de capa física per a avaluar el rendiment en sistemes reals i en l'anàlisi de mesures de camp. Aquestos estudis reporten guanys en cobertura entorn als 4-5 dB amb 4 canals i importants guanys en capacitat encara amb només 2 canals RF. Esta tesi també se centra en els aspectes d'implementació. Els receptors per a CB requerixen un sintonitzador per canal RF agregat. La implementació de TFS amb un sol sintonitzador exigix el compliment de diversos requisit temporals. No obstant això, l'ús de dos sintonitzadors permetria un bon rendiment amb una implementació més rendible amb la reutilització dels actuals xips o la seua introducció junt amb les arquitectures existents que operen amb un doble sintonitzador com ara MIMO (Multiple Input Multiple Output).Giménez Gandia, JJ. (2015). Improved Spectrum Usage with Multi-RF Channel Aggregation Technologies for the Next-Generation Terrestrial Broadcasting [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/52520TESI

QoE on media deliveriy in 5G environments

231 p.5G expandirá las redes móviles con un mayor ancho de banda, menor latencia y la capacidad de proveer conectividad de forma masiva y sin fallos. Los usuarios de servicios multimedia esperan una experiencia de reproducción multimedia fluida que se adapte de forma dinámica a los intereses del usuario y a su contexto de movilidad. Sin embargo, la red, adoptando una posición neutral, no ayuda a fortalecer los parámetros que inciden en la calidad de experiencia. En consecuencia, las soluciones diseñadas para realizar un envío de tráfico multimedia de forma dinámica y eficiente cobran un especial interés. Para mejorar la calidad de la experiencia de servicios multimedia en entornos 5G la investigación llevada a cabo en esta tesis ha diseñado un sistema múltiple, basado en cuatro contribuciones.El primer mecanismo, SaW, crea una granja elástica de recursos de computación que ejecutan tareas de análisis multimedia. Los resultados confirman la competitividad de este enfoque respecto a granjas de servidores. El segundo mecanismo, LAMB-DASH, elige la calidad en el reproductor multimedia con un diseño que requiere una baja complejidad de procesamiento. Las pruebas concluyen su habilidad para mejorar la estabilidad, consistencia y uniformidad de la calidad de experiencia entre los clientes que comparten una celda de red. El tercer mecanismo, MEC4FAIR, explota las capacidades 5G de analizar métricas del envío de los diferentes flujos. Los resultados muestran cómo habilita al servicio a coordinar a los diferentes clientes en la celda para mejorar la calidad del servicio. El cuarto mecanismo, CogNet, sirve para provisionar recursos de red y configurar una topología capaz de conmutar una demanda estimada y garantizar unas cotas de calidad del servicio. En este caso, los resultados arrojan una mayor precisión cuando la demanda de un servicio es mayor

Motion compensation with minimal residue dispersion matching criteria

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnoloigia, 2016.Com a crescente demanda por serviços de vídeo, técnicas de compressão de vídeo tornaram-se uma tecnologia de importância central para os sistemas de comunicação modernos. Padrões para codificação de vídeo foram criados pela indústria, permitindo a integração entre esses serviços e os mais diversos dispositivos para acessá-los. A quase totalidade desses padrões adota um modelo de codificação híbrida, que combina métodos de codificação diferencial e de codificação por transformadas, utilizando a compensação de movimento por blocos (CMB) como técnica central na etapa de predição. O método CMB tornou-se a mais importante técnica para explorar a forte redundância temporal típica da maioria das sequências de vídeo. De fato, muito do aprimoramento em termos de e ciência na codificação de vídeo observado nas últimas duas décadas pode ser atribuído a refinamentos incrementais na técnica de CMB. Neste trabalho, apresentamos um novo refinamento a essa técnica. Uma questão central à abordagem de CMB é a estimação de movimento (EM), ou seja, a seleção de vetores de movimento (VM) apropriados. Padrões de codificação tendem a regular estritamente a sintaxe de codificação e os processos de decodificação para VM's e informação de resíduo, mas o algoritmo de EM em si é deixado a critério dos projetistas do codec. No entanto, embora praticamente qualquer critério de seleção permita uma decodi cação correta, uma seleção de VM criteriosa é vital para a e ciência global do codec, garantindo ao codi cador uma vantagem competitiva no mercado. A maioria do algoritmos de EM baseia-se na minimização de uma função de custo para os blocos candidatos a predição para um dado bloco alvo, geralmente a soma das diferenças absolutas (SDA) ou a soma das diferenças quadradas (SDQ). A minimização de qualquer uma dessas funções de custo selecionará a predição que resulta no menor resíduo, cada uma em um sentido diferente porém bem de nido. Neste trabalho, mostramos que a predição de mínima dispersão de resíduo é frequentemente mais e ciente que a tradicional predição com resíduo de mínimo tamanho. Como prova de conceito, propomos o algoritmo de duplo critério de correspondência (ADCC), um algoritmo simples em dois estágios para explorar ambos esses critérios de seleção em turnos. Estágios de minimização de dispersão e de minimização de tamanho são executadas independentemente. O codificador então compara o desempenho dessas predições em termos da relação taxa-distorção e efetivamente codifica somente a mais eficiente. Para o estágio de minimização de dispersão do ADCC, propomos ainda o desvio absoluto total com relação à média (DATM) como a medida de dispersão a ser minimizada no processo de EM. A tradicional SDA é utilizada como a função de custo para EM no estágio de minimização de tamanho. O ADCC com SDA/DATM foi implementado em uma versão modificada do software de referência JM para o amplamente difundido padrão H.264/AVC de codificação. Absoluta compatibilidade a esse padrão foi mantida, de forma que nenhuma modificação foi necessária no lado do decodificador. Os resultados mostram aprimoramentos significativos com relação ao codificador H.264/AVC não modificado.With the ever growing demand for video services, video compression techniques have become a technology of central importance for communication systems. Industry standards for video coding have emerged, allowing the integration between these services and the most diverse devices. The almost entirety of these standards adopt a hybrid coding model combining di erential and transform coding methods, with block-based motion compensation (BMC) at the core of its prediction step. The BMC method have become the single most important technique to exploit the strong temporal redundancy typical of most video sequences. In fact, much of the improvements in video coding e ciency over the past two decades can be attributed to incremental re nements to the BMC technique. In this work, we propose another such re nement. A key issue to the BMC framework is motion estimation (ME), i.e., the selection of appropriate motion vectors (MV). Coding standards tend to strictly regulate the coding syntax and decoding processes for MV's and residual information, but the ME algorithm itself is left at the discretion of the codec designers. However, though virtually any MV selection criterion will allow for correct decoding, judicious MV selection is critical to the overall codec performance, providing the encoder with a competitive edge in the market. Most ME algorithms rely on the minimization of a cost function for the candidate prediction blocks given a target block, usually the sum of absolute di erences (SAD) or the sum of squared di erences (SSD). The minimization of any of these cost functions will select the prediction that results in the smallest residual, each in a di erent but well de ned sense. In this work, we show that the prediction of minimal residue dispersion is frequently more e cient than the usual prediction of minimal residue size. As proof of concept, we propose the double matching criterion algorithm (DMCA), a simple two-pass algorithm to exploit both of these MV selection criteria in turns. Dispersion minimizing and size minimizing predictions are carried out independently. The encoder then compares these predictions in terms of rate-distortion performance and outputs only the most e cient one. For the dispersion minimizing pass of the DMCA, we also propose the total absolute deviation from the mean (TADM) as the measure of residue dispersion to be minimized in ME. The usual SAD is used as the ME cost function in the size minimizing pass. The DMCA with SAD/TADM was implemented in a modi ed version of the JM reference software encoder for the widely popular H.264/AVC coding standard. Absolute compliance to the standard was maintained, so that no modi cations on the decoder side were necessary. Results show signi cant improvements over the unmodi ed H.264/AVC encoder

Network streaming and compression for mixed reality tele-immersion

Bulterman, D.C.A. [Promotor]Cesar, P.S. [Copromotor

Scalable Video Streaming with Prioritised Network Coding on End-System Overlays

PhDDistribution over the internet is destined to become a standard approach for live broadcasting of TV or events of nation-wide interest. The demand for high-quality live video with personal requirements is destined to grow exponentially over the next few years. Endsystem multicast is a desirable option for relieving the content server from bandwidth bottlenecks and computational load by allowing decentralised allocation of resources to the users and distributed service management. Network coding provides innovative solutions for a multitude of issues related to multi-user content distribution, such as the coupon-collection problem, allocation and scheduling procedure. This thesis tackles the problem of streaming scalable video on end-system multicast overlays with prioritised push-based streaming. We analyse the characteristic arising from a random coding process as a linear channel operator, and present a novel error detection and correction system for error-resilient decoding, providing one of the first practical frameworks for Joint Source-Channel-Network coding. Our system outperforms both network error correction and traditional FEC coding when performed separately. We then present a content distribution system based on endsystem multicast. Our data exchange protocol makes use of network coding as a way to collaboratively deliver data to several peers. Prioritised streaming is performed by means of hierarchical network coding and a dynamic chunk selection for optimised rate allocation based on goodput statistics at application layer. We prove, by simulated experiments, the efficient allocation of resources for adaptive video delivery. Finally we describe the implementation of our coding system. We highlighting the use rateless coding properties, discuss the application in collaborative and distributed coding systems, and provide an optimised implementation of the decoding algorithm with advanced CPU instructions. We analyse computational load and packet loss protection via lab tests and simulations, complementing the overall analysis of the video streaming system in all its components

QoE on media deliveriy in 5G environments

231 p.5G expandirá las redes móviles con un mayor ancho de banda, menor latencia y la capacidad de proveer conectividad de forma masiva y sin fallos. Los usuarios de servicios multimedia esperan una experiencia de reproducción multimedia fluida que se adapte de forma dinámica a los intereses del usuario y a su contexto de movilidad. Sin embargo, la red, adoptando una posición neutral, no ayuda a fortalecer los parámetros que inciden en la calidad de experiencia. En consecuencia, las soluciones diseñadas para realizar un envío de tráfico multimedia de forma dinámica y eficiente cobran un especial interés. Para mejorar la calidad de la experiencia de servicios multimedia en entornos 5G la investigación llevada a cabo en esta tesis ha diseñado un sistema múltiple, basado en cuatro contribuciones.El primer mecanismo, SaW, crea una granja elástica de recursos de computación que ejecutan tareas de análisis multimedia. Los resultados confirman la competitividad de este enfoque respecto a granjas de servidores. El segundo mecanismo, LAMB-DASH, elige la calidad en el reproductor multimedia con un diseño que requiere una baja complejidad de procesamiento. Las pruebas concluyen su habilidad para mejorar la estabilidad, consistencia y uniformidad de la calidad de experiencia entre los clientes que comparten una celda de red. El tercer mecanismo, MEC4FAIR, explota las capacidades 5G de analizar métricas del envío de los diferentes flujos. Los resultados muestran cómo habilita al servicio a coordinar a los diferentes clientes en la celda para mejorar la calidad del servicio. El cuarto mecanismo, CogNet, sirve para provisionar recursos de red y configurar una topología capaz de conmutar una demanda estimada y garantizar unas cotas de calidad del servicio. En este caso, los resultados arrojan una mayor precisión cuando la demanda de un servicio es mayor