Network streaming and compression for mixed reality tele-immersion

Bulterman, D.C.A. [Promotor]Cesar, P.S. [Copromotor

A Survey on Multimedia-Based Cross-Layer Optimization in Visual Sensor Networks

Visual sensor networks (VSNs) comprised of battery-operated electronic devices endowed with low-resolution cameras have expanded the applicability of a series of monitoring applications. Those types of sensors are interconnected by ad hoc error-prone wireless links, imposing stringent restrictions on available bandwidth, end-to-end delay and packet error rates. In such context, multimedia coding is required for data compression and error-resilience, also ensuring energy preservation over the path(s) toward the sink and improving the end-to-end perceptual quality of the received media. Cross-layer optimization may enhance the expected efficiency of VSNs applications, disrupting the conventional information flow of the protocol layers. When the inner characteristics of the multimedia coding techniques are exploited by cross-layer protocols and architectures, higher efficiency may be obtained in visual sensor networks. This paper surveys recent research on multimedia-based cross-layer optimization, presenting the proposed strategies and mechanisms for transmission rate adjustment, congestion control, multipath selection, energy preservation and error recovery. We note that many multimedia-based cross-layer optimization solutions have been proposed in recent years, each one bringing a wealth of contributions to visual sensor networks

Design and evaluation of echocardiograms codification and transmission for Teleradiology systems

Las enfermedades cardiovasculares son la mayor causa de muerte en el mundo. Aunque la mayoría de muertes por cardiopatías se puede evitar, si las medidas preventivas no son las adecuadas el paciente puede fallecer. Es por esto, que el seguimiento y diagnóstico de pacientes con cardiopatías es muy importante. Numerosos son las pruebas médicas para el diagnostico y seguimiento de enfermedades cardiovasculares, siendo los ecocardiogramas una de las técnicas más ampliamente utilizada. Un ecocardiograma consiste en la adquisición de imágenes del corazón mediante ultrasonidos. Presenta varias ventajas con respecto otras pruebas de imagen: no es invasiva, no produce radiación ionizante y es barata. Por otra parte, los sistemas de telemedicina han crecido rápidamente ya que ofrecen beneficios de acceso a los servicios médicos, una reducción del coste y una mejora de la calidad de los servicios. La telemedicina proporciona servicios médicos a distancia. Estos servicios son de especial ayuda en casos de emergencia médica y para áreas aisladas donde los hospitales y centros de salud están alejados. Los sistemas de tele-cardiología pueden ser clasificados de acuerdo al tipo de pruebas. En esta Tesis nos hemos centrado en los sistemas de tele-ecocardiografia, ya que los ecocardiogramas son ampliamente usados y presentan el mayor reto al ser la prueba médica con mayor flujo de datos. Los mayores retos en los sistemas de tele-ecocardiografia son la compresión y la transmisión garantizando que el mismo diagnóstico es posible tanto en el ecocardiograma original como en el reproducido tras la compresión y transmisión. Los ecocardiogramas deben ser comprimidos tanto para su almacenamiento como para su transmisión ya que estos presentan un enorme flujo de datos que desbordaría el espacio de almacenamiento y no se podría transmitir eficientemente por las redes actuales. Sin embargo, la compresión produce pérdidas que pueden llevar a un diagnostico erróneo de los ecocardiogramas comprimidos. En el caso de que las pruebas ecocardiograficas quieran ser guardadas, una compresión clínica puede ser aplicada previa al almacenamiento. Esta compresión clínica consiste en guardar las partes del ecocardiograma que son importantes para el diagnóstico, es decir, ciertas imágenes y pequeños vídeos del corazón en movimiento que contienen de 1 a 3 ciclos cardiacos. Esta compresión clínica no puede ser aplicada en el caso de transmisión en tiempo real, ya que es el cardiólogo especialista quien debe realizar la compresión clínica y éste se encuentra en recepción, visualizando el echocardiograma transmitido. En cuanto a la transmisión, las redes sin cables presentan un mayor reto que las redes cableadas. Las redes sin cables tienen un ancho de banda limitado, son propensas a errores y son variantes en tiempo lo que puede resultar problemático cuando el ecocardiograma quiere ser transmitido en tiempo real. Además, las redes sin cables han experimentado un gran desarrollo gracias a que permiten un mejor acceso y movilidad, por lo que pueden ofrecer un mayor servicio que las redes cableadas. Dos tipos de sistemas se pueden distinguir acorde a los retos que presenta cada uno de ellos: los sistemas de almacenamiento y reenvió y los sistemas de tiempo real. Los sistemas de almacenamiento y reenvió consisten en la adquisición, almacenamiento y el posterior envió del ecocardiograma sin requerimientos temporales. Una compresión clínica puede ser llevada a cabo previa al almacenamiento. Además de la compresión clínica, una compresión con pérdidas es recomendada para reducir el espacio de almacenamiento y el tiempo de envío, pero sin perder l ainformación diagnóstica de la prueba. En cuanto a la transmisión, al no haber requerimientos temporales, la transmisión no presenta ninguna dificultad. Cualquier protocolo de transmisión fiable puede ser usado para no perder calidad en la imagen debido a la transmisión. Por lo tanto, para estos sistemas sólo nos hemos centrado en la codificación de los ecocardiogramas. Los sistemas de tiempo real consisten en la transmisión del ecocardiograma al mismo tiempo que éste es adquirido. Dado que el envío de video clínico es una de las aplicaciones con mayor demanda de ancho de banda, la compresión para la transmisión es requerida, pero manteniendo la calidad diagnóstica de la imagen. La transmisión en canales sin cables puede ser afectada por errores que distorsionan la calidad del ecocardiograma reconstruido en recepción. Por lo tanto, métodos de control de errores son requeridos para minimizar los errores de transmisión y el retardo introducido. Sin embargo, aunque el ecocardiograma sea visualizado con errores debido a la transmisión, esto no implica que el diagnóstico no sea posible. Dados los retos previamente descritos, las siguientes soluciones para la evaluación clínica, compresión y transmisión han sido propuestas: - Para garantizar que el ecocardiograma es visualizado sin perder información diagnóstica 2 tests han sido diseñados. El primer test define recomendaciones para la compresión de los ecocardiogramas. Consiste en dos fases para un ahorro en el tiempo de realización, pero sin perder por ello exactitud en el proceso de evaluación. Gracias a este test el ecocardiograma puede ser comprimido al máximo sin perder calidad diagnóstica y utilizando así más eficientemente los recursos. El segundo test define recomendaciones para la visualización del ecocardiograma. Este test define rangos de tiempo en los que el ecocardiograma puede ser visualizado con inferior calidad a la establecida en el primer test. Gracias a este test se puede saber si el ecocardiograma es visualizado sin pérdida de calidad diagnóstica cuando se introducen errores en la visualización, sin la necesidad de realizar una evaluación para cada video transmitido o diferentes condiciones de canal. Además, esta metodología puede ser aplicada para la evaluación de otras técnicas de diagnóstico por imagen. - Para la compresión de ecocardiogramas dos métodos de compresión han sido diseñados, uno para el almacenamiento y otro para la transmisión. Diferentes propuestas son diseñadas, ya que los ecocardiogramas para los dos propósitos tienen características diferentes. Para ambos propósitos un método de compresión en la que las facilidades que incorporan los dispositivos de segmentar la imagen y en la que las características de visualización de los ecocardiogramas han sido tenidas en cuenta ha sido diseñado. Para la compresión del ecocardiograma con el propósito de almacenarlo un formato de almacenamiento fácilmente integrable con DICOM basado en regiones y en el que el tipo de datos y la importancia clínica de cada región es tenido en cuenta ha sido diseñado. DICOM es el formato para el almacenamiento y transmisión de imágenes más ampliamente utilizado actualmente. El formato de compresión propuesto supone un ahorra de hasta el 75 % del espacio de almacenamiento con respecto a la compresión con JPEG 2000, actualmente soportado por DICOM, sin perder calidad diagnostica de la imagen. Los ratios de compresión para el formato propuesto dependen de la distribución de la imagen, pero para una base de datos de 105 ecocardiogramas correspondientes a 4 ecógrafos los ratios obtenidos están comprendidos entre 19 y 41. Para la compresión del ecocardiograma con el propósito de la transmisión en tiempo real un método de compresión basado en regiones en el que el tipo de dato y el modo de visualización han sido tenidos en cuenta se ha diseñado. Dos modos de visualización son distinguidos para la compresión de la región con mayor importancia clínica (ultrasonido), los modos de barrido y los modos 2-D. La evaluación clínica diseñada para las recomendaciones de compresión fue llevada a cabo por 3 cardiologos, 9 ecocardiogramas correspondientes a diferentes pacientes y 3 diferentes ecógrafos. Los ratios de transmisión recomendados fueron de 200 kbps para los modos 2-D y de 40 kbps para los modos de barrido. Si se comparan estos resultados con previas soluciones en la literatura un ahorro mínimo de entre 5 % y el 78 % es obtenido dependiendo del modo. - Para la transmisión en tiempo real de ecocardiogramas un protocolo extremo a extremo basada en el método de compresión por regiones ha sido diseñado. Este protocolo llamado ETP de las siglas en inglés Echocardiogram Transmssion Protocol está diseñado para la compresión y transmisión de las regiones por separado, pudiendo así ofrecer diferentes ratios de compresión y protección de errores para las diferentes regiones de acuerdo a su importancia diagnostica. Por lo tanto, con ETP el ratio de transmisión mínimo recomendado para el método de compresión propuesto puede ser utilizado, usando así eficientemente el ancho de banda y siendo menos sensible a los errores introducidos por la red. ETP puede ser usado en cualquier red, sin embargo, en el caso de que la red introduzca errores se ha diseñado un método de corrección de errores llamado SECM, de las siglas en inglés State Error Control Method. SECM se adapta a las condiciones de canal usando más protección cuando las condiciones empeoran y usando así el ancho de banda eficientemente. Además, la evaluación clínica diseñada para las recomendaciones de visualización ha sido llevada a cabo con la base de datos de la evaluación previa. De esta forma se puede saber si el ecocardiograma es visualizado sin pérdida diagnostica aunque se produzcan errores de transmisión. En esta tesis, por lo tanto, se ha ofrecido una solución para la transmisión en tiempo real y el almacenamiento de ecocardiogramas preservando la información diagnóstica y usando eficientemente los recursos (disco de almacenamiento y ratio de transmisión). Especial soporte se da para la transmisión en redes sin cables, dando soluciones a las limitaciones que estas introducen. Además, las soluciones propuestas han sido probadas y comparadas con otras técnicas con una red de acceso móvil WiMAX, demostrando que el ancho de banda es eficientemente utilizado y que el ecocardiograma es correctamente visualizado de acuerdo con las recomendaciones de visualización dadas por la evaluación clínica

Robust P2P Live Streaming

Projecte fet en col.laboració amb la Fundació i2CATThe provisioning of robust real-time communication services (voice, video, etc.) or media contents through the Internet in a distributed manner is an important challenge, which will strongly influence in current and future Internet evolution. Aware of this, we are developing a project named Trilogy leaded by the i2CAT Foundation, which has as main pillar the study, development and evaluation of Peer-to-Peer (P2P) Live streaming architectures for the distribution of high-quality media contents. In this context, this work concretely covers media coding aspects and proposes the use of Multiple Description Coding (MDC) as a flexible solution for providing robust and scalable live streaming over P2P networks. This work describes current state of the art in media coding techniques and P2P streaming architectures, presents the implemented prototype as well as its simulation and validation results

Protocols and Algorithms for Adaptive Multimedia Systems

The deployment of WebRTC and telepresence systems is going to start a wide-scale adoption of high quality real-time communication. Delivering high quality video usually corresponds to an increase in required network capacity and also requires an assurance of network stability. A real-time multimedia application that uses the Real-time Transport Protocol (RTP) over UDP needs to implement congestion control since UDP does not implement any such mechanism. This thesis is about enabling congestion control for real-time communication, and deploying it on the public Internet containing a mixture of wired and wireless links. A congestion control algorithm relies on congestion cues, such as RTT and loss. Hence, in this thesis, we first propose a framework for classifying congestion cues. We classify the congestion cues as a combination of: where they are measured or observed? And, how is the sending endpoint notified? For each there are two options, i.e., the cues are either observed and reported by an in-path or by an off-path source, and, the cue is either reported in-band or out-of-band, which results in four combinations. Hence, the framework provides options to look at congestion cues beyond those reported by the receiver. We propose a sender-driven, a receiver-driven and a hybrid congestion control algorithm. The hybrid algorithm relies on both the sender and receiver co-operating to perform congestion control. Lastly, we compare the performance of these different algorithms. We also explore the idea of using capacity notifications from middleboxes (e.g., 3G/LTE base stations) along the path as cues for a congestion control algorithm. Further, we look at the interaction between error-resilience mechanisms and show that FEC can be used in a congestion control algorithm for probing for additional capacity. We propose Multipath RTP (MPRTP), an extension to RTP, which uses multiple paths for either aggregating capacity or for increasing error-resilience. We show that our proposed scheduling algorithm works in diverse scenarios (e.g., 3G and WLAN, 3G and 3G, etc.) with paths with varying latencies. Lastly, we propose a network coverage map service (NCMS), which aggregates throughput measurements from mobile users consuming multimedia services. The NCMS sends notifications to its subscribers about the upcoming network conditions, which take these notifications into account when performing congestion control. In order to test and refine the ideas presented in this thesis, we have implemented most of them in proof-of-concept prototypes, and conducted experiments and simulations to validate our assumptions and gain new insights.

AdamRTP: Adaptive multi-flow real-time multimedia transport protocol for Wireless Sensor Networks

Real-time multimedia applications are time sensitive and require extra resources from the network, e.g. large bandwidth and big memory. However, Wireless Sensor Networks (WSNs) suffer from limited resources such as computational, storage, and bandwidth capabilities. Therefore, sending real-time multimedia applications over WSNs can be very challenging. For this reason, we propose an Adaptive Multi-flow Real-time Multimedia Transport Protocol (AdamRTP) that has the ability to ease the process of transmitting real-time multimedia over WSNs by splitting the multimedia source stream into smaller independent flows using an MDC-aware encoder, then sending each flow to the destination using joint/disjoint path. AdamRTP uses dynamic adaptation techniques, e.g. number of flows and rate adaptation. Simulations experiments demonstrate that AdamRTP enhances the Quality of Service (QoS) of transmission. Also, we showed that in an ideal WSN, using multi-flows consumes less power than using a single flow and extends the life-time of the network

Enhanced transport protocols for real time and streaming applications on wireless links

Real time communications have, in the last decade, become a highly relevant component of Internet applications and services, with both interactive communications and streamed content being used in developed and developing countries alike. Due to the proliferation of mobile devices, wireless media is becoming the means of transmitting a large part of this increasingly important real time communications traffic. Wireless has also become an important technology in developing countries, with satellite communications being increasingly deployed for traffic backhaul and ubiquitous connection to the Internet. A number of issues need to be addressed in order to have an acceptable service quality for real time communications in wireless environments. In addition to this, the availability of multiple wireless interfaces on mobile devices presents an opportunity to improve and further exacerbates the issues already present on single wireless links. Therefore in this thesis, we consider improvements to transport protocols for real time communications and streaming services to address these problems and we provide the following contributions. To deal with wireless link issues of errors and delay, we propose two enhancements. First, an improvement technique for Datagram Congestion Control Protocol CCID4 for long delay wireless (e.g. satellite) links, demonstrating significant performance improvements for Voice over IP applications. To deal with link errors, we have proposed, implemented and evaluated an erasure coding based packet error correction approach for Concurrent Multipath Transfer extension of Stream Control Transport Protocol data transport over multiple wireless paths. We have identified packet reordering as a major cause of performance degradation in both single and multi-path transport protocols for real time communications and media streaming. We have proposed a dynamically resizable buffer based solution to mitigate this problem within the DCCP protocol. For improving the performance of multi-path transport protocols over dissimilar network paths, we have proposed a delay aware packet scheduling scheme, which significantly improves the performance of multimedia and bulk data transfer with CMT-SCTP in heterogeneous multi-path network scenarios. Finally, we have developed a tool for online streaming video quality evaluation experiments, comprising a real-time cross-layer video streaming technique implemented within an open-source H.264 video encoder tool called x264