Scalable Speech Coding for IP Networks

The emergence of Voice over Internet Protocol (VoIP) has posed new challenges to the development of speech codecs. The key issue of transporting real-time voice packet over IP networks is the lack of guarantee for reasonable speech quality due to packet delay or loss. Most of the widely used narrowband codecs depend on the Code Excited Linear Prediction (CELP) coding technique. The CELP technique utilizes the long-term prediction across the frame boundaries and therefore causes error propagation in the case of packet loss and need to transmit redundant information in order to mitigate the problem. The internet Low Bit-rate Codec (iLBC) employs the frame-independent coding and therefore inherently possesses high robustness to packet loss. However, the original iLBC lacks in some of the key features of speech codecs for IP networks: Rate flexibility, Scalability, and Wideband support. This dissertation presents novel scalable narrowband and wideband speech codecs for IP networks using the frame independent coding scheme based on the iLBC. The rate flexibility is added to the iLBC by employing the discrete cosine transform (DCT) and iii the scalable algebraic vector quantization (AVQ) and by allocating different number of bits to the AVQ. The bit-rate scalability is obtained by adding the enhancement layer to the core layer of the multi-rate iLBC. The enhancement layer encodes the weighted iLBC coding error in the modified DCT (MDCT) domain. The proposed wideband codec employs the bandwidth extension technique to extend the capabilities of existing narrowband codecs to provide wideband coding functionality. The wavelet transform is also used to further enhance the performance of the proposed codec. The performance evaluation results show that the proposed codec provides high robustness to packet loss and achieves equivalent or higher speech quality than state-of-the-art codecs under the clean channel condition

Robust P2P Live Streaming

Projecte fet en col.laboració amb la Fundació i2CATThe provisioning of robust real-time communication services (voice, video, etc.) or media contents through the Internet in a distributed manner is an important challenge, which will strongly influence in current and future Internet evolution. Aware of this, we are developing a project named Trilogy leaded by the i2CAT Foundation, which has as main pillar the study, development and evaluation of Peer-to-Peer (P2P) Live streaming architectures for the distribution of high-quality media contents. In this context, this work concretely covers media coding aspects and proposes the use of Multiple Description Coding (MDC) as a flexible solution for providing robust and scalable live streaming over P2P networks. This work describes current state of the art in media coding techniques and P2P streaming architectures, presents the implemented prototype as well as its simulation and validation results

Robust P2P Live Streaming

Projecte fet en col.laboració amb la Fundació i2CATThe provisioning of robust real-time communication services (voice, video, etc.) or media contents through the Internet in a distributed manner is an important challenge, which will strongly influence in current and future Internet evolution. Aware of this, we are developing a project named Trilogy leaded by the i2CAT Foundation, which has as main pillar the study, development and evaluation of Peer-to-Peer (P2P) Live streaming architectures for the distribution of high-quality media contents. In this context, this work concretely covers media coding aspects and proposes the use of Multiple Description Coding (MDC) as a flexible solution for providing robust and scalable live streaming over P2P networks. This work describes current state of the art in media coding techniques and P2P streaming architectures, presents the implemented prototype as well as its simulation and validation results

Wavelet based image compression integrating error protection via arithmetic coding with forbidden symbol and map metric sequential decoding with ARQ retransmission

The phenomenal growth of digital multimedia applications has forced the communication

Design and evaluation of echocardiograms codification and transmission for Teleradiology systems

Las enfermedades cardiovasculares son la mayor causa de muerte en el mundo. Aunque la mayoría de muertes por cardiopatías se puede evitar, si las medidas preventivas no son las adecuadas el paciente puede fallecer. Es por esto, que el seguimiento y diagnóstico de pacientes con cardiopatías es muy importante. Numerosos son las pruebas médicas para el diagnostico y seguimiento de enfermedades cardiovasculares, siendo los ecocardiogramas una de las técnicas más ampliamente utilizada. Un ecocardiograma consiste en la adquisición de imágenes del corazón mediante ultrasonidos. Presenta varias ventajas con respecto otras pruebas de imagen: no es invasiva, no produce radiación ionizante y es barata. Por otra parte, los sistemas de telemedicina han crecido rápidamente ya que ofrecen beneficios de acceso a los servicios médicos, una reducción del coste y una mejora de la calidad de los servicios. La telemedicina proporciona servicios médicos a distancia. Estos servicios son de especial ayuda en casos de emergencia médica y para áreas aisladas donde los hospitales y centros de salud están alejados. Los sistemas de tele-cardiología pueden ser clasificados de acuerdo al tipo de pruebas. En esta Tesis nos hemos centrado en los sistemas de tele-ecocardiografia, ya que los ecocardiogramas son ampliamente usados y presentan el mayor reto al ser la prueba médica con mayor flujo de datos. Los mayores retos en los sistemas de tele-ecocardiografia son la compresión y la transmisión garantizando que el mismo diagnóstico es posible tanto en el ecocardiograma original como en el reproducido tras la compresión y transmisión. Los ecocardiogramas deben ser comprimidos tanto para su almacenamiento como para su transmisión ya que estos presentan un enorme flujo de datos que desbordaría el espacio de almacenamiento y no se podría transmitir eficientemente por las redes actuales. Sin embargo, la compresión produce pérdidas que pueden llevar a un diagnostico erróneo de los ecocardiogramas comprimidos. En el caso de que las pruebas ecocardiograficas quieran ser guardadas, una compresión clínica puede ser aplicada previa al almacenamiento. Esta compresión clínica consiste en guardar las partes del ecocardiograma que son importantes para el diagnóstico, es decir, ciertas imágenes y pequeños vídeos del corazón en movimiento que contienen de 1 a 3 ciclos cardiacos. Esta compresión clínica no puede ser aplicada en el caso de transmisión en tiempo real, ya que es el cardiólogo especialista quien debe realizar la compresión clínica y éste se encuentra en recepción, visualizando el echocardiograma transmitido. En cuanto a la transmisión, las redes sin cables presentan un mayor reto que las redes cableadas. Las redes sin cables tienen un ancho de banda limitado, son propensas a errores y son variantes en tiempo lo que puede resultar problemático cuando el ecocardiograma quiere ser transmitido en tiempo real. Además, las redes sin cables han experimentado un gran desarrollo gracias a que permiten un mejor acceso y movilidad, por lo que pueden ofrecer un mayor servicio que las redes cableadas. Dos tipos de sistemas se pueden distinguir acorde a los retos que presenta cada uno de ellos: los sistemas de almacenamiento y reenvió y los sistemas de tiempo real. Los sistemas de almacenamiento y reenvió consisten en la adquisición, almacenamiento y el posterior envió del ecocardiograma sin requerimientos temporales. Una compresión clínica puede ser llevada a cabo previa al almacenamiento. Además de la compresión clínica, una compresión con pérdidas es recomendada para reducir el espacio de almacenamiento y el tiempo de envío, pero sin perder l ainformación diagnóstica de la prueba. En cuanto a la transmisión, al no haber requerimientos temporales, la transmisión no presenta ninguna dificultad. Cualquier protocolo de transmisión fiable puede ser usado para no perder calidad en la imagen debido a la transmisión. Por lo tanto, para estos sistemas sólo nos hemos centrado en la codificación de los ecocardiogramas. Los sistemas de tiempo real consisten en la transmisión del ecocardiograma al mismo tiempo que éste es adquirido. Dado que el envío de video clínico es una de las aplicaciones con mayor demanda de ancho de banda, la compresión para la transmisión es requerida, pero manteniendo la calidad diagnóstica de la imagen. La transmisión en canales sin cables puede ser afectada por errores que distorsionan la calidad del ecocardiograma reconstruido en recepción. Por lo tanto, métodos de control de errores son requeridos para minimizar los errores de transmisión y el retardo introducido. Sin embargo, aunque el ecocardiograma sea visualizado con errores debido a la transmisión, esto no implica que el diagnóstico no sea posible. Dados los retos previamente descritos, las siguientes soluciones para la evaluación clínica, compresión y transmisión han sido propuestas: - Para garantizar que el ecocardiograma es visualizado sin perder información diagnóstica 2 tests han sido diseñados. El primer test define recomendaciones para la compresión de los ecocardiogramas. Consiste en dos fases para un ahorro en el tiempo de realización, pero sin perder por ello exactitud en el proceso de evaluación. Gracias a este test el ecocardiograma puede ser comprimido al máximo sin perder calidad diagnóstica y utilizando así más eficientemente los recursos. El segundo test define recomendaciones para la visualización del ecocardiograma. Este test define rangos de tiempo en los que el ecocardiograma puede ser visualizado con inferior calidad a la establecida en el primer test. Gracias a este test se puede saber si el ecocardiograma es visualizado sin pérdida de calidad diagnóstica cuando se introducen errores en la visualización, sin la necesidad de realizar una evaluación para cada video transmitido o diferentes condiciones de canal. Además, esta metodología puede ser aplicada para la evaluación de otras técnicas de diagnóstico por imagen. - Para la compresión de ecocardiogramas dos métodos de compresión han sido diseñados, uno para el almacenamiento y otro para la transmisión. Diferentes propuestas son diseñadas, ya que los ecocardiogramas para los dos propósitos tienen características diferentes. Para ambos propósitos un método de compresión en la que las facilidades que incorporan los dispositivos de segmentar la imagen y en la que las características de visualización de los ecocardiogramas han sido tenidas en cuenta ha sido diseñado. Para la compresión del ecocardiograma con el propósito de almacenarlo un formato de almacenamiento fácilmente integrable con DICOM basado en regiones y en el que el tipo de datos y la importancia clínica de cada región es tenido en cuenta ha sido diseñado. DICOM es el formato para el almacenamiento y transmisión de imágenes más ampliamente utilizado actualmente. El formato de compresión propuesto supone un ahorra de hasta el 75 % del espacio de almacenamiento con respecto a la compresión con JPEG 2000, actualmente soportado por DICOM, sin perder calidad diagnostica de la imagen. Los ratios de compresión para el formato propuesto dependen de la distribución de la imagen, pero para una base de datos de 105 ecocardiogramas correspondientes a 4 ecógrafos los ratios obtenidos están comprendidos entre 19 y 41. Para la compresión del ecocardiograma con el propósito de la transmisión en tiempo real un método de compresión basado en regiones en el que el tipo de dato y el modo de visualización han sido tenidos en cuenta se ha diseñado. Dos modos de visualización son distinguidos para la compresión de la región con mayor importancia clínica (ultrasonido), los modos de barrido y los modos 2-D. La evaluación clínica diseñada para las recomendaciones de compresión fue llevada a cabo por 3 cardiologos, 9 ecocardiogramas correspondientes a diferentes pacientes y 3 diferentes ecógrafos. Los ratios de transmisión recomendados fueron de 200 kbps para los modos 2-D y de 40 kbps para los modos de barrido. Si se comparan estos resultados con previas soluciones en la literatura un ahorro mínimo de entre 5 % y el 78 % es obtenido dependiendo del modo. - Para la transmisión en tiempo real de ecocardiogramas un protocolo extremo a extremo basada en el método de compresión por regiones ha sido diseñado. Este protocolo llamado ETP de las siglas en inglés Echocardiogram Transmssion Protocol está diseñado para la compresión y transmisión de las regiones por separado, pudiendo así ofrecer diferentes ratios de compresión y protección de errores para las diferentes regiones de acuerdo a su importancia diagnostica. Por lo tanto, con ETP el ratio de transmisión mínimo recomendado para el método de compresión propuesto puede ser utilizado, usando así eficientemente el ancho de banda y siendo menos sensible a los errores introducidos por la red. ETP puede ser usado en cualquier red, sin embargo, en el caso de que la red introduzca errores se ha diseñado un método de corrección de errores llamado SECM, de las siglas en inglés State Error Control Method. SECM se adapta a las condiciones de canal usando más protección cuando las condiciones empeoran y usando así el ancho de banda eficientemente. Además, la evaluación clínica diseñada para las recomendaciones de visualización ha sido llevada a cabo con la base de datos de la evaluación previa. De esta forma se puede saber si el ecocardiograma es visualizado sin pérdida diagnostica aunque se produzcan errores de transmisión. En esta tesis, por lo tanto, se ha ofrecido una solución para la transmisión en tiempo real y el almacenamiento de ecocardiogramas preservando la información diagnóstica y usando eficientemente los recursos (disco de almacenamiento y ratio de transmisión). Especial soporte se da para la transmisión en redes sin cables, dando soluciones a las limitaciones que estas introducen. Además, las soluciones propuestas han sido probadas y comparadas con otras técnicas con una red de acceso móvil WiMAX, demostrando que el ancho de banda es eficientemente utilizado y que el ecocardiograma es correctamente visualizado de acuerdo con las recomendaciones de visualización dadas por la evaluación clínica

Media gateway utilizando um GPU

Mestrado em Engenharia de Computadores e Telemátic

Layer-based coding, smoothing, and scheduling of low-bit-rate video for teleconferencing over tactical ATM networks

This work investigates issues related to distribution of low bit rate video within the context of a teleconferencing application deployed over a tactical ATM network. The main objective is to develop mechanisms that support transmission of low bit rate video streams as a series of scalable layers that progressively improve quality. The hierarchical nature of the layered video stream is actively exploited along the transmission path from the sender to the recipients to facilitate transmission. A new layered coder design tailored to video teleconferencing in the tactical environment is proposed. Macroblocks selected due to scene motion are layered via subband decomposition using the fast Haar transform. A generalized layering scheme groups the subbands to form an arbitrary number of layers. As a layering scheme suitable for low motion video is unsuitable for static slides, the coder adapts the layering scheme to the video content. A suboptimal rate control mechanism that reduces the kappa dimensional rate distortion problem resulting from the use of multiple quantizers tailored to each layer to a 1 dimensional problem by creating a single rate distortion curve for the coder in terms of a suboptimal set of kappa dimensional quantizer vectors is investigated. Rate control is thus simplified into a table lookup of a codebook containing the suboptimal quantizer vectors. The rate controller is ideal for real time video and limits fluctuations in the bit stream with no corresponding visible fluctuations in perceptual quality. A traffic smoother prior to network entry is developed to increase queuing and scheduler efficiency. Three levels of smoothing are studied: frame, layer, and cell interarrival. Frame level smoothing occurs via rate control at the application. Interleaving and cell interarrival smoothing are accomplished using a leaky bucket mechanism inserted prior to the adaptation layer or within the adaptation layerhttp://www.archive.org/details/layerbasedcoding00parkLieutenant Commander, United States NavyApproved for public release; distribution is unlimited

Network streaming and compression for mixed reality tele-immersion

Bulterman, D.C.A. [Promotor]Cesar, P.S. [Copromotor