Codificação de vídeo MPEG-4 em FPGA

Mestrado em Engenharia Electrónica e TelecomunicaçõesO trabalho apresentado nesta dissertação foi realizado no âmbito do grupo ISG (Implementation Study Group) do MPEG (Motion Picture Expert Group). Tem como objectivo principal analisar o desempenho da implementação de diversões módulos da norma MPEG-4 e da sua versão avançada MPEG-4 AVC (Advanced Video Coding) em FPGA (Field Programmable Gate Array). A dissertação é essencialmente constituída por duas partes. Na primeira parte, estudam-se os conceitos básicos da codificação de vídeo, nomeadamente os conceitos integrantes da norma MPEG-4. De seguida, estuda-se a norma MPEG-4 AVC. Na segunda parte, esta dissertação apresenta o desenvolvimento de seis módulos implementados em VHDL e compilados para o circuito FPGA da XILINX, Virtex-II. Dos seis módulos, quatro constituem um descodificador MPEG-4 (excepto a compensação de movimento) enquanto os outros dois fazem parte do codificador MPEG-4 AVC.This dissertation shows the work developed in the framework of the ISG (Implementation Study Group) group. The main objective of this work is to analyse the performance of several MPEG-4 modules and MPEG-4 AVC (Advanced Video Coding) modules in FPGA (field Programmable Gate Array). This dissertation is organized into two parts. In the first part, the basic video coding concepts are studied, mainly the MPEG-4 concepts, followed by the MPEG-4 AVC standard. In the second part, it is discussed six modules implemented in VHDL and compiled for the XILINX Virtex-II FPGA. Four of those six developed modules are used to implement an MPEG-4 decoder (except the motion compensation stage) and the other two are modules of the MPEG-4 AVC coder

Codificação de vídeo utilizando modelos de texturas

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2013.O esquema de codificação de vídeo proposto nesta tese é baseado em warping e síntese de texturas. Em vez de utilizar técnicas de codificação de imagens inteiras ou resíduos da predição depois da estimação de movimento, são utilizados modelos de movimento para reconstruir texturas que sejam classificadas como estáticas e síntese de textura para criar texturas dinâmicas. As regiões texturizadas são segmentadas pelo método de water-shed e logo classificadas por métodos simples com base em suas características espectrais mediante a transformada DCT e simples diferenças entre quadros vizinhos. As regiões reconstruídas por warping e síntese são avaliadas para seu uso mediante simples métodos estatísticos. O esquema proposto trabalha em conjunto com o padrão de vídeo H.264/AVC, onde só são codificados os blocos que não sejam processados pelos modelos de textura, mostrando um potencial para diminuir o custo computacional da codificação dos blocos remanescentes. Os resultados mostram que a qualidade foi mantida com pontuações subjetivas em comparação ao padrão H.264/AVC enquanto resultados com métricas objetivas mostram pequenas perdas. ______________________________________________________________________________ ABSTRACTThe video coding scheme proposed in this thesis is based on texture warping and synthesis. Instead of using techniques such as whole-image coding or prediction residues after motion estimation, motion models are used to reconstruct static textures and tex- ture synthesis is used to create dynamic textures. Textured regions are segmented by the watershed method and then classi ed with simple methods based on their spectral char- acteristics by DCT transform and simple di erences between neighboring frames. Regions reconstructed by warping and synthesis are evaluated for their use by simple statistical methods. The proposed scheme works together with the standard of video H.264/AVC, which only codes blocks that are not processed by models of texture, showing a potential to decrease computational cost of coding of blocks that remain. The results show that the quality was maintained with subjective scores compared to standard H.264/AVC, while objective results show small losses

Codificação de vídeo escalonável em complexidade e em energia

Tese (Doutorado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2012.Um dos tipos de sinais que mais se beneficiou dos avanços tecnológicos e industriais recentes foi o vídeo digital. O barateamento de sistemas de aquisição e a evolução das técnicas de processamento de sinais difundiu o emprego de sistemas de vídeo digital nas mais diversas aplicações. Uma das peças fundamentais dessa popularização foi a evolução dos codificadores de vídeo digital, culminando com o padrão H.264/AVC, considerado estado da arte em compressão de vídeo. Sua ampla gama de ferramentas de codificação tornou o conjunto complexo em termos computacionais, deixando como desafio a projetistas de sistemas de hardware e de software a otimização das metodologias do padrão para a devida realização do H.264/AVC em produtos comercialmente viáveis. Esta tese abordará a análise do codificador H.264/AVC sob a ótica do esforço computacional envolvido em sua operação a partir de implementações em software executadas em computadores pessoais. A primeira contribuição trata de uma metodologia de otimização on-line do módulo de predições de forma a restringir a complexidade computacional da codificação a uma determinada provisão. A segunda contribuição apresentada estende o conceito de otimização RD com a inserção de mais um eixo de análise, o eixo da complexidade C. Duas implementações de alto desempenho computacional foram estudadas e otimizadas em termos de RDC. Derivou-se, a partir de treinamento off-line, dois arranjos de codificadores capazes de comprimir vídeo digital a velocidades controladas em faixas de valores de interesse prático. Por fim, uma última contribuição altera o esquema de otimização RDC e adiciona o eixo da energia demandada E ao problema de otimização RD, resultando num sistema em tempo real otimizado em termos de RDE. O codificador proposto otimizado por demanda energética é capaz de escalonar o consumo de energia em valores significativos às custas de impacto mínimo em termos de desempenho RD. Essa contribuição resume-se em um exemplo real de computação verde, em que uma atividade computacional é realizada por um mesmo equipamento, gastando menos energia e exposto a pequenas penalidades em termos de desempenho. Com isso, esperamos estar contribuindo para um sistema mais “verde”, reduzindo as emissões de carbono de servidores de computação intensiva. _______________________________________________________________________________________ ABSTRACTDigital video communications were largely benefited from advances in technology and in industrial processes. The falling prices of acquisition devices and the evolution of signal processing made digital video an ubiquitous technology. Digital video encoders are the cornerstone for the popularity of video technologies and its state-of-the-art is represented by the H.264/AVC standard. The myriad of coding tools made the H.264/AVC a massively complex application, imposing challenges to hardware and software designers when realizing commercial appliances. This thesis analyses the H.264/AVC complexity when implemented in software and executed on personal computers. The first contribution leads to a on-line optimization method for the prediction stage in order to constrain the complexity to a certain level. The approach uses mode ranking and yields substantive complexity reduction. The second contribution extends the RD optimization framework adding a third analysis axis, the complexity C axis. Two high performance implementations were studied and RDC optimized. We derived a framework that allow for practical values of encoding speed with minor performance penalties. The RDC optimization framework was also modified by adding another axis to the optimization: the energy E axis. We provide a real-time RDE optimized scheme which is capable of scaling the energy demands in a significant range, slightly impacting the RD performance. This third contribution is a true example of green computingwhere the same task is accomplished in the same hardware system with much less energy consumption, incurring only is small performance penalties. Since we can provide settings to meet the rate and distortion targets, as well as the maximum encoding speed, using less energy, we hope to contribute towards a “greener” system, reducing the carbon footprint of video compression servers

Compressão de sequências de DNA usando codificação de vídeo

Monografia (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2014.Na área da bioinformática, uma importante tarefa é o sequenciamento de DNA, porém isso gera grandes quantidades de dados que precisam ser comprimidos. Na área do processamento de imagens, comprimir um vídeo é essencial, inclusive com taxas de compressão impressionantes. Dessa similaridade surgiu a hipótese da possibilidade de compressão de sequências de DNA com métodos de compressão de vídeo. Nesse trabalho foi elaborado uma abordagem prática para validar a hipótese. Transformando a sequência de DNA em um vídeo e usando um codificador H.264 e depois o caminho inverso de decodificar o H.264 e transformar o vídeo em sequência de DNA novamente. Analisando principalmente a perfeição da reconstrução da sequência e quanto foi a taxa de compressão comparado com um compressor padrão. Embora a taxa de compressão não tenha superado o compressor padrão, abriu a possibilidade de comprimir usando técnicas de processamento de imagem. _______________________________________________________________________ ABSTRACTIn bioinformatics, an important job is DNA sequenciang, but it come with a large amount of data that needs to be compressed. In image prossecing, it is very important to compress video data, moreover it compress with a impressive compression tax. Such similarities give rise a hypothesis of DNA sequence’s compression using video compression methods. In this work a practical approach was developed to validate this hypothesis. Transforming DNA sequence in video, run H.264 compression then the inverse process, decode H.264’s result and transform video in DNA sequence again. Analysing principally perfect reconstruction of sequence and the compression tax compared to a standard compressor. Although compression tax was not better than standard compression, opened up the possibility of compressing using processing image techniques

Codificação de vídeo H.264: estudo de codificação mista de macroblocos

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia Elétrica.Esta dissertação trata da codificação e compressão de vídeo digital, particularmente focando o recente padrão de codificação H.264. O interesse em tal padrão tem crescido bastante ultimamente, principalmente para o uso em novos sistemas de armazenamento e de transmissão de vídeo digital. O H.264 é um padrão de vídeo atual que possui muito bom desempenho - taxa de bits 50% menor do que a do seu antecessor MPEG?2, mantendo o mesmo desempenho de qualidade. Nesta dissertação, são abordadas duas extensões (aprimoramentos) ao padrão H.264, visando melhorar ainda mais o desempenho de tal padrão, isto é, aumentar a qualidade do sinal comprimido (mantendo a mesma taxa de bits), ou reduzir a taxa de bits (mantendo a mesma qualidade). As extensões fundamentam?se no fato de que alguns tipos de macroblocos (segmentos do sinal de vídeo) possuem uma pequena região distinta que geralmente tem influência negativa na taxa de bits. Inicialmente, são apresentadas as principais características da codificação de vídeo e do padrão H.264. Em seguida, um detalhamento dos diversos processos que estão relacionados aos aprimoramentos são considerados, principalmente nos processos de codificação de macroblocos, predição e otimização da taxa?distorção Lagrangiana. Para avaliar os novos modos de codificação, o código do modelo de referência (JM) de implementação do padrão H.264 é modificado para incluir tais extensões (tanto na codificação quanto na decodificação). Os resultados obtidos decorrentes das modificações propostas são avaliados através do uso de diversas seqüências?padrão de teste. Tais resultados indicam que os aprimoramentos conseguidos são passíveis de serem incluídos no referido padrão

Codificador de vídeo baseado na transformada de ôndulas 3D

Neste artigo apresenta-se um codificador de vídeo baseado na transformada de ôndulas, com interface do tipo Windows®, desenvolvido em Borland C++ Builder v5.0. O codificador tira partido das características da estrutura hierárquica 3D de coeficientes da DWT, resultante da sua aplicação no domínio do tempo e do espaço. O utilizador escolhe a sequência a codificar (armazenada em ficheiro), o número de tramas, o nível de decisão, e a ôndula a considerar na DWT no espaço, podendo obter resultados do desempenho do codificador, e guardar esses valores em ficheiros compatíveis com Microsoft® Excel. Pode, também, visualizar alguns resultados intermédios do processo de codificação, nomeadamente a decomposição por aplicação da DWT no tempo e no espaço, conferindo a este trabalho, também, um cariz didáctico

Codificação compatível de vídeo 3D com o algoritmo HEVC

Esta dissertação apresenta um trabalho sobre codificação de vídeo 3D compatível com vídeo 2D. Tem por base o desenvolvimento de um método para melhorar, no descodificador, a reconstrução de uma vista subamostrada resultante de uma transmissão simulcast usando a norma de codificação de vídeo H.265 (informalmente denominada de High Efficiency Video Coding (HEVC)). Apesar de manter a compatibilidade com vídeo 2D a transmissão simulcast normalmente requer uma taxa de transmissão elevada. Na ausência de ferramentas de codificação 3D adequadas é possível reduzir a taxa de transmissão utilizando compressão assimétrica do vídeo, onde a vista base é codificada com a resolução espacial original, enquanto que a vista auxiliar é codificada com uma resolução espacial menor, sendo sobreamostrada no descodificador. O método desenvolvido visa melhorar a vista auxiliar sobreamostrada no descodificador utilizando informação dos detalhes da vista base, ou seja, as componentes de alta frequência. Este processo depende de transformadas Afim para realizar um mapeamento geométrico entre a informação de alta frequência da vista base de resolução completa e a vista auxiliar de menor resolução. Adicionalmente, de modo a manter a continuidade do conteúdo da imagem entre regiões, evitando artefatos de blocos, o mapeamento utiliza uma malha de triangulação da vista auxiliar aplicado à imagem de detalhes obtida a partir da vista base. A técnica proposta é comparada com um método de estimação de disparidade por correspondência de blocos, sendo que os resultados mostram que para algumas sequências a técnica desenvolvida melhora não só a qualidade objetiva (PSNR) até 2.2 dB, mas também a qualidade subjetiva, para a mesma taxa de compressão global