A Potential Heuristic-based Block Matching Algorithms for Motion Estimation in Video Compression

Motion estimation (ME) is one of the element keys in video compression that takes up to 60% in processing time. Block matching algorithm (BMA) is a technique that is used to reduce the computational complexity of ME algorithm due to its efficiency and good performance. Strategy of searching is one of the factors in developing motion estimation algorithm that has the potential to provide good performance. This study aims to implement several selected BMAs for achieving the least number of computations and to give better Peak Signal to Noise Ratio (PSNR) values using different video sequences. The proposed algorithms are modified based on the search strategy adapted from the standard algorithms approach. The results have proved that both modification algorithms (MDS and MARPS) have the potential in reducing the number of computations and achieved good PSNR values in all motion types as compared to DS and ARPS respectively. This work could be improved by using metaheuristic algorithms approach such as particle swarm optimization (PSO), artificial bee colony (ABC), tabu search (TS) and etc to provide the better result of PSNR values without increasing the number of computation

Análise comparativa entre algoritmos de estimação de movimento por block-matching para compressão de vídeo em resolução full HD

Trabalho de Conclusão de Curso, apresentado para obtenção do grau de Bacharel no Curso de Ciência da Computação da Universidade do Extremo Sul Catarinense, UNESC.Em virtude do recente crescimento das resoluções e qualidades de imagem em vídeos digitais, o aumento gradativo da demanda de largura de banda para a transmissão se torna inviável, despertando a necessidade da compressão destes vídeos. A principal técnica utilizada para a compressão de vídeos consiste em eliminar a redundância de informações entre quadros consecutivos, substituindo-as por vetores de movimento que indicam o deslocamento de determinados pixels do quadro. Esta técnica é chamada estimação de movimento, método empregado para identificar o movimento do quadro atual em comparação com o quadro anterior, sintetizar estes vetores de movimento e utilizá-los, enfim, para a reconstrução o quadro desejado. Essa reconstrução ocorre somente com o quadro anterior e os vetores, permitindo que o quadro atual seja descartado. Tal prática reduz significativamente o peso do vídeo, mas eleva a complexidade computacional e o tempo de compressão. A fim de amenizar esta contrapartida, foi introduzida na literatura a técnica de block-matching, responsável por segmentar o quadro em blocos de determinado tamanho, compará-los com outros blocos e atribuir o mesmo vetor de movimento para todos os pixels deste bloco. Esta técnica é amplamente difundida pela área tecnológica em vista de sua simplicidade de implementação e baixa complexidade computacional, enquanto que produzindo resultados satisfatórios, perante o olho humano. Ao longo dos anos, vários algoritmos de block-matching foram elaborados, refinando cada vez mais seus critérios de seleção de blocos. Contudo, estes algoritmos podem tornar-se obsoletos muito rapidamente, por conta do desenfreado crescimento das resoluções de imagem. Portanto, este trabalho visa apresentar e comparar três algoritmos de block-matching desenvolvidos nos últimos três anos, supostamente adaptados para a resolução full HD (1920x1080), que são os algoritmos PAL (Pal, 2015), WUARPS (Wu; Huang, 2016) e PRO (Ziwei et al, 2017). Os resultados apresentados apontam um equilíbrio entre os três no que diz respeito a qualidade do quadro reconstruído, complexidade computacional e tempo empregado na execução. Em destaque, o algoritmo PRO apresentou, de todos, a melhor qualidade de imagem, enquanto que o WUARPS obteve o menor tempo de execução. Já o algoritmo PAL possui melhor desempenho em sequências de baixo grau de movimentação. É interessante que futuras pesquisas possam abordar a utilização de tamanhos variados de blocos, no lugar de tamanhos de bloco fixos

Block-matching algorithm based on differential evolution for motion estimation

Motion estimation is one of the major problems in developing video coding applications. Among all motion estimation approaches, block-matching (BM) algorithms are the most popular methods due to their effectiveness and simplicity for both software and hardware implementations. A BM approach assumes that the movement of pixels within a defined region of the current frame (macro block, MB) can be modeled as a translation of pixels contained in the previous frame. In this procedure, the motion vector is obtained by minimizing the sum of absolute differences (SAD) produced by the MB of the current frame over a determined search window from the previous frame. The SAD evaluation is computationally expensive and represents the most consuming operation in the BM process. The most straightforward BM method is the full search algorithm (FSA), which finds the most accurate motion vector, exhaustively calculating the SAD values for all the elements of the search window. Over this decade, several fast BM algorithms have been proposed to reduce the number of SAD operations by calculating only a fixed subset of search locations at the cost of poor accuracy. In this paper, a new algorithm based on differential evolution (DE) is proposed to reduce the number of search locations in the BM process. To avoid computing several search locations, the algorithm estimates the SAD values (fitness) for some locations using the SAD values of previously calculated neighboring positions. As the proposed algorithm does not consider any fixed search pattern or any other different assumption, a high probability for finding the true minimum (accurate motion vector) is expected. In comparison with other fast BM algorithms, the proposed method deploys more accurate motion vectors, yet delivering competitive time rates. © 2012 Elsevier Ltd. All rights reserved

A Methodology to Develop Computer Vision Systems in Civil Engineering: Applications in Material Testing and Fish Tracking

[Resumen] La Visión Artificial proporciona una nueva y prometedora aproximación al campo de la Ingeniería Civil, donde es extremadamente importante medir con precisión diferentes procesos. Sin embargo, la Visión Artificial es un campo muy amplio que abarca multitud de técnicas y objetivos, y definir una aproximación de desarrollo sistemática es problemático. En esta tesis se propone una nueva metodología para desarrollar estos sistemas considerando las características y requisitos de la Ingeniería Civil. Siguiendo esta metodología se han desarrollado dos sistemas: Un sistema para la medición de desplazamientos y deformaciones en imágenes de ensayos de resistencia de materiales. Solucionando las limitaciones de los actuales sensores físicos que interfieren con el ensayo y solo proporcionan mediciones en un punto y una dirección determinada. Un sistema para la medición de la trayectoria de peces en escalas de hendidura vertical, con el que se pretende solucionar las carencias en el diseño de escalas obteniendo información sobre el comportamiento de los peces. Estas aplicaciones representan contribuciones significativas en el área, y demuestran que la metodología definida e implementada proporciona un marco de trabajo sistemático y confiable para el desarrollo de sistemas de Visión Artificial en Ingeniería Civil.[Resumo] A Visión Artificial proporciona unha nova e prometedora aproximación ó campo da Enxeñería Civil, onde é extremadamente importante medir con precisión diferentes procesos. Sen embargo, a Visión Artificial é un campo moi amplo que abarca multitude de técnicas e obxectivos, e definir unha aproximación de desenvolvemento sistemática é problemático. En esta tese proponse unha nova metodoloxía para desenvolver estes sistemas considerando as características e requisitos da Enxeñería Civil. Seguindo esta metodoloxía desenvolvéronse dous sistemas: Un sistema para a medición de desprazamentos e deformacións en imaxes de ensaios de resistencia de materiais. Solucionando as limitacións dos actuais sensores físicos que interfiren co ensaio e só proporcionan medicións nun punto e nunha dirección determinada. Un sistema para a medición da traxectoria de peixes en escalas de fenda vertical, co que se pretende solucionar as carencias no deseño de escalas obtendo información sobre o comportamento dos peixes. Estas aplicacións representan contribucións significativas na área, e demostran que a metodoloxía definida e implementada proporciona un marco de traballo sistemático e confiable para o desenvolvemento de sistemas de Visión Artificial en Enxeñería Civil.[Abstract] Computer Vision provides a new and promising approach to Civil Engineering, where it is extremely important to measure with accuracy real world processes. However, Computer Vision is a broad field, involving several techniques and topics, and the task of defining a systematic development approach is problematic. In this thesis a new methodology is carried out to develop these systems attending to the special characteristics and requirements of Civil Engineering. Following this methodology, two systems were developed: A system to measure displacements from real images of material surfaces taken during strength tests. This technique solves the limitation of current physical sensors, which interfere with the assay and which are limited to obtaining measurements in a single point of the material and in a single direction of the movement. A system to measure the trajectory of fishes in vertical slot fishways, whose purpose is to solve current lacks in the design of fishways by providing information of fish behavior. These applications represent significant contributions to the field and show that the defined and implemented methodology provides a systematic and reliable framework to develop a Computer Vision system in Civil Engineering