An Efficient Algorithm for Video Super-Resolution Based On a Sequential Model

In this work, we propose a novel procedure for video super-resolution, that is the recovery of a sequence of high-resolution images from its low-resolution counterpart. Our approach is based on a "sequential" model (i.e., each high-resolution frame is supposed to be a displaced version of the preceding one) and considers the use of sparsity-enforcing priors. Both the recovery of the high-resolution images and the motion fields relating them is tackled. This leads to a large-dimensional, non-convex and non-smooth problem. We propose an algorithmic framework to address the latter. Our approach relies on fast gradient evaluation methods and modern optimization techniques for non-differentiable/non-convex problems. Unlike some other previous works, we show that there exists a provably-convergent method with a complexity linear in the problem dimensions. We assess the proposed optimization method on {several video benchmarks and emphasize its good performance with respect to the state of the art.}Comment: 37 pages, SIAM Journal on Imaging Sciences, 201

Estudo do comportamento do algoritmo LMS aplicado à reconstrução de vídeo com super-resolução

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia Elétrica.A reconstrução com super-resolução (SRR) de imagens consiste basicamente em combinar diversas imagens de baixa-resolução de uma mesma cena para formar uma imagem com resolução mais alta. Para isso, a posição relativa entre as imagens precisa ser geralmente estimada (registro). As principais características dessa técnica são a elevada sensibilidade a erros de registro, a dificuldade de modelagem dos sinais de imagem, o mau condicionamento do problema de SRR, e o elevado custo computacional. Dentre os algoritmos existentes na literatura, o LMS-SRR oferece grande vantagem computacional, uma qualidade importante para processamento em tempo-real. Entretanto, algoritmos adaptativos como os da família LMS carecem de modelos teóricos de comportamento quando aplicados a SRR, um requisito para que seus parâmetros possam ser projetados de forma eficiente. Neste trabalho, um modelo analítico para o comportamento estocástico do LMS-SRR é proposto. Equações recursivas são derivadas para os erros médio e quadrático médio de reconstrução, como funções dos erros de registro. Diretrizes específicas para o projeto dos parâmetros do algoritmo são propostas. Importantes conclusões acerca do efeito do passo de convergência no desempenho do algoritmo são apresentadas. Por fim, contrário ao que é tradicionalmente assumido em SRR, é mostrado que um nível moderado de erro de registro pode ser benéfico ao desempenho do algoritmo, dependendo da implementação. Nesses casos, os erros de registro podem contribuir para a redução da complexidade computacional, evitando a necessidade de um termo de regularização