A Variational Bayesian Superresolution Approach Using Adaptive Image Prior Model

The objective of superresolution is to reconstruct a high-resolution image by using the information of a set of low-resolution images. Recently, the variational Bayesian superresolution approach has been widely used. However, these methods cannot preserve edges well while removing noises. For this reason, we propose a new image prior model and establish a Bayesian superresolution reconstruction algorithm. In the proposed prior model, the degree of interaction between pixels is adjusted adaptively by an adaptive norm, which is derived based on the local image features. Moreover, in this paper, a monotonically decreasing function is used to calculate and update the single parameter, which is used to control the severity of penalizing image gradients in the proposed prior model. Thus, the proposed prior model is adaptive to the local image features thoroughly. With the proposed prior model, the edge details are preserved and noises are reduced simultaneously. A variational Bayesian inference is employed in this paper, and the formulas for calculating all the variables including the HR image, motion parameters, and hyperparameters are derived. These variables are refined progressively in an iterative manner. Experimental results show that the proposed SR approach is very efficient when compared to existing approaches

Bulanıklık operatör bilgisi olmadan süper-çözünürlüklü görüntü elde edilmesi

06.03.2018 tarihli ve 30352 sayılı Resmi Gazetede yayımlanan “Yükseköğretim Kanunu İle Bazı Kanun Ve Kanun Hükmünde Kararnamelerde Değişiklik Yapılması Hakkında Kanun” ile 18.06.2018 tarihli “Lisansüstü Tezlerin Elektronik Ortamda Toplanması, Düzenlenmesi ve Erişime Açılmasına İlişkin Yönerge” gereğince tam metin erişime açılmıştır.Süper-çözünürlüklü görüntü oluşturma, eldeki çok sayıda düşük kaliteli (düşük çözünürlüklü, bulanıklığa uğramış) ve birbirine göre kaymış görüntüden yüksek kaliteli (yüksek çözünürlüklü, bulanıklık etkileri giderilmiş) bir görüntü elde etmektir. Literatürde önerilen hemen hemen tüm görüntü süper-çözünürlüğü yöntemlerinde bulanıklık operatörünün bilindiği varsayılmıştır. Ancak, pratik uygulamalarda kullanılacak bir süper-çözünürlük yönteminin gözü kapalı, yani bulanıklık operatörünü biliniyor varsaymayan olması gerekmektedir. Bu tez çalışmasında, bulanıklık operatörü bilinmiyor iken görüntü süper-çözünürlüğünün sağlanması ile ilgili çalışmalar yapılmıştır. Öncelikle gözlem modelinin izin verdiği hareket çeşidi olarak genel kayma hareketi ele alınmıştır. Bu durumda yüksek çözünürlüklü görüntü, iki aşamalı bir yöntemle oluşturulabilir. Birinci aşama, düşük çözünürlüklü görüntülerin boyutunu, ara-değerleme veya piksel aralarına sıfır değerli pikseller ekleme yoluyla arttırmaktır. İkinci aşama, boyutları arttırılmış görüntülerin her birini ayrı ayrı yeniden-oluşturma filtrelerinden geçirip toplamak ve yüksek çözünürlüklü görüntüyü elde etmektir. Yeniden oluşturma filtreleri, uyarlanır bir yapıya sahiptir ve katsayıları, her yinelemede görüntü ile ilgili bir maliyet fonksiyonunu (sabit-büyüklük maliyeti) enküçültecek şekilde yenilenir. Bu şekilde geliştirilen algoritma, piksel başına düşen bit sayısı düşük iken iyi sonuçlar vermiştir, ancak bit sayısı yükseldikçe performansı kötüleşmiştir. Bu durumu engellemek için gerçek görüntü piksel değerlerini karmaşık sayılar varsayan ve karmaşık değerli yeniden-oluşturma filtreleri kullanan yeni bir yöntem geliştirilmiştir. Geliştirilen yöntem, yüksek bit sayılarında performansın kötüleşmesi problemini gidermiş ve yüksek çözünürlüklü görüntüyü elde etmeyi başarmıştır.Gözü-kapalı süper-çözünürlük yöntemlerini geliştirmeden önce yeniden-oluşturma filtrelerinin varlık ve teklik koşulları araştırılmıştır. Yapılan analizler sonucunda, düşük çözünürlüklü görüntü sayısı belli bir değerden fazlaysa ve bulanıklık operatörlerinin birbirlerinden doğrusal bağımsız olması durumunda, boyutları belli bir değerden büyük olacak şekilde yeniden-oluşturma filtre kümelerinin oluşturulabileceği görülmüştür.Super-resolution image reconstruction can be defined as the process of constructing a high-quality and high-resolution image from several shifted, degraded and undersampled ones. In almost all super-resolution methods, the blur operator is assumed to be known. In this thesis, a super-resolution algorithm is presented in which the assumption of availability of the blur parameters is not necessary. The algorithm consists of determining a set of deconvolution filters to be applied on interpolated low-resolution and low-quality images. The adaptation of the filters are done by using the constant modulus algorithm. The method is suitable for pure translational motion and shift-invariant blur. Experimental results show that the method can reconstruct the high-resolution image and remove the blur especially for five or less-bit images. A new method is developed in which the original image pixels are assumed to have complex values and complex-valued adaptive filters are used. This method does not suffer from the problem of degradation of performance as the bit number increases. The method is shown to remove the blur and achieve increase in resolution for any-bit images.Before developing the blind super-resolution algorithms, the conditions for the existence and uniqueness of FIR restoration filters for exact super-resolution image reconstruction in case of pure translational motion and shift-invariant blur are derived. If the number of low-resolution images is larger than a threshold and the blur functions meet a certain property, then a set of restoration filters can be constructed for exact high-resolution image reconstruction even in the absence of motion

Super-resolução simultânea para sequência de imagens

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia Elétrica.Esta tese apresenta duas contribuições: uma nova classe de algoritmos de super-resolução (SR) simultânea e um novo método de determinação dos coeficientes de regularização. Os algoritmos SR buscam produzir imagens com resolução superior à fornecida pelo dispositivo de aquisição. Os algoritmos de super-resolução simultânea, por sua vez, produzem toda uma seqüência de imagens de alta resolução num único processo. O algoritmo SR simultâneo existente \cite{Borman-1999} é capaz de produzir imagens de qualidade superior à dos métodos tradicionais \cite{Kang-2003}, porque explora a similaridade entre as imagens em alta resolução. Contudo, o custo computacional deste método é alto e ele apresenta baixa robustez aos grandes erros de movimento. A primeira contribuição desta tese foi o aprimoramento dos métodos SR simultâneos. As expressões que exploram similaridade entre as imagens em alta resolução foram preservadas e generalizadas, ao passo que algumas expressões relacionadas aos dados, que são sensíveis aos grandes erros de movimento e são redundantes para a solução do problema, foram removidas. Este aprimoramento reduziu o custo computacional e possibilitou um maior controle sobre os grandes erros de movimento, aumentando a robustez do método e mantendo a qualidade superior das estimativas. A determinação dos coeficientes de regularização é uma etapa necessária nos algoritmos SR estudados nesta tese. Os métodos clássicos de determinação dos coeficientes, que possuem boa qualidade de estimativa e grande estabilidade, têm alto custo computacional no problema de super-resolução; por outro lado, métodos rápidos de determinação dos coeficientes, ou têm pouca qualidade na estimativa, ou são instáveis. Logo, a segunda contribuição proposta nesta tese é um novo método determinação dos coeficientes de regularização. Este método, baseado na teoria estatística Bayesiana JMAP e nos métodos baseados na Curva-L, alcança boa qualidade e grande estabilidade de estimativa, além de obter um baixo custo computacional