Combining Super Resolution Algorithm (Gaussian Denoising and Kernel Blurring) and Compare with Camera Super Resolution

This problem addresses the problem of low-resolution image (noisy) that will proof later by PSNR number. The best way to improve this low-resolution problem is by utilizing Super Resolution (SR) algorithm methodology. SR algorithm methodology refers to the process of obtaining higher-resolution images from several lower-resolution ones, that is resolution enhancement. The quality improvement is caused by fractional-pixel displacements between images. SR allows overcoming the limitations of the imaging system (resolving limit of the sensors) without the need for additional hardware. This research aims to find the best SR algorithm in form of stand-alone algorithm or combine algorithm by comparing with the latest SR algorithm (Camera SR) from the previous research made by Chang Chen et al in 2019. Furthermore, we confidence this research will become the future guideline for anyone who want to improve the limitation of their low-resolution camera or vision sensor by implementing those SR algorithms

A method for optimal linear super-resolution image restoration

В статье предлагается метод сверхразрешения (измельчения сетки пикселов) цифровых изображений, основанный на применении линейной фильтрации к дискретному сигналу, дополненному нулями между отсчетами (пикселами). Для синтеза восстанавливающей системы вводится в рассмотрение непрерывно-дискретная модель наблюдения, характерная для реальных систем формирования изображений, в соответствии с которой изначально непрерывный сигнал сначала претерпевает линейные (динамические) искажения, а затем подвергается дискретизации и воздействию аддитивного шума. Для такой модели наблюдения строится процедура оптимального по критерию среднеквадратического отклонения процедура восстановления. Использование непрерывно-дискретной модели позволяет более адекватно описать искажения изображений, а также оценить остаточную погрешность такого восстановления, что полезно для решения ряда других задач (например, комплексирования изображений). В теоретической части статьи приводится общая схема линейного сверхразрешения сигнала, выводятся выражения для импульсной и частотной характеристики оптимальной восстанавливающей системы, а также для ошибки такого восстановления. Для краткости изложения материала всё описание ведется для одномерного сигнала, но полученные результаты предполагают естественное обобщение на случай двумерных изображений. Расчетный параграф статьи посвящен анализу ошибки сверхразрешающего восстановления в зависимости от параметров модели наблюдения. Продемонстрировано существенное превосходство предлагаемого метода по точности в сравнении с линейной интерполяцией, обычно применяемой при измельчении сетки пикселов изображения.Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-31-90113 в частях «Введение», «Общая схема линейного сверхразрешения сигнала», «Непрерывно-дискретная линейная модель наблюдения сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала – анализ в спектральной области», «Ошибка оптимального восстановления», «Оптимальное восстановление полного непрерывного сигнала», проекта № 19-07-00474 в части «Исследование предлагаемого метода»

A Neural Enhancement Post-Processor with a Dynamic AV1 Encoder Configuration Strategy for CLIC 2024

At practical streaming bitrates, traditional video compression pipelines frequently lead to visible artifacts that degrade perceptual quality. This submission couples the effectiveness of a neural post-processor with a different dynamic optimsation strategy for achieving an improved bitrate/quality compromise. The neural post-processor is refined via adversarial training and employs perceptual loss functions. By optimising the post-processor and encoder directly our method demonstrates significant improvement in video fidelity. The neural post-processor achieves substantial VMAF score increases of +6.72 and +1.81 at bitrates of 50 kb/s and 500 kb/s respectively

Adversarial training with cycle consistency for unsupervised super-resolution in endomicroscopy

In recent years, endomicroscopy has become increasingly used for diagnostic purposes and interventional guidance. It can provide intraoperative aids for real-time tissue characterization and can help to perform visual investigations aimed for example to discover epithelial cancers. Due to physical constraints on the acquisition process, endomicroscopy images, still today have a low number of informative pixels which hampers their quality. Post-processing techniques, such as Super-Resolution (SR), are a potential solution to increase the quality of these images. SR techniques are often supervised, requiring aligned pairs of low-resolution (LR) and high-resolution (HR) images patches to train a model. However, in our domain, the lack of HR images hinders the collection of such pairs and makes supervised training unsuitable. For this reason, we propose an unsupervised SR framework based on an adversarial deep neural network with a physically-inspired cycle consistency, designed to impose some acquisition properties on the super-resolved images. Our framework can exploit HR images, regardless of the domain where they are coming from, to transfer the quality of the HR images to the initial LR images. This property can be particularly useful in all situations where pairs of LR/HR are not available during the training. Our quantitative analysis, validated using a database of 238 endomicroscopy video sequences from 143 patients, shows the ability of the pipeline to produce convincing super-resolved images. A Mean Opinion Score (MOS) study also confirms this quantitative image quality assessment.Comment: Accepted for publication on Medical Image Analysis journa