A method for optimal linear super-resolution image restoration

В статье предлагается метод сверхразрешения (измельчения сетки пикселов) цифровых изображений, основанный на применении линейной фильтрации к дискретному сигналу, дополненному нулями между отсчетами (пикселами). Для синтеза восстанавливающей системы вводится в рассмотрение непрерывно-дискретная модель наблюдения, характерная для реальных систем формирования изображений, в соответствии с которой изначально непрерывный сигнал сначала претерпевает линейные (динамические) искажения, а затем подвергается дискретизации и воздействию аддитивного шума. Для такой модели наблюдения строится процедура оптимального по критерию среднеквадратического отклонения процедура восстановления. Использование непрерывно-дискретной модели позволяет более адекватно описать искажения изображений, а также оценить остаточную погрешность такого восстановления, что полезно для решения ряда других задач (например, комплексирования изображений). В теоретической части статьи приводится общая схема линейного сверхразрешения сигнала, выводятся выражения для импульсной и частотной характеристики оптимальной восстанавливающей системы, а также для ошибки такого восстановления. Для краткости изложения материала всё описание ведется для одномерного сигнала, но полученные результаты предполагают естественное обобщение на случай двумерных изображений. Расчетный параграф статьи посвящен анализу ошибки сверхразрешающего восстановления в зависимости от параметров модели наблюдения. Продемонстрировано существенное превосходство предлагаемого метода по точности в сравнении с линейной интерполяцией, обычно применяемой при измельчении сетки пикселов изображения.Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-31-90113 в частях «Введение», «Общая схема линейного сверхразрешения сигнала», «Непрерывно-дискретная линейная модель наблюдения сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала – анализ в спектральной области», «Ошибка оптимального восстановления», «Оптимальное восстановление полного непрерывного сигнала», проекта № 19-07-00474 в части «Исследование предлагаемого метода»

Image Formation Model Guided Deep Image Super-Resolution

We present a simple and effective image super-resolution algorithm that imposes an image formation constraint on the deep neural networks via pixel substitution. The proposed algorithm first uses a deep neural network to estimate intermediate high-resolution images, blurs the intermediate images using known blur kernels, and then substitutes values of the pixels at the un-decimated positions with those of the corresponding pixels from the low-resolution images. The output of the pixel substitution process strictly satisfies the image formation model and is further refined by the same deep neural network in a cascaded manner. The proposed framework is trained in an end-to-end fashion and can work with existing feed-forward deep neural networks for super-resolution and converges fast in practice. Extensive experimental results show that the proposed algorithm performs favorably against state-of-the-art methods.Comment: AAAI 2020. The training code and models are available at https://github.com/jspan/PHYSICS S