Оценка результатов повышения разрешения мультиспектральных спутниковых изображений методом слияния

When processing digital images obtained by remote sensing of the Earth, various methods are used to increase their resolution. However, in this case, some distortions of a different nature may appear on the images. For example, luminance distortion (color, contrast, sharpness) and geometric (object boundary deformations). Developers of automated image processing systems face the task of choosing from dozens of methods the one that introduces the least visually noticeable distortions, i.e. creates images of the best quality.In this article, the following problem was solved: to determine the functions for assessing the quality of images formed as a result of multispectral satellite image pansharpening. The pansharped image cannot be compared with the template one, since it does not exist. To assess quality of such images, we proposed to use the so-called no-reference evaluation measures.The article briefly describes methods for synthesizing a new high-resolution color image from four images of Earth remote sensing. Functions for calculating quantitative estimates of the quality of the resulting images are discussed. Results of some space image pansharpening by different methods are presented. Graphs of these assessments of image quality are constructed. To evaluate panchromatic fusion results, the following non-reference quality scores are recommended: FISH, LOCC, LOEN, NATU, SHAR, and WAVS. The clearest boundaries and natural colors of objects were demonstrated by the P+XS pansharpening algorithm based on a linear combination of spectral channels.При обработке цифровых изображений, полученных при дистанционном зондировании Земли, используются различные способы повышения их разрешения. Однако при этом на изображениях могут появиться искажения разного характера. Например, яркостные искажения (цвета, контраста, резкости) и геометрические (границ объектов). Перед разработчиками автоматизированных систем обработки изображений возникает задача из десятков методов выбрать тот, который вносит наименьшие визуально заметные искажения, т.е. создает изображения наилучшего качества.В данной статье решалась следующая задача: определить функции оценки качества изображений, формируемых в результате слияния мультиспектральных снимков с панхроматическим изображением, зарегистрированных одним спутником. Подобные преобразования называют – паншарпенинг. Полученный результат слияния невозможно сравнить с эталоном, поскольку его не существует. Для оценки качества таких изображений предлагается использовать так называемые безэталонные оценочные меры.  В статье кратко описаны методы синтеза нового цветного изображения высокого разрешения из четырех снимков дистанционного зондировании Земли. Обсуждаются особенности количественной оценки качества получаемых изображений. Приведены результаты преобразования космических изображений различными методами увеличения разрешения. Построены графики количественных оценок качества изображений. Для оценки результатов панхроматического слияния рекомендуется использовать следующие безэталонные оценки качества: FISH, LOCC, LOEN, NATU, SHAR и WAVS. При повышении разрешения мультиспектральных спутниковых изображений методом слияния с панхроматическим изображением лучшие результаты (четкие границы и естественные цвета) показал метод, в основе которого используется линейная комбинация спектральных каналов.

Particle Swarm Optimization-Based Multispectral Image Fusion for Minimizing Spectral Loss

A novel multispectral image fusion technique is proposed which minimizes the spectral loss of fused product using a proper objective function. It is found that the Relative Average Square Error (RASE) is a good choice to be considered as the objective function. A linear combination of multispectral bands is calculated in which the weights are optimized using particle swarm optimization algorithm. Several experimental studies have been conducted on three public domain datasets to show the effectiveness of the proposed approach in comparison with state-of-the-art methods. The objective and visual assessments of the proposed method support the claims provided in this paper

Particle Swarm Optimization-Based Multispectral Image Fusion for Minimizing Spectral Loss

A novel multispectral image fusion technique is proposed which minimizes the spectral loss of fused product using a proper objective function. It is found that the Relative Average Square Error (RASE) is a good choice to be considered as the objective function. A linear combination of multispectral bands is calculated in which the weights are optimized using particle swarm optimization algorithm. Several experimental studies have been conducted on three public domain datasets to show the effectiveness of the proposed approach in comparison with state-of-the-art methods. The objective and visual assessments of the proposed method support the claims provided in this paper

Two-path network with feedback connections for pan-sharpening in remote sensing

High-resolution multi-spectral images are desired for applications in remote sensing. However, multi-spectral images can only be provided in low resolutions by optical remote sensing satellites. The technique of pan-sharpening wants to generate high-resolution multi-spectral (MS) images based on a panchromatic (PAN) image and the low-resolution counterpart. The conventional deep learning based pan-sharpening methods process the panchromatic and the low-resolution image in a feedforward manner where shallow layers fail to access useful information from deep layers. To make full use of the powerful deep features that have strong representation ability, we propose a two-path network with feedback connections, through which the deep features can be rerouted for refining the shallow features in a feedback manner. Specifically, we leverage the structure of a recurrent neural network to pass the feedback information. Besides, a power feature extraction block with multiple projection pairs is designed to handle the feedback information and to produce power deep features. Extensive experimental results show the effectiveness of our proposed method