Unsupervised Sparse Dirichlet-Net for Hyperspectral Image Super-Resolution

In many computer vision applications, obtaining images of high resolution in both the spatial and spectral domains are equally important. However, due to hardware limitations, one can only expect to acquire images of high resolution in either the spatial or spectral domains. This paper focuses on hyperspectral image super-resolution (HSI-SR), where a hyperspectral image (HSI) with low spatial resolution (LR) but high spectral resolution is fused with a multispectral image (MSI) with high spatial resolution (HR) but low spectral resolution to obtain HR HSI. Existing deep learning-based solutions are all supervised that would need a large training set and the availability of HR HSI, which is unrealistic. Here, we make the first attempt to solving the HSI-SR problem using an unsupervised encoder-decoder architecture that carries the following uniquenesses. First, it is composed of two encoder-decoder networks, coupled through a shared decoder, in order to preserve the rich spectral information from the HSI network. Second, the network encourages the representations from both modalities to follow a sparse Dirichlet distribution which naturally incorporates the two physical constraints of HSI and MSI. Third, the angular difference between representations are minimized in order to reduce the spectral distortion. We refer to the proposed architecture as unsupervised Sparse Dirichlet-Net, or uSDN. Extensive experimental results demonstrate the superior performance of uSDN as compared to the state-of-the-art.Comment: Accepted by The IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018, Spotlight

Оценка результатов повышения разрешения мультиспектральных спутниковых изображений методом слияния

When processing digital images obtained by remote sensing of the Earth, various methods are used to increase their resolution. However, in this case, some distortions of a different nature may appear on the images. For example, luminance distortion (color, contrast, sharpness) and geometric (object boundary deformations). Developers of automated image processing systems face the task of choosing from dozens of methods the one that introduces the least visually noticeable distortions, i.e. creates images of the best quality.In this article, the following problem was solved: to determine the functions for assessing the quality of images formed as a result of multispectral satellite image pansharpening. The pansharped image cannot be compared with the template one, since it does not exist. To assess quality of such images, we proposed to use the so-called no-reference evaluation measures.The article briefly describes methods for synthesizing a new high-resolution color image from four images of Earth remote sensing. Functions for calculating quantitative estimates of the quality of the resulting images are discussed. Results of some space image pansharpening by different methods are presented. Graphs of these assessments of image quality are constructed. To evaluate panchromatic fusion results, the following non-reference quality scores are recommended: FISH, LOCC, LOEN, NATU, SHAR, and WAVS. The clearest boundaries and natural colors of objects were demonstrated by the P+XS pansharpening algorithm based on a linear combination of spectral channels.При обработке цифровых изображений, полученных при дистанционном зондировании Земли, используются различные способы повышения их разрешения. Однако при этом на изображениях могут появиться искажения разного характера. Например, яркостные искажения (цвета, контраста, резкости) и геометрические (границ объектов). Перед разработчиками автоматизированных систем обработки изображений возникает задача из десятков методов выбрать тот, который вносит наименьшие визуально заметные искажения, т.е. создает изображения наилучшего качества.В данной статье решалась следующая задача: определить функции оценки качества изображений, формируемых в результате слияния мультиспектральных снимков с панхроматическим изображением, зарегистрированных одним спутником. Подобные преобразования называют – паншарпенинг. Полученный результат слияния невозможно сравнить с эталоном, поскольку его не существует. Для оценки качества таких изображений предлагается использовать так называемые безэталонные оценочные меры.  В статье кратко описаны методы синтеза нового цветного изображения высокого разрешения из четырех снимков дистанционного зондировании Земли. Обсуждаются особенности количественной оценки качества получаемых изображений. Приведены результаты преобразования космических изображений различными методами увеличения разрешения. Построены графики количественных оценок качества изображений. Для оценки результатов панхроматического слияния рекомендуется использовать следующие безэталонные оценки качества: FISH, LOCC, LOEN, NATU, SHAR и WAVS. При повышении разрешения мультиспектральных спутниковых изображений методом слияния с панхроматическим изображением лучшие результаты (четкие границы и естественные цвета) показал метод, в основе которого используется линейная комбинация спектральных каналов.

Fusion of Landsat and Worldview Images

Pansharpened Landsat images have 15 m spatial resolution with 16-day revisit periods. On the other hand, Worldview images have 0.5 m resolution after pansharpening but the revisit times are uncertain. We present some preliminary results for a challenging image fusion problem that fuses Landsat and Worldview (WV) images to yield a high temporal resolution image sequence at the same spatial resolution of WV images. Since the spatial resolution between Landsat and Worldview is 30 to 1, our preliminary results are mixed in that the objective performance metrics such as peak signal-to-noise ratio (PSNR), correlation coefficient (CC), etc. sometimes showed good fusion performance, but at other times showed poor results. This indicates that more fusion research is still needed in this niche application