Structural Similarity based Anatomical and Functional Brain Imaging Fusion

Multimodal medical image fusion helps in combining contrasting features from two or more input imaging modalities to represent fused information in a single image. One of the pivotal clinical applications of medical image fusion is the merging of anatomical and functional modalities for fast diagnosis of malignant tissues. In this paper, we present a novel end-to-end unsupervised learning-based Convolutional Neural Network (CNN) for fusing the high and low frequency components of MRI-PET grayscale image pairs, publicly available at ADNI, by exploiting Structural Similarity Index (SSIM) as the loss function during training. We then apply color coding for the visualization of the fused image by quantifying the contribution of each input image in terms of the partial derivatives of the fused image. We find that our fusion and visualization approach results in better visual perception of the fused image, while also comparing favorably to previous methods when applying various quantitative assessment metrics.Comment: Accepted at MICCAI-MBIA 201

Локальная корреляционная метрика для оценки качества комбинирования АСМ-изображений

The problem of assessing the quality of combining component images formed in two synchronous channels of an atomic force microscope (AFM images), is considered. A computationally simple quality metric for combining component AFM images, based on local correlation coefficients is proposed, taking into account the contribution of each of the component AFM images to the resulting combined AFM image and the correlation between component AFM images. It is shown that local correlation provides a higher accuracy of AFM images combination quality estimation in comparison to the global correlation.Рассмотрена задача оценки качества комбинирования компонентных изображений, формируемых в двух синхронных каналах атомного силового микроскопа (АСМ-изображений). Предложена вычислительно простая метрика качества комбинирования компонентных АСМ-изображений на основе коэффициентов локальной корреляции, учитывающая вклад каждого из компонентных АСМ-изображений в результирующее комбинированное АСМ-изображение и корреляцию между компонентными АСМ-изображениями. Показано, что локальная корреляция обеспечивает более высокую точность оценки качества комбинирования АСМ-изображений по сравнению с глобальной корреляцией

Structural similarity loss for learning to fuse multi-focus images

© 2020 by the authors. Licensee MDPI, Basel, Switzerland. Convolutional neural networks have recently been used for multi-focus image fusion. However, some existing methods have resorted to adding Gaussian blur to focused images, to simulate defocus, thereby generating data (with ground-truth) for supervised learning. Moreover, they classify pixels as ‘focused’ or ‘defocused’, and use the classified results to construct the fusion weight maps. This then necessitates a series of post-processing steps. In this paper, we present an end-to-end learning approach for directly predicting the fully focused output image from multi-focus input image pairs. The suggested approach uses a CNN architecture trained to perform fusion, without the need for ground truth fused images. The CNN exploits the image structural similarity (SSIM) to calculate the loss, a metric that is widely accepted for fused image quality evaluation. What is more, we also use the standard deviation of a local window of the image to automatically estimate the importance of the source images in the final fused image when designing the loss function. Our network can accept images of variable sizes and hence, we are able to utilize real benchmark datasets, instead of simulated ones, to train our network. The model is a feed-forward, fully convolutional neural network that can process images of variable sizes during test time. Extensive evaluation on benchmark datasets show that our method outperforms, or is comparable with, existing state-of-the-art techniques on both objective and subjective benchmarks

Local Correlation Metric for Assessing the Quality of Combined AFM Images

Рассмотрена задача оценки качества комбинирования компонентных изображений, формируемых в двух синхронных каналах атомного силового микроскопа (АСМ-изображений). Предложена вычислительно простая метрика качества комбинирования компонентных АСМ-изображений на основе коэффициентов локальной корреляции, учитывающая вклад каждого из компонентных АСМ-изображений в результирующее комбинированное АСМ-изображение и корреляцию между компонентными АСМ-изображениями. Показано, что локальная корреляция обеспечивает более высокую точность оценки качества комбинирования АСМ-изображений по сравнению с глобальной корреляцией