Structural Similarity based Anatomical and Functional Brain Imaging Fusion

Multimodal medical image fusion helps in combining contrasting features from two or more input imaging modalities to represent fused information in a single image. One of the pivotal clinical applications of medical image fusion is the merging of anatomical and functional modalities for fast diagnosis of malignant tissues. In this paper, we present a novel end-to-end unsupervised learning-based Convolutional Neural Network (CNN) for fusing the high and low frequency components of MRI-PET grayscale image pairs, publicly available at ADNI, by exploiting Structural Similarity Index (SSIM) as the loss function during training. We then apply color coding for the visualization of the fused image by quantifying the contribution of each input image in terms of the partial derivatives of the fused image. We find that our fusion and visualization approach results in better visual perception of the fused image, while also comparing favorably to previous methods when applying various quantitative assessment metrics.Comment: Accepted at MICCAI-MBIA 201

Parameterized interpolation for fusion of multidimensional signals of various resolutions

Производится адаптация параметризованных алгоритмов интерполяции к задаче комплексирования многомерных сигналов различного разрешения. Конкретизируются интерполирующие функции, правила переключения между ними и локальные признаки, на основе которых осуществляется выбор интерполирующей функции в каждой точке сигнала. Производится оптимизация параметризованных алгоритмов интерполяции, исходя из минимизации погрешности интерполяции. Рекуррентная схема оптимизации интерполятора рассматривается для ситуации недоступности интерполируемых отсчётов на этапе настройки интерполяционной процедуры. Производятся вычислительные эксперименты по исследованию предложенных интерполяторов при комплексировании реальных многомерных сигналов различных типов. Экспериментально подтверждается, что использование параметризованных интерполяторов позволяет повысить точность комплексирования.Исследование выполнено при финансовой поддерж-ке РФФИ в рамках научных проектов № 18-01-00667 (параграфы 1.2, 2, 3) и 18-07-01312 (параграф 1.1), а также Министерства науки и высшего образования РФ в рамках Госзадания ФНИЦ «Кристаллография и фотоника» РАН (параграф «Введение»)