There and Back Again: Self-supervised Multispectral Correspondence Estimation

Across a wide range of applications, from autonomous vehicles to medical imaging, multi-spectral images provide an opportunity to extract additional information not present in color images. One of the most important steps in making this information readily available is the accurate estimation of dense correspondences between different spectra. Due to the nature of cross-spectral images, most correspondence solving techniques for the visual domain are simply not applicable. Furthermore, most cross-spectral techniques utilize spectra-specific characteristics to perform the alignment. In this work, we aim to address the dense correspondence estimation problem in a way that generalizes to more than one spectrum. We do this by introducing a novel cycle-consistency metric that allows us to self-supervise. This, combined with our spectra-agnostic loss functions, allows us to train the same network across multiple spectra. We demonstrate our approach on the challenging task of dense RGB-FIR correspondence estimation. We also show the performance of our unmodified network on the cases of RGB-NIR and RGB-RGB, where we achieve higher accuracy than similar self-supervised approaches. Our work shows that cross-spectral correspondence estimation can be solved in a common framework that learns to generalize alignment across spectra

Algorithms for multi-frame image super-resolution under applicative noise based on deep neural networks

Рассматриваются алгоритмы построения многокадрового сверхразрешения, позволяющие восстанавливать изображения с высоким разрешением за счет накопления последовательности изображений с низким разрешением в условиях аппликативных помех. Воздействие аппликативных помех проявляется в появлении локальных участков аномальных наблюдений на каждом изображении и также является фактором понижения разрешения. Решению данной задачи до настоящего времени уделялось недостаточно внимания, при этом перспективным подходом для обработки изображений, включая построение многокадрового сверхразрешения, является использование глубоких нейронных сетей. В работе рассмотрены существующие подходы к решению данной задачи и предложен новый подход, основанный на использовании нескольких свёрточных нейронных сетей. Особенностью рассматриваемого подхода и реализуемых на его основе алгоритмов является выполнение итеративной обработки входной последовательности изображений с низким разрешением с применением нейронных сетей на разных этапах обработки, включая регистрацию изображений низкого разрешения, сегментацию и выявление участков, пораженных аппликативными помехами, а также преобразования, направленные непосредственно на повышение разрешения. Данный подход позволяет комбинировать сильные стороны существующих аналогов и устранить их основные недостатки, связанные с необходимостью использования приближенных математических моделей данных, которые требуются для синтеза алгоритмов обработки изображений в рамках статистической теории решений. Для обновления текущей оценки изображения высокого разрешения предложена специальная свёрточная нейронная сеть, организованная в виде направленного ациклического графа. Проведены экспериментальные исследования, показавшие работоспособность предложенного алгоритма и его преимущество по точности восстановления изображения с высоким разрешением по сравнению с альтернативными вариантами решения задачи

RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

We introduce Recurrent All-Pairs Field Transforms (RAFT), a new deep network architecture for optical flow. RAFT extracts per-pixel features, builds multi-scale 4D correlation volumes for all pairs of pixels, and iteratively updates a flow field through a recurrent unit that performs lookups on the correlation volumes. RAFT achieves state-of-the-art performance. On KITTI, RAFT achieves an F1-all error of 5.10%, a 16% error reduction from the best published result (6.10%). On Sintel (final pass), RAFT obtains an end-point-error of 2.855 pixels, a 30% error reduction from the best published result (4.098 pixels). In addition, RAFT has strong cross-dataset generalization as well as high efficiency in inference time, training speed, and parameter count. Code is available at https://github.com/princeton-vl/RAFT.Comment: fixed a formatting issue, Eq 7. no change in conten

Probabilistic Pixel-Adaptive Refinement Networks

Encoder-decoder networks have found widespread use in various dense prediction tasks. However, the strong reduction of spatial resolution in the encoder leads to a loss of location information as well as boundary artifacts. To address this, image-adaptive post-processing methods have shown beneficial by leveraging the high-resolution input image(s) as guidance data. We extend such approaches by considering an important orthogonal source of information: the network's confidence in its own predictions. We introduce probabilistic pixel-adaptive convolutions (PPACs), which not only depend on image guidance data for filtering, but also respect the reliability of per-pixel predictions. As such, PPACs allow for image-adaptive smoothing and simultaneously propagating pixels of high confidence into less reliable regions, while respecting object boundaries. We demonstrate their utility in refinement networks for optical flow and semantic segmentation, where PPACs lead to a clear reduction in boundary artifacts. Moreover, our proposed refinement step is able to substantially improve the accuracy on various widely used benchmarks.Comment: To appear at CVPR 202