Формирование комплексного изображения земной поверхности на основе кластеризации пикселей локационных снимков в многопозиционной бортовой системе

Предлагается способ комплексирования разноракурсных изображений с применением алгоритма квазиоптимальной кластеризации пикселей к исходным снимкам земной поверхности. Исходные разноракурсные изображения, сформированные бортовой аппаратурой многопозиционных локационных систем, состыковываются в единый составной снимок и при помощи высокоскоростного алгоритма квазиоптимальной кластеризации пикселей редуцируются до нескольких цветов с сохранением характерных границ. Особенность алгоритма квазиоптимальной кластеризации заключается в генерации серии разбиений с постепенно увеличивающейся детализацией за счет переменного числа кластеров. Эта особенность позволяет выбрать подходящие разбиения пар состыкованных изображений из серии сгенерированных. На паре изображений из выбранного разбиения состыкованного снимка осуществляется поиск опорных точек выделенных контуров. Для этих точек определяется функциональное преобразование и после его применения к исходным снимкам осуществляется оценка степени корреляции комплексированного изображения. Как положение опорных точек контура, так и само искомое функциональное преобразование уточняется до тех пор, пока оценка качества комплексирования не будет приемлемой. Вид функционального преобразования подбирается по редуцированным по цвету изображениям, а затем применяется к исходным снимкам. Этот процесс повторяется для кластеризованных изображений с большей детализацией в том случае, если оценка качества комплексирования не является приемлемой. Целью настоящего исследования является разработка способа, позволяющего сформировать комплексное изображение земной поверхности из разноформатных и разнородных снимков. В работе представлены следующие особенности способа комплексирования. Первая особенность заключается в обработке единого составного изображения из пары состыкованных исходных снимков алгоритмом кластеризации пикселей, что позволяет подобным образом выделить одинаковые области на его различных частях. Вторая особенность заключается в определении функционального преобразования по выделенным точкам контура на обработанной паре кластеризованных снимков, которое и применяется к исходным изображениям для их комплексирования. В работе представлены результаты формирования комплексного изображения как по однородным (оптическим) снимкам, так и по разнородным (радиолокационным и оптическим) снимкам. Отличительной чертой предлагаемого способа является улучшение качества формирования, повышение точности и информативности итогового комплексного изображения земной поверхности

Формирование комплексного изображения земной поверхности на основе кластеризации пикселей локационных снимков в многопозиционной бортовой системе

The paper proposes a method for fusioning multi-angle images implementing the algorithm for quasi-optimal clustering of pixels to the original images of the land surface. The original multi-angle images formed by the onboard equipment of multi-positional location systems are docked into a single composite image and, using a high-speed algorithm for quasi-optimal pixel clustering, are reduced to several colors while maintaining characteristic boundaries. A feature of the algorithm of quasi-optimal pixel clustering is the generation of a series of partitions with gradually increasing detail due to a variable number of clusters. This feature allows you to choose an appropriate partition of a pair of docked images from the generated series. The search for reference points of the isolated contours is performed on a pair of images from the selected partition of the docked image. A functional transformation is determined for these points. And after it has been applied to the original images, the degree of correlation of the fused image is estimated. Both the position of the reference points of the contour and the desired functional transformation itself are refined until the evaluation of the fusion quality is acceptable. The type of functional transformation is selected according to the images reduced in color, which later is applied to the original images. This process is repeated for clustered images with greater detail in the event that the assessment of the fusion quality is not acceptable. The purpose of present study is to develop a method that allows synthesizing fused image of the land surface from heteromorphic and heterogeneous images. The paper presents the following features of the fusing method. The first feature is the processing of a single composite image from a pair of docked source images by the pixel clustering algorithm, what makes it possible to isolate the same areas in its different parts in a similar way. The second feature consists in determining the functional transformation by the isolated reference points of the contour on the processed pair of clustered images, which is later applied to the original images to combine them. The paper presents the results on the synthesis of a fused image both from homogeneous (optical) images and from heterogeneous (radar and optical) images. A distinctive feature of the developed method is to improve the quality of synthesis, increase the accuracy and information content of the final fused image of the land surface.  Предлагается способ комплексирования разноракурсных изображений с применением алгоритма квазиоптимальной кластеризации пикселей к исходным снимкам земной поверхности. Исходные разноракурсные изображения, сформированные бортовой аппаратурой многопозиционных локационных систем, состыковываются в единый составной снимок и при помощи высокоскоростного алгоритма квазиоптимальной кластеризации пикселей редуцируются до нескольких цветов с сохранением характерных границ. Особенность алгоритма квазиоптимальной кластеризации заключается в генерации серии разбиений с постепенно увеличивающейся детализацией за счет переменного числа кластеров. Эта особенность позволяет выбрать подходящие разбиения пар состыкованных изображений из серии сгенерированных. На паре изображений из выбранного разбиения состыкованного снимка осуществляется поиск опорных точек выделенных контуров. Для этих точек определяется функциональное преобразование и после его применения к исходным снимкам осуществляется оценка степени корреляции комплексированного изображения. Как положение опорных точек контура, так и само искомое функциональное преобразование уточняется до тех пор, пока оценка качества комплексирования не будет приемлемой. Вид функционального преобразования подбирается по редуцированным по цвету изображениям, а затем применяется к исходным снимкам. Этот процесс повторяется для кластеризованных изображений с большей детализацией в том случае, если оценка качества комплексирования не является приемлемой. Целью настоящего исследования является разработка способа, позволяющего сформировать комплексное изображение земной поверхности из разноформатных и разнородных снимков. В работе представлены следующие особенности способа комплексирования. Первая особенность заключается в обработке единого составного изображения из пары состыкованных исходных снимков алгоритмом кластеризации пикселей, что позволяет подобным образом выделить одинаковые области на его различных частях. Вторая особенность заключается в определении функционального преобразования по выделенным точкам контура на обработанной паре кластеризованных снимков, которое и применяется к исходным изображениям для их комплексирования. В работе представлены результаты формирования комплексного изображения как по однородным (оптическим) снимкам, так и по разнородным (радиолокационным и оптическим) снимкам. Отличительной чертой предлагаемого способа является улучшение качества формирования, повышение точности и информативности итогового комплексного изображения земной поверхности

Normalized Cut-based Saliency Detection by Adaptive Multi-Level Region Merging

Existing salient object detection models favor over-segmented regions upon which saliency is computed. Such local regions are less effective on representing object holistically and degrade emphasis of entire salient objects. As a result, existing methods often fail to highlight an entire object in complex background. Towards better grouping of objects and background, in this paper we consider graph cut, more specifically the Normalized graph cut (Ncut) for saliency detection. Since the Ncut partitions a graph in a normalized energy minimization fashion, resulting eigenvectors of the Ncut contain good cluster information that may group visual contents. Motivated by this, we directly induce saliency maps via eigenvectors of the Ncut, contributing to accurate saliency estimation of visual clusters. We implement the Ncut on a graph derived from a moderate number of superpixels. This graph captures both intrinsic color and edge information of image data. Starting from the superpixels, an adaptive multi-level region merging scheme is employed to seek such cluster information from Ncut eigenvectors. With developed saliency measures for each merged region, encouraging performance is obtained after across-level integration. Experiments by comparing with 13 existing methods on four benchmark datasets including MSRA-1000, SOD, SED and CSSD show the proposed method, Ncut saliency (NCS), results in uniform object enhancement and achieves comparable/better performance to the state-of-the-art methods

Visual saliency prediction based on deep learning

The Human Visual System (HVS) has the ability to focus on specific parts of a scene, rather than the whole image. Human eye movement is also one of the primary functions used in our daily lives that helps us understand our surroundings. This phenomenon is one of the most active research topics in the computer vision and neuroscience fields. The outcomes that have been achieved by neural network methods in a variety of tasks have highlighted their ability to predict visual saliency. In particular, deep learning models have been used for visual saliency prediction. In this thesis, a deep learning method based on a transfer learning strategy is proposed (Chapter 2), wherein visual features in the convolutional layers are extracted from raw images to predict visual saliency (e.g., saliency map). Specifically, the proposed model uses the VGG-16 network (i.e., Pre-trained CNN model) for semantic segmentation. The proposed model is applied to several datasets, including TORONTO, MIT300, MIT1003, and DUT-OMRON, to illustrate its efficiency. The results of the proposed model are then quantitatively and qualitatively compared to classic and state-of-the-art deep learning models. In Chapter 3, I specifically investigate the performance of five state-of-the-art deep neural networks (VGG-16, ResNet-50, Xception, InceptionResNet-v2, and MobileNet-v2) for the task of visual saliency prediction. Five deep learning models were trained over the SALICON dataset and used to predict visual saliency maps using four standard datasets, namely TORONTO, MIT300, MIT1003, and DUT-OMRON. The results indicate that the ResNet-50 model outperforms the other four and provides a visual saliency map that is very close to human performance. In Chapter 4, a novel deep learning model based on a Fully Convolutional Network (FCN) architecture is proposed. The proposed model is trained in an end-to-end style and designed to predict visual saliency. The model is based on the encoder-decoder structure and includes two types of modules. The first has three stages of inception modules to improve multi-scale derivation and enhance contextual information. The second module includes one stage of the residual module to provide a more accurate recovery of information and to simplify optimization. The entire proposed model is fully trained from scratch to extract distinguishing features and to use a data augmentation technique to create variations in the images. The proposed model is evaluated using several benchmark datasets, including MIT300, MIT1003, TORONTO, and DUT-OMRON. The quantitative and qualitative experiment analyses demonstrate that the proposed model achieves superior performance for predicting visual saliency. In Chapter 5, I study the possibility of using deep learning techniques for Salient Object Detection (SOD) because this work is slightly related to the problem of Visual saliency prediction. Therefore, in this work, the capability of ten well-known pre-trained models for semantic segmentation, including FCNs, VGGs, ResNets, MobileNet-v2, Xception, and InceptionResNet-v2, are investigated. These models have been trained over an ImageNet dataset, fine-tuned on a MSRA-10K dataset, and evaluated using other public datasets, such as ECSSD, MSRA-B, DUTS, and THUR15k. The results illustrate the superiority of ResNet50 and ResNet18, which have Mean Absolute Errors (MAE) of approximately 0.93 and 0.92, respectively, compared to other well-known FCN models. Finally, conclusions are drawn, and possible future works are discussed in chapter 6