Програмна система для дослідження паралельних алгоритмів з використанням обчислень на графічному процесорі

Розроблено програмне забезпечення для дослідження паралельних алгоритмів сегментації зображень з використанням обчислень на графічному процесоріThe software for the study of parallel algorithms for image segmentation using computation on GPUs is developed and presente

Програмна система для дослідження паралельних алгоритмів з використанням обчислень на графічному процесорі

Розроблено програмне забезпечення для дослідження паралельних алгоритмів сегментації зображень з використанням обчислень на графічному процесоріThe software for the study of parallel algorithms for image segmentation using computation on GPUs is developed and presente

An Improved Image Segmentation System: A Cooperative Multi-agent Strategy for 2D/3D Medical Images

In this paper, we present a solution-based cooperation approach for strengthening the image segmentation.This paper proposes a cooperative method relying on Multi-Agent System. The main contribution of this work is to highlight the importance of cooperation between the contour and region growing based on Multi-Agent System (MAS). Consequently, agents’ interactions form the main part of the whole process for image segmentation. Similar works were proposed to evaluate the effectiveness of the proposed solution. The main difference is that our Multi-Agent System can perform the segmentation process ensuring efficiency. Our results show that the performance indices in the system were higher. Furthermore, the integration of thecooperation paradigm allows to speed up the segmentation process. Besides, the tests reveal the robustness of our method by proving competitive results. Our proposal achieved an accuracy of 93,51%± 0,8, a sensitivity of 93,53%± 5,08 and a specificity rate of 92,64%± 4,01

Розробка моделі сегментації зображень з використанням згорткової нейронної мережі

This paper has considered a model of image segmentation using convolutional neural networks and studied the process efficiency based on models involving training the deep layers of convolutional neural networks. There are objective difficulties associated with determining the optimal characteristics of neural networks, so there is an issue related to retraining the neural network. Eliminating retraining by determining the optimal number of epochs only would not suffice since it does not provide high accuracy. The requirements for the set of images for training and model verification were defined. These requirements are best met by the image sets PASCAL VOC (United Kingdom) and NVIDIA-Aerial Drone (USA). It has been established that AlexNet (Canada) is a trained model and could perform image segmentation while object recognition reliability is insufficient. Therefore, there is a need to improve the efficiency of image segmentation. It is advisable to use the AlexNet architecture to build a specialized model, which, by changing the parameters and retraining some layers, would allow for a better process of image segmentation. Five models have been trained using the following parameters: learning speed, the number of epochs, optimization algorithm, the type of learning speed change, a gamma coefficient, a pre-trained model. A convolutional neural network has been developed to improve the accuracy and efficiency of image segmentation. Optimal neural network training parameters have been determined: learning speed is 0.0001, the number of epochs is 50, a gamma coefficient is 0.1, etc. An increase in accuracy by 3 % was achieved, which makes it possible to assert the correctness of the choice of the architecture for the developed network and the selection of parameters. That allows this network to be used for practical tasks related to image segmentation, in particular for devices with limited computing resourcesРассмотрена модель сегментации изображений с помощью свёрточных нейронных сетей и исследование эффективности процесса на основе моделей с обучением глубоких слоев свёрточных нейросетей. Существуют трудности, связанные с определением оптимальных характеристик нейронных сетей, поэтому есть проблема переобучения нейросети. Устранение переобучения путем определения только оптимального количества эпох недостаточно, поскольку не обеспечивает высокую точность. Определены требования к набору изображений для обучения и проверки модели. Данным требованиям наиболее соответствуют наборы изображений PASCAL VOC (Великобритания) и NVIDIA-Aerial Drone (США). Установлено, что AlexNet (Канада) является обученной моделью и может выполнять сегментацию изображений, однако надежность распознавания объектов недостаточна. Поэтому возникает необходимость повышения эффективности сегментации изображений. Целесообразно использовать архитектуру AlexNet для создания специализированной модели, которая за счет изменения параметров и переобучения некоторых слоев позволит лучше проводить процесс сегментации изображения. Выполнено обучение пяти моделей с использованием следующих параметров: скорость обучения, число эпох, алгоритм оптимизации, вид изменения скорости обучения, коэффициент gamma, предварительно обученная модель. Разработана свёрточная нейронная сеть для повышения точности и эффективности сегментации изображения. Определены оптимальные параметры обучения нейросети: скорость обучения – 0,0001, число эпох – 50, коэффициент gamma – 0,1. Получено повышение точности на 3 %, которое позволяет утверждать о правильности выбора архитектуры разработанной сети и подбора параметров. Это дает возможность использовать данную сеть для устройств с ограниченными вычислительными ресурсамиРозглянуто модель сегментації зображень за допомогою згорткових нейронних мереж та дослідження ефективності процесу на основі моделей із навчанням глибоких шарів згорткових нейромереж. Існують об’єктивні труднощі, пов’язані з визначенням оптимальних характеристик нейронних мереж, тому є проблема перенавчання нейромережі. Усунення перенавчання шляхом визначення лише оптимальної кількості епох недостатнє, оскільки не забезпечує високу точність. Визначено вимоги до набору зображень для навчання та перевірки моделі. Даним вимогам найбільш відповідають набори зображень PASCAL VOC (Велика Британія) і NVIDIA-Aerial Drone (США). Встановлено, що AlexNet (Канада) є навченою моделлю і може виконувати сегментацію зображень, проте надійність розпізнавання об’єктів недостатня. Тому виникає необхідність підвищення ефективності сегментацїі зображень. Доцільно використати архітектуру AlexNet для створення спеціалізованої моделі, яка за рахунок зміни параметрів та перенавчання деяких шарів дозволить краще проводити процес сегментації зображення. Виконано навчання п’яти моделей з використанням таких параметрів: швидкість навчання, число епох, алгоритм оптимізації, вид зміни швидкості навчання, коефіцієнт gamma, попередньо навчена модель. Розроблено згорткову нейронну мережу для підвищення точності та ефективності сегментації зображення. Визначено оптимальні параметри навчання нейромережі: швидкість навчання – 0,0001, число епох – 50, коефіцієнт gamma – 0,1 тощо. Отримано підвищення точності на 3 %, яке дозволяє стверджувати про правильність вибору архітектури розробленої мережі та підбору параметрів. Це дає можливість використовувати дану мережу для практичних задач сегментації зображень, зокрема для пристроїв із обмеженими обчислювальними ресурсам

Aplicação de uma métrica de similaridade não linear em algoritmos de segmentação

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, 2015.Um dos principais processos utilizados no campo de processamento digital de imagens é a segmentação, processo no qual a imagem é separada em seus elementos ou partes constituintes. Na literatura, existem diferentes e bem conhecidos métodos usados para segmentação, tais como clusterização, limiarização, segmentação com redes neurais e segmentação por crescimento de regiões . No intuito de melhorar de melhorar o desempenho dos algoritmos de segmentação, um estudo sobre o efeito da aplicação de uma métrica não linear em algoritmos de segmentação foi realizado neste trabalho. Foram selecionados três algoritmos de segmentação (Mumford-Shah, Color Structure Code e Felzenszwalb and Huttenlocher) provenientes do método de crescimento de regiões e nestes se alterou a parte de análise de similaridade utilizando para tal uma métrica não linear. A métrica não linear utilizada, denominada Polinomial Mahalanobis, é uma variação da distância de Mahalanobis utilizada para medir a distância estatística entre distribuições. Uma avaliação qualitativa e uma análise empírica foram realizadas neste trabalho para comparar os resultados obtidos em termos de eficácia. Os resultados desta comparação, apresentados neste estudo, apontam uma melhoria nos resultados de segmentação obtidos pela abordagem proposta. Em termos de eficiência, foram analisados os tempos de execução dos algoritmos com e sem o aprimoramento e os resultados desta análise mostraram um aumento do tempo de execução dos algoritmos com abordagem proposta.Abstract : One of the main procedures used on digital image processing is segmentation,where the image is split into its constituent parts or objects. In the literature,there are different well-known methods used for segmentation, suchas clustering, thresholding, segmentation using neural network and segmentationusing region growing. Aiming to improve the performance of the segmentationalgorithms, a study off the effect of the application of a non-linearmetric on segmentation algorithms was performed in this work. Three segmentationalgorithms were chosen (Mumford-Shah, Color Structure Code,Felzenszwalb and Huttenlocher) originating from region growing techniques,and on those the similarity metric was enhanced with a non-linear metric.The non-linear metric used, known as Polynomial Mahalanobis, is a variationfrom the statistical Mahalanobis distance used for measure the distancebetween distributions. A qualitative evaluation and empirical analysis wasperformed in this work to compare the obtained results in terms of efficacy.The results from these comparison, presented in this study, indicate an improvementon the segmentation result obtained by the proposed approach. Interms of efficiency, the execution time of the algorithms with and without theproposed improvement were analyzed and the result of this analysis showedan increase of the execution time for the algorithms with the proposed approach

Image segmentation evaluation and its application to object detection

The first parts of this Thesis are focused on the study of the supervised evaluation of image segmentation algorithms. Supervised in the sense that the segmentation results are compared to a human-made annotation, known as ground truth, by means of different measures of similarity. The evaluation depends, therefore, on three main points. First, the image segmentation techniques we evaluate. We review the state of the art in image segmentation, making an explicit difference between those techniques that provide a flat output, that is, a single clustering of the set of pixels into regions; and those that produce a hierarchical segmentation, that is, a tree-like structure that represents regions at different scales from the details to the whole image. Second, ground-truth databases are of paramount importance in the evaluation. They can be divided into those annotated only at object level, that is, with marked sets of pixels that refer to objects that do not cover the whole image; or those with annotated full partitions, which provide a full clustering of all pixels in an image. Depending on the type of database, we say that the analysis is done from an object perspective or from a partition perspective. Finally, the similarity measures used to compare the generated results to the ground truth are what will provide us with a quantitative tool to evaluate whether our results are good, and in which way they can be improved. The main contributions of the first parts of the thesis are in the field of the similarity measures. First of all, from an object perspective, we review the used basic measures to compare two object representations and show that some of them are equivalent. In order to evaluate full partitions and hierarchies against an object, one needs to select which of their regions form the object to be assessed. We review and improve these techniques by means of a mathematical model of the problem. This analysis allows us to show that hierarchies can represent objects much better with much less number of regions than flat partitions. From a partition perspective, the literature about evaluation measures is large and entangled. Our first contribution is to review, structure, and deduplicate the measures available. We provide a new measure that we show that improves previous ones in terms of a set of qualitative and quantitative meta-measures. We also extend the measures on flat partitions to cover hierarchical segmentations. The second part of this Thesis moves from the evaluation of image segmentation to its application to object detection. In particular, we build on some of the conclusions extracted in the first part to generate segmented object candidates. Given a set of hierarchies, we build the pairs and triplets of regions, we learn to combine the set from each hierarchy, and we rank them using low-level and mid-level cues. We conduct an extensive experimental validation that show that our method outperforms the state of the art in many metrics tested

Green Function and Electromagnetic Potential for Computer Vision and Convolutional Neural Network Applications

RÉSUMÉ Pour les problèmes de vision machine (CV) avancées, tels que la classification, la segmentation de scènes et la détection d’objets salients, il est nécessaire d’extraire le plus de caractéristiques possibles des images. Un des outils les plus utilisés pour l’extraction de caractéristiques est l’utilisation d’un noyau de convolution, où chacun des noyaux est spécialisé pour l’extraction d’une caractéristique donnée. Ceci a mené au développement récent des réseaux de neurones convolutionnels (CNN) qui permet d’optimiser des milliers de noyaux à la fois, faisant du CNN la norme pour l’analyse d’images. Toutefois, une limitation importante du CNN est que les noyaux sont petits (généralement de taille 3x3 à 7x7), ce qui limite l’interaction longue-distance des caractéristiques. Une autre limitation est que la fusion des caractéristiques se fait par des additions pondérées et des opérations de mise en commun (moyennes et maximums locaux). En effet, ces opérations ne permettent pas de fusionner des caractéristiques du domaine spatial avec des caractéristiques puisque ces caractéristiques occupent des positions éloignées sur l’image. L’objectif de cette thèse est de développer des nouveaux noyaux de convolutions basés sur l’électromagnétisme (EM) et les fonctions de Green (GF) pour être utilisés dans des applications de vision machine (CV) et dans des réseaux de neurones convolutionnels (CNN). Ces nouveaux noyaux sont au moins aussi grands que l’image. Ils évitent donc plusieurs des limitations des CNN standards puisqu’ils permettent l’interaction longue-distance entre les pixels de limages. De plus, ils permettent de fusionner les caractéristiques du domaine spatial avec les caractéristiques du domaine du gradient. Aussi, étant donné tout champ vectoriel, les nouveaux noyaux permettent de trouver le champ vectoriel conservatif le plus rapproché du champ initial, ce qui signifie que le nouveau champ devient lisse, irrotationnel et conservatif (intégrable par intégrale curviligne). Pour répondre à cet objectif, nous avons d’abord développé des noyaux convolutionnels symétriques et asymétriques basés sur les propriétés des EM et des GF et résultant en des noyaux qui sont invariants en résolution et en rotation. Ensuite, nous avons développé la première méthode qui permet de déterminer la probabilité d’inclusion dans des contours partiels, permettant donc d’extrapoler des contours fins en des régions continues couvrant l’espace 2D. De plus, la présente thèse démontre que les noyaux basés sur les GF sont les solveurs optimaux du gradient et du Laplacien.----------ABSTRACT For advanced computer vision (CV) tasks such as classification, scene segmentation, and salient object detection, extracting features from images is mandatory. One of the most used tools for feature extraction is the convolutional kernel, with each kernel being specialized for specific feature detection. In recent years, the convolutional neural network (CNN) became the standard method of feature detection since it allowed to optimize thousands of kernels at the same time. However, a limitation of the CNN is that all the kernels are small (usually between 3x3 and 7x7), which limits the receptive field. Another limitation is that feature merging is done via weighted additions and pooling, which cannot be used to merge spatial-domain features with gradient-domain features since they are not located at the same pixel coordinate. The objective of this thesis is to develop electromagnetic (EM) convolutions and Green’s functions (GF) convolutions to be used in Computer Vision and convolutional neural networks (CNN). These new kernels do not have the limitations of the standard CNN kernels since they allow an unlimited receptive field and interaction between any pixel in the image by using kernels bigger than the image. They allow merging spatial domain features with gradient domain features by integrating any vector field. Additionally, they can transform any vector field of features into its least-error conservative field, meaning that the field of features becomes smooth, irrotational and conservative (line-integrable). At first, we developed different symmetrical and asymmetrical convolutional kernel based on EM and GF that are both resolution and rotation invariant. Then we developed the first method of determining the probability of being inside partial edges, which allow extrapolating thin edge features into the full 2D space. Furthermore, the current thesis proves that GF kernels are the least-error gradient and Laplacian solvers, and they are empirically demonstrated to be faster than the fastest competing method and easier to implement. Consequently, using the fast gradient solver, we developed the first method that directly combines edges with saliency maps in the gradient domain, then solves the gradient to go back to the saliency domain. The improvement of the saliency maps over the F-measure is on average 6.6 times better than the nearest competing algorithm on a selected dataset. Then, to improve the saliency maps further, we developed the DSS-GIS model which combines edges with salient regions deep inside the network