ПРОЦЕДУРА ЗАСТОСУВАННЯ НЕЙРОННИХ МЕРЕЖ ДЛЯ СЕГМЕНТАЦІЇ РАСТРОВИХ ЗОБРАЖЕНЬ

Currently, means of semantic segmentation of images, based on the use of neural networks, are increasingly used in computer systems for various purposes. Despite significant successes in this field, one of the most important unsolved problems is the task of determining the type and parameters of convolutional neural networks, which are the basis of the encoder and decoder. As a result of the research, an appropriate procedure was developed that allows the neural network encoder and decoder to be adapted to the following conditions of the segmentation problem: image size, number of color channels, permissible minimum accuracy of segmentation, permissible maximum computational complexity of segmentation, the need to label segments, the need to select several segments, the need to select deformed, displaced and rotated objects, the maximum computational complexity of learning a neural network model is permissible; admissible training period of the neural network model. The implementation of the procedure of applying neural networks for image segmentation consists in the formation of the basic mathematical support, the construction of the main blocks and the general scheme of the procedure. The developed procedure was verified experimentally on examples of semantic segmentation of images containing objects such as a car. The obtained experimental results show that the application of the proposed procedure allows, avoiding complex long-term experiments, to build a neural network model that, with a sufficiently short training period, ensures the achievement of image segmentation accuracy of about 0.8, which corresponds to the best systems of a similar purpose. It is shown that the ways of further research in the direction of improving the methodological support of neural network segmentation of raster images should be correlated with the justified use of modern modules and mechanisms in the encoder and decoder, adapted to the significant conditions of the given task. For example, the use of the ResNet module allows you to increase the depth of the neural network due to the leveling of the gradient drop effect, and the Inception module provides a reduction in the number of weighting factors and the processing of objects of different sizes.В даний час засоби семантичної сегментації зображень, що базуються на використанні нейронних мереж, знаходять все ширше застосування в комп'ютерних системах різного призначення. Незважаючи на значні успіхи в даній галузі, однією з найважливіших невирішених задач є завдання визначення типу та параметрів згорткових нейронних мереж, що лежать в основі кодера та декодера. В результаті проведених досліджень розроблено відповідну процедуру, що дозволяє адаптувати нейромережевий кодер і декодер до таких умов задачі сегментації: розмір зображення, кількість кольорових каналів, допустима мінімальна точність сегментації, допустима максимальна обчислювальна складність сегментації, необхідність маркування сегментів, необхідність виділення кількох сегментів, необхідність виділення деформованих, зміщених та повернутих об'єктів, допустима максимальна обчислювальна складність навчання нейромережевої моделі; допустимий термін навчання нейромережевої моделі. Виконання процедури застосування нейронних мереж для сегментації зображень полягає у формуванні базисного математичного забезпечення, побудові основних блоків та загальної схеми процедури. Розроблена процедура верифікована експериментально на прикладах семантичної сегментації зображень, що містять об'єкти типу автомобіль. Отримані експериментальні результати свідчать, що застосування запропонованої процедури дозволяє уникнувши складних довготривалих експериментів, побудувати нейромережеву модель, яка при достатньо короткому терміні навчання забезпечує досягнення точності сегментації зображень близько 0,8, що відповідає найкращим системам аналогічного призначення. Показано, що шляхи подальших досліджень у напрямку вдосконалення методологічного забезпечення нейромережевої сегментації растрових зображень доцільно співвіднести з обґрунтованим використанням у кодері та декодері сучасних модулів та механізмів, адаптованих до значимих умов поставленої задачі. Наприклад, використання модулю ResNet дозволяє за рахунок нівелювання ефекту падіння градієнта збільшити глибину нейронної мережі, а модуля Inception забезпечує зменшення кількості вагових коефіцієнтів та обробку об'єктів різного розміру

Application Dependent Video Segmentation Evaluation - A Case Study for Video Surveillance

Evaluation of the performance of video segmentation algorithms is important in both theoretical and practical considerations. This paper addresses the problem of video segmentation assessment, through both subjective and objective approaches, for the specific application of video surveillance. After an overview of the state of the art technique in video segmentation objective evaluation metrics, a general framework is proposed to cope with application dependent evaluation assessment. Finally, the performance of the proposed scheme is compared to state of the art technique and various conclusions are drawn

Moving cast shadows detection methods for video surveillance applications

Moving cast shadows are a major concern in today’s performance from broad range of many vision-based surveillance applications because they highly difficult the object classification task. Several shadow detection methods have been reported in the literature during the last years. They are mainly divided into two domains. One usually works with static images, whereas the second one uses image sequences, namely video content. In spite of the fact that both cases can be analogously analyzed, there is a difference in the application field. The first case, shadow detection methods can be exploited in order to obtain additional geometric and semantic cues about shape and position of its casting object (’shape from shadows’) as well as the localization of the light source. While in the second one, the main purpose is usually change detection, scene matching or surveillance (usually in a background subtraction context). Shadows can in fact modify in a negative way the shape and color of the target object and therefore affect the performance of scene analysis and interpretation in many applications. This chapter wills mainly reviews shadow detection methods as well as their taxonomies related with the second case, thus aiming at those shadows which are associated with moving objects (moving shadows).Peer Reviewe

A Framework for Evaluating Video Object Segmentation Algorithms

Segmentation of moving objects in image sequences plays an important role in video processing and analysis. Evaluating the quality of segmentation results is necessary to allow the appropriate selection of segmentation algorithms and to tune their parameters for optimal performance. Many segmentation algorithms have been proposed along with a number of evaluation criteria. Nevertheless, no psychophysical experiments evaluating the quality of different video object segmentation results have been conducted. In this paper, a generic framework for segmentation quality evaluation is presented. A perceptually driven automatic method for segmentation evaluation is proposed and compared against an existing approach. Moreover, on the basis of subjective results, perceptual factors are introduced into the novel objective metric to meet the specificity of different segmentation applications such as video compression. Experimental results confirm the efficiency of the proposed evaluation criteria

On Evaluating Video Object Segmentation Quality: A Perceptually driven Objective Metric

Segmentation of moving objects in image sequences plays an important role in video processing and analysis. Evaluating the quality of segmentation results is necessary to allow the appropriate selection of segmentation algorithms and to tune their parameters for optimal performance. Many segmentation algorithms have been proposed along with a number of evaluation criteria. Nevertheless, no formal psychophysical experiments evaluating the quality of different video object segmentation results have been conducted. In this paper, a generic framework for segmentation quality evaluation is presented. A perceptually driven automatic method for segmentation evaluation is proposed and compared against state-of-the-art. Moreover, on the basis of subjective results, weighting strategies are introduced into the proposed objective metric to meet the specificity of different segmentation applications such as video compression and mixed reality. Experimental results confirm the efficiency of the proposed approach

Метод нейромережевого виділення об’єктів на растрових зображеннях

Актуальність. В теперішній час системи розпізнавання растрових зображень використовуються в багатьох галузях народного господарства. В більшості випадків, наприклад, в системах біометричної аутентифікації, результат аналізу співвідноситься з автоматичною класифікацією одного або декількох об’єктів, що можуть розміщуватись в різних областях такого зображення, можуть частково перетинатись та не мати чітких кордонів. В специфічних випадках, наприклад, в системах медичної діагностики, в результаті розпізнавання необхідно визначити кордони цільових об’єктів та відобразити їх на цьому ж зображенні. Вказана специфіка ще більш ускладнює результативність розпізнавання, хоча і частково компенсується за рахунок створення систем розпізнавання на базі нейронних мереж. Разом з тим, відомі нейромережеві системи виділення вузькоспеціалізовані та в недостатній мірі пристосовані до варіативності умов застосування, що призводить до необхідності розробки нових рішень в даній області. Мета дослідження. Метою магістерської роботи є розробка ефективного методу нейромережевого виділення об’єктів на растрових зображеннях, що забезпечує достатню точність виділення об’єктів при варіативних умовах застосування. Об’єкт дослідження – процес виділення об’єктів на растрових зображеннях. Предмет дослідження – моделі та методи нейромережевого виділення об’єктів на растрових зображеннях. Методи досліджень. В магістерській роботі використано методи теорії нейронних мереж та цифрової обробки сигналів та зображень. Наукова новизна одержаних результатів роботи полягає у наступному: отримали подальший розвиток моделі нейромережевого кодеру та декодеру, що за рахунок адаптації типу та параметрів згорткової нейронної мережі забезпечують можливість ефективного виділення об’єктів при варіативних умовах застосування; вперше розроблено метод нейромережевого виділення об'єктів, що за рахунок адаптації параметрів вхідного та вихідного полів навчальних прикладів до умов виділення об’єкту, доповнення навчальної вибірки за рахунок аугментації зображень та використання запропонованих моделей кодера та декодера, забезпечує можливість досягнення заданої точності виділення об’єктів на растрових зображеннях у варіативних умовах застосування. Практична цінність. Отримані результати можуть використовуватися у майбутніх дослідженнях за напрямками: вдосконалення методів нейромережевого аналізу растрових зображень; розпізнавання особи людини за зображенням обличчя; вдосконалення засобів технічного зору.Relevance. Currently, raster image recognition systems are used in many sectors of the economy. In most cases, for example, in biometric authentication systems, the result of the analysis is correlated with the automatic classification of one or more objects that may be located in different areas of the image, may partially intersect and have no clear boundaries. In specific cases, such as in medical diagnostic systems, the boundaries of the target must be identified as a result of the recognition and displayed on the same image. This specificity further complicates the effectiveness of recognition, although partially offset by the creation of recognition systems based on neural networks. However, the known neural network allocation systems are highly specialized and insufficiently adapted to the variability of application conditions, which leads to the need to develop new solutions in this area. The purpose of the study. The purpose of the master's work is to develop an effective method of neural network selection of objects on raster images, which provides sufficient accuracy of object selection under different conditions of application. Object of research – the process of selecting objects on raster images. Subject of research – models and methods of neural network selection of objects on raster images. Research methods. The master's thesis uses the methods of the theory of neural networks and digital processing of signals and images. The scientific novelty of the obtained results is as follows: further developed the model of neural network encoder and decoder, which due to the adaptation of the type and parameters of the convolutional neural network provide the ability to effectively select objects under different conditions of use; for the first time a method of neural network selection of objects was developed, which by adapting the parameters of input and output fields of educational examples to the conditions of object selection, supplementing the training sample by image augmentation and using the proposed encoder and decoder models objects on raster images in a variety of applications. Practical value. The obtained results can be used in future research in the following areas: improvement of methods of neural network analysis of raster images; recognition of a person's face by facial image; improving the means of technical vision

Object and feature based modelling of attention in meeting and surveillance videos

MPhilThe aim of the thesis is to create and validate models of visual attention. To this extent, a novel unsupervised object detection and tracking framework has been developed by the author. It is demonstrated on people, faces and moving objects and the output is integrated in modelling of visual attention. The proposed approach integrates several types of modules in initialisation, target estimation and validation. Tracking is rst used to introduce high-level features, by extending a popular model based on low-level features[1]. Two automatic models of visual attention are further implemented. One based on winner take it all and inhibition of return as the mech- anisms of selection on a saliency model with high- and low-level features combined. Another which is based only on high-level object tracking results and statistic proper- ties from the collected eye-traces, with the possibility of activating inhibition of return as an additional mechanism. The parameters of the tracking framework thoroughly investigated and its success demonstrated. Eye-tracking experiments show that high- level features are much better at explaining the allocation of attention by the subjects in the study. Low-level features alone do correlate signi cantly with real allocation of attention. However, in fact it lowers the correlation score when combined with high-level features in comparison to using high-level features alone. Further, ndings in collected eye-traces are studied with qualitative method, mainly to discover direc- tions in future research in the area. Similarities and dissimilarities between automatic models of attention and collected eye-traces are discusse