Многоуровневый алгоритм цветовой кластеризации изображений

The fast multilevel algorithm to cluster color images (MACC – Multilevel Algorithm for Color Clustering) is presented. Currently, several well-known algorithms of image clustering, including the k‑means algorithm (which is one of the most commonly used in data mining) and its fuzzy versions, watershed, region growing ones, as well as a number of new more complex neural network and other algorithms are actively used for image processing. However, they cannot be applied for clustering large color images in real time. Fast clustering is required, for example, to process frames of video streams shot by various video cameras or when working with large image databases. The developed algorithm MACC allows the clustering of large images, for example, FullHD size, on a personal computer with an average deviation from the original color values of about five units in less than 20 milliseconds, while a parallel version of the classical k‑means algorithm performs the clustering of the same images with an average error of more than 12 units for a time exceeding 2 seconds. The proposed algorithm of multilevel color clustering of images is quite simple to implement. It has been extensively tested on a large number of color images.Представлен многоуровневый алгоритм цветовой кластеризации MACC (Multilevel Algorithm for Color Clustering), предназначенный для быстрой кластеризации изображений. В настоящее время для цветовой кластеризации изображений активно используется несколько хорошо известных алгоритмов, в том числе k-средних (который является одним из наиболее часто используемых при обработке данных) и его нечеткие версии, водораздела, наращивания областей и целая серия новых более сложных нейросетевых и других алгоритмов. Однако их невозможно применять для кластеризации больших цветных изображений в режиме реального времени. Быстрая кластеризации бывает необходима, например, при обработке кадров видеопотока, создаваемого различными видеокамерами или при работе с большими базами данных изображений. Разработанный алгоритм MACC позволяет выполнить на персональном компьютере кластеризацию больших изображений, например размера FullHD, по цвету со средним отклонением от исходных значений цвета около пяти единиц менее, чем за 20 мс, в то время как параллельная версия классического алгоритма k-средних выполняет кластеризацию этих же изображений со средней ошибкой более 12 единиц за время, превышающее 2 с. Предложенный алгоритм многоуровневой кластеризации изображений по цвету достаточно прост в реализации. Он был протестирован на большом количестве цветных изображений

Алгоритм отслеживания объектов движущейся видеокамерой

The algorithm ACT (Adaptive Color Tracker) to track objects by a moving video camera is presented. One of the features of the algorithm is the adaptation of the feature set of the tracked object to the background of the current frame. At each step, the algorithm extracts from the object features those that are more specific to the object and at the same time are at least specific to the current frame background, since the rest of the object features not only do not contribute to the separation of the tracked object from the background, but also impede its correct detection. The features of the object and background are formed based on the color representations of scenes. They can be computed in two ways. The first way is 3D-color vectors of the clustered image of the object and the background by a fast version of the well-known k-means algorithm. The second way consists in simpler and faster partitioning of the RGB-color space into 3D-parallelepipeds and subsequent replacement of the color of each pixel with the average value of all colors belonging to the same parallelepiped as the pixel color. Another specificity of the algorithm is its simplicity, which allows it to be used on small mobile computers, such as the Jetson TXT1 or TXT2.The algorithm was tested on video sequences captured by various camcorders, as well as by using the well-known TV77 data set, containing 77 different tagged video sequences. The tests have shown the efficiency of the algorithm. On the test images, its accuracy and speed overcome the characteristics of the trackers implemented in the computer vision library OpenCV 4.1.Представлен алгоритм ACT (Adaptive Color Tracker) отслеживания объектов, наблюдаемых движущейся видеокамерой. Одной из особенностей работы алгоритма является адаптация набора признаков объекта к фону текущего кадра. При работе с текущим кадром из исходного набора признаков объекта, сформированного при его выделении на первом кадре, удаляются те, которые присущи не только объекту, но и в большой мере фону. Такие признаки не только не способствуют отделению объекта интереса от фона – они затрудняют корректное обнаружение объекта. Оставляются признаки объекта в большей мере характерные объекту и в то же время наименее характерные для фона текущего кадра. Признаки объекта и фона формируются на основе цветового представления кадров. Они вычисляются путем кластеризации 3D-векторов цвета пикселов кадров быстрой версией хорошо известного алгоритма k-средних или более простым и быстрым разбиением цветового пространства на 3D-параллелепипеды с последующей заменой цвета каждого пиксела на среднее значение векторов цвета, попавших в тот же параллелепипед, что и текущий цвет. Еще одна особенность алгоритма заключается в его вычислительной простоте, что делает возможным его использование на небольших мобильных вычислителях, например, на Jetson TXT1 или TXT2.Алгоритм был протестирован на видеопоследовательностях, снятых различными видеокамерами, а также на общеизвестном наборе данных TV77, содержащем 77 различных размеченных видеопоследовательностей. Тесты показали работоспособность алгоритма. На тестовых изображениях его точность и быстродействие превосходили показатели трекеров, реализованных в библиотеке компьютерного зрения OpenCV 4.1

МЕТОД НЕЧЕТКОЙ КЛАСТЕРИЗАЦИИ k-СРЕДНИХ СО СГЛАЖИВАЮЩЕЙ ШТРАФНОЙ ФУНКЦИЕЙ

A new method of clustering of grayscale, color and multispectral images is presented. It is based on conditional optimization of the objective function consisting of the classic fuzzy functional criterion and the penalty function of Gibbs type, which controls local smoothness of the solution. The method provides more smooth solutions that are essentially more precise in comparison with fuzzy c-means results in the case of noisy images.Рассматривается новый подход к кластеризации полутоновых, цветных и мультиспектраль-ных изображений на основе метода нечеткой кластеризации k-средних. В нем предполагается ло-кальная однородность кластерного представления в областях, не разделенных градиентом исходного изображения, за счет использования аддитивной штрафной функции гиббсовского типа, задающей степень гладкости решения в соседних пикселах, в зависимости от величины и направления градиен-та, проходящего между ними. Подход, обобщающий метод нечеткой кластеризации k-средних, по-зволяет, с одной стороны, получить более однородное кластерное представление исходного изобра-жения, а с другой – предотвращает слияние разных кластеров. Он протестирован на модельных изображениях, аэрофотоснимках и космических изображениях, в частности на восьмиканальных мультиспектральных изображениях спутника LANDSAT 7. Приводятся результаты вычислительных экспериментов, которые подтверждают эффективность нового алгоритма

Алгоритм обнаружения движущихся объектов, наблюдаемых видеокамерой

An algorithm to detect moving objects captured by a moving video camera is presented. The algorithm is based on detection of motion on video frames taken by a moving video camera, as well as on finding and analyzing the trajectories of moving objects. A feature of the algorithm is detection on frames of connected areas (clusters) of possible object motion. Then moving points on the detected clusters are found, and those points trajectories are built with help of the optical flow. The trajectories are used as features of moving objects. Only smooth trajectories are exploited for detection of moving objects, and the remaining ones are removed from consideration. An object is considered as moving on the current frame if it contains ends of a sufficient number of trajectories of moving points found on previous frames. The presented algorithm has a low computational complexity, which allows it to be used in real or near real time on small computers that have only a few processors of the ARM architecture without powerful parallel computing tools such as GPUs or neural network processors NPU.Представлен алгоритм обнаружения движущихся объектов, наблюдаемых видеокамерой. Алгоритм основан на обнаружении движения на кадрах видеопотока, полученного в общем случае движущейся видеокамерой, а также на построении и анализе траекторий движущихся объектов. Особенность алгоритма заключается в обнаружении на кадрах связных областей (кластеров) возможного движения, которые с большой вероятностью принадлежат изображениям движущихся объектов, а затем – нахождении на обнаруженных кластерах точек возможного движения и построении с помощью оптического потока траекторий движения найденных точек. Для обнаружения движущихся объектов используются только гладкие траектории. Остальные траектории удаляются из рассмотрения. Объект считается движущимся на текущем кадре, если в него попадает достаточное число траекторий движущихся точек, найденных на предыдущих кадрах. Представленный алгоритм имеет малую вычислительную сложность, что позволяет использовать его в режиме реального или близкого к реальному времени на малых вычислителях, имеющих только несколько процессоров архитектуры ARM без мощных средств параллельных вычислений типа GPU или нейросетевых процессоров NPU

КОМБИНАТОРНЫЙ АЛГОРИТМ ВЫДЕЛЕНИЯ КОНТУРОВ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ

An algorithm for the extraction of image contours is presented. The algorithm is based on combinatorial methods of clustering the oriented gradient of an image. It allows to estimate the position and the slope angles of the contours with a sufficient accuracy, and to obtain their vector representation by the broken lines or pieces of smooth curves, which is convenient for analyzing the shape of objects.Рассматривается алгоритм выделения контуров на изображениях, который основывается на использовании комбинаторных методов, применяемых для кластеризации ориентированного гради-ента. Алгоритм позволяет оценить с достаточно высокой точностью положение и углы наклона контуров, а также получить удобное для анализа формы объектов векторное представление конту-ров ломаными или гладкими кривыми

ФИЛЬТРАЦИЯ И КОРРЕЛЯЦИОННАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ С ПОМОЩЬЮ ТЕХНОЛОГИИ CUDA

The basic concepts and specificity of the programming technology of CUDA video cards are presented. The efficiency of the technology is demonstrated on image processing tasks. Results of a comparative performance analysis of program implementations on the GPU and CPU are adduced for urgent tasks of image processing. It is shown that CUDA allows accelerating computations of image processing tasks by several orders of magnitude. In particular, the use of the CUDA technology has made possible to implement correlation algorithms for tracking objects on video sequences in real time.Представлены основные концепции и особенности технологии программирования CUDA. Эффективность технологии демонстрируется на задачах обработки изображений. Приводятся результаты сравнительного анализа быстродействия программных реализаций одного и того же алгоритма, выполняемых на процессоре и видеокарте. Показано, что использование технологии CUDA позволяет ускорить вычисления на несколько порядков. Табл. 5. Ил. 4. Библиогр. - 14 назв

ПАРАЛЛЕЛЬНАЯ ВЕРСИЯ ДЕТЕКТОРА ЭКСТРЕМАЛЬНЫХ ОСОБЫХ ТОЧЕК ИЗОБРАЖЕНИЙ

The article presents a parallel version of the detector of extremal key points, which are used to describe, analyze and compare digital images by local descriptors. Local descriptors are determined in neighborhoods of the extremal key points. The orientation of the descriptors are found with aid of Histograms of Oriented Gradient. The specificity of the parallel architecture of NVIDIA graphics cards has been taken into account in the developed version, oriented to the implementation on CUDA. It accelerated the calculation of the extremal key points by several orders. Computation of the not oriented extremal key points for images of the FullHD-size on the budget graphics card takes 5–6 ms. The oriented extremal key points are computed within 11–12 ms.Рассматривается параллельная версия детектора особых (ключевых, характерных) точекэкстремумов, применяемых для описания, анализа и сравнения изображений с помощью локальных дескрипторов, которые вычисляются в окрестностях найденных точек. Для задания ориентации дескрипторов предлагается использовать локальные гистограммы ориентированного градиента. В версии, предназначенной для выполнения на программно-аппаратной архитектуре CUDA, учтена специфика графических процессоров фирмы NVIDIA, что позволило ускорить вычисление экстремальных особых точек на несколько порядков. Вычисление неориентированных экстремальных особых точек изображения FullHD-размера на бюджетной видеокарте занимает 5–6 мс, ориентированных – 11–12 мс

Алгоритм быстрого вычисления локальных гистограмм изображения на видеокарте

An algorithm of parallel computation of image histograms of different types, including brightness and oriented gradient ones, on video cards of various types is presented. Now local histograms are used for solution of some tasks of image processing and recognition, but their application is restricted due to the long computational time. One of the difficulties appearing during parallel computations of this vector feature is the large number of conflicts of simultaneous access to video memory sells. In the developed version, the number of conflicts of simultaneous access are many times reduced. It accelerated the computations. For instance, 9D vectors of histograms of oriented gradient for all 256×256 windows of a HD image are calculated on the GPU NVIDIA GeForce GTX 1060 within 1,9 msec, whereas the same computations made by the CPU Intel Core i7-6700 take 151 msec.Рассматривается алгоритм параллельного вычисления гистограмм различных типов, в том числе яркости и ориентированного градиента, предназначенный для выполнения на видеокартах, которые поддерживают массивные параллельные вычисления. В настоящее время локальные гистограммы используются для решения задач обработки и распознавания изображений, однако их применение ограничено из-за большого времени вычисления для всех пикселов изображения. Одна из основных трудностей, возникающих при вычислении этих векторных признаков, – большое число конфликтов одновременного доступа к ячейкам видеопамяти, в которые записываются одинаковые значения характеристики. В предложенном алгоритме существенно уменьшено число конфликтов одновременного доступа, что позволило значительно уменьшить время его выполнения. Так, например, девятимерные векторы локальных гистограмм ориентированного градиента для всех 256×256 окон изображения размера HD вычисляются на видеокарте GPU NVIDIA GeForce GTX 1060 за 1,9 мс, в то время как на процессоре Intel Core i7-6700 c частотой 3,4 ГГц – за 151 мс

РЕАЛИЗАЦИЯ АЛГОРИТМОВ ОТСЛЕЖИВАНИЯ ОБЪЕКТОВ НА ОСНОВЕ ТЕХНОЛОГИИ CUDA

A fast version of correlation algorithm to track objects on video-sequences made by a nonstabilized camcorder is presented. The algorithm is based on comparison of local correlations of the object image and regions of video-frames. The algorithm is implemented in programming technology CUDA. Application of CUDA allowed to attain real time execution of the algorithm. To improve its precision and stability, a robust version of the Kalman filter has been incorporated into the flowchart. Tests showed applicability of the algorithm to practical object tracking.Предлагаются быстрые версии корреляционных алгоритмов отслеживания объектов на ви-деопоследовательностях, снятых нестабилизированной камерой. Алгоритмы предназначаются для реализации на CUDA. Они основываются на сравнении корреляции области изображения, содержа-щей объект интереса, с соответствующими ей по размеру областями текущего кадра видеопосле-довательности вместе с анализом межкадровой информации. Применение технологии программиро-вания видеокарты CUDA позволило добиться выполнения алгоритмов в режиме реального времени. Для повышения точности и устойчивости предложенных версий алгоритмов используется робаст-ная версия фильтра Калмана. Показывается работоспособность предложенных версий даже в слу-чае видеопоследовательностей, снятых нестабилизированной камерой