Formalization of People and Crowd Detection and Tracking for Smart Video Surveillance

One of the promising areas of development and implementation of artificial intelligence is the automatic detection and tracking of moving objects in video sequence. The paper presents a formalization of the problem of detection and tracking of people and crowd in video. At first, we defined person, group of persons and crowd motion detection types and formalized them. For crowd, we defined three main types of its motion: direct motion, aggregation and dispersion. Then, we formalised the task of tracking for these three groups of people (single person, group of persons and crowd). Based on these formalizations, we developed algorithms for detection and tracking people and crowd in video sequences for indoor and outdoor environment. The results of experiments for video sequences obtained using a stationary and moving video camera are presented

Person tracking algorithm based on convolutional neural network for indoor video surveillance

Рассматривается алгоритм сопровождения людей в помещениях, который состоит из следующих основных этапов: обнаружение людей, формирование их признаков, установление соответствия между ними на кадрах, постобработка, индексация сопровождаемых объектов и определение их видимости на кадре. Для детектирования используется свёрточная нейронная сеть YOLO v3. Признаки людей формируются на основе гистограммы канала цветового тона пространства HSV и модифицированной СНС ResNet34. Предлагаемая структура свёрточной нейронной сети состоит из 29 свёрточных и одного полносвязного слоёв и формирует вектор из 128 значений признаков для входного изображения. Выполнено обучение данной модели свёрточной нейронной сети. Определены и представлены основные характеристики разработанного алгоритма, которые подтвердили его эффективность для видеонаблюдения внутри помещений. Эксперименты проведены по методике МОТ на тестовых видеопоследовательностях, снятых в помещениях неподвижной видеокамерой. При решении задач обнаружения и сопровождения предложенный алгоритм работает в режиме реального времени с использованием технологии CUDA и видеокарты NVIDIA GTX 1060

Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений

Богуш, Р. П. Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений / Р.П. Богуш, И.Ю. Захарова // Компьютерная оптика. – 2020. – Т. 44, № 1. – С. 109-116. – DOI: 10.18287/2412-6179-CO-565.In this paper, a person tracking algorithm for indoor video surveillance is presented. The algo-rithm contains the following steps: person detection, person features formation, features similarity calculation for the detected objects, postprocessing, person indexing, and person visibility deter-mination in the current frame. Convolutional Neural Network (CNN) YOLO v3 is used for person detection. Person features are formed based on H channel in HSV color space histograms and a modified CNN ResNet. The proposed architecture includes 29 convolutional and one fully connected layer. As the output, it forms a 128-feature vector for every input image. CNN model was trained to perform feature extraction. Experiments were conducted using MOT methodology on stable camera videos in indoor environment. Main characteristics of the presented algorithm are calculated and discussed, confirming its effectiveness in comparison with the current approaches for person tracking in an indoor environment. Our algorithm performs real time processing for object detection and tracking using CUDA technology and a graphics card NVIDIA GTX 1060. = Рассматривается алгоритм сопровождения людей в помещениях, который состоит из следующих основных этапов: обнаружение людей, формирование их признаков, установление соответствия между ними на кадрах, постобработка, индексация сопровождаемых объектов и определение их видимости на кадре. Для детектирования используется свёрточная нейронная сеть YOLO v3. Признаки людей формируются на основе гистограммы канала цветового тона пространства HSV и модифицированной СНС ResNet34. Предлагаемая структура свёрточной нейронной сети состоит из 29 свёрточных и одного полносвязного слоёв и формирует вектор из 128 значений признаков для входного изображения. Выполнено обучение данной модели свёрточной нейронной сети. Определены и представлены основные характеристики разработанного алгоритма, которые подтвердили его эффективность для видеонаблюдения внутри помещений. Эксперименты проведены по методике МОТ на тестовых видеопоследовательностях, снятых в помещениях неподвижной видеокамерой. При решении задач обнаружения и сопровождения предложенный алгоритм работает в режиме реального времени с использованием технологии CUDA и видеокарты NVIDIA GTX 1060

Обнаружение и сопровождение объектов на видеопоследовательностях: формализация, критерии и результаты

One of the promising areas of development and implementation of artificial intelligence is the automatic detection and tracking of moving objects in video sequence. The paper presents a formalization of the detection and tracking of one and many objects in video. The following metrics are considered: the quality of detection of tracked objects, the accuracy of determining the location of the object in a frame, the trajectory of movement, the accuracy of tracking multiple objects. Based on the considered generalization, an algorithm for tracking people has been developed that uses the tracking through detection method and convolutional neural networks to detect people and form features. Neural network features are included in a composite descriptor that also contains geometric and color features to describe each detected person in the frame. The results of experiments based on the considered criteria are presented, and it is experimentally confirmed that the improvement of the detector operation makes it possible to increase the accuracy of tracking objects. Examples of frames of processed video sequences with visualization of human movement trajectories are presented.Одним из перспективных направлений развития и внедрения искусственного интеллекта является автоматическое обнаружение и отслеживание движущихся объектов в системах видеонаблюдения. В работе представлена формализация обнаружения и сопровождения одного и множества объектов на видеопоследовательностях. Рассмотрены критерии, характеризующие качество обнаружения сопровождаемых объектов, точность определения местоположения объекта на кадре, траекторию движения и точность сопровождения множества объектов. На основе рассмотренного обобщения разработан алгоритм сопровождения людей, использующий сверточные нейронные сети для детектирования людей и формирования признаков. Нейросетевые признаки включены в составной дескриптор, содержащий также геометрические и цветовые характеристики для описания каждого обнаруженного человека в кадре. Приведены результаты экспериментов на основе рассмотренных критериев, экспериментально подтверждено, что улучшение работы детектора позволяет повысить точность сопровождения объектов. Представлены примеры кадров обработанных видеопоследовательностей с визуализацией траекторий движения людей

Object detection and tracking in video sequences: formalization, metrics and results

Одним из перспективных направлений развития и внедрения искусственного интеллекта является автоматическое обнаружение и отслеживание движущихся объектов в системах видеонаблюдения. В работе представлена формализация обнаружения и сопровождения одного и множества объектов на видеопоследовательностях. Рассмотрены критерии, характеризующие качество обнаружения сопровождаемых объектов, точность определения местоположения объекта на кадре, траекторию движения и точность сопровождения множества объектов. На основе рассмотренного обобщения разработан алгоритм сопровождения людей, использующий сверточные нейронные сети для детектирования людей и формирования признаков. Нейросетевые признаки включены в составной дескриптор, содержащий также геометрические и цветовые характеристики для описания каждого обнаруженного человека в кадре. Приведены результаты экспериментов на основе рассмотренных критериев, экспериментально подтверждено, что улучшение работы детектора позволяет повысить точность сопровождения объектов. Представлены примеры кадров обработанных видеопоследовательностей с визуализацией траекторий движения людей.=One of the promising areas of development and implementation of artificial intelligence is the automatic detection and tracking of moving objects in video sequence. The paper presents a formalization of the detection and tracking of one and many objects in video. The following metrics are considered: the quality of detection of tracked objects, the accuracy of determining the location of the object in a frame, the trajectory of movement, the accuracy of tracking multiple objects. Based on the considered generalization, an algorithm for tracking people has been developed that uses the tracking through detection method and convolutional neural networks to detect people and form features. Neural network features are included in a composite descriptor that also contains geometric and color features to describe each detected person in the frame. The results of experiments based on the considered criteria are presented, and it is experimentally confirmed that the improvement of the detector operation makes it possible to increase the accuracy of tracking objects. Examples of frames of processed video sequences with visualization of human movement trajectories are presented