Система відслідковування об’єктів на відеопослідовностях у інфрачервоному та видимому діапазонах на основі канально-незалежного просторово-регуляризованого дискримінантного кореляційного фільтра

The method of visual object tracking intended for the application on multispectral video sequences is considered. Introduction. The possible techniques of multispectral information fusion for visual object tracking are considered and the use of feature based fusion approach is justified. The tracker is suggested to be implemented using the discriminative correlation filters (DCF), since this approach is known to provide the compromise in terms of tracking quality and speed. Theoretic results. The method for channel-independent discriminative correlation filter with spatial regularization calculation based on the use of alternating direction method of multipliers (ADMM) is proposed. The calculation of DCF filter and the object localization is suggested to be performed in special feature space, which employs the multichannel FHOG features and the features that are based on the backprojection of object weighted histogram. In particular, we propose to calculate the mentioned features for each channel of the respective frame of the multispectral video sequence with subsequent concatenation of obtained features into a single tensor, which forms the joint feature space. Conclusions. Using the VOT Challenge RGBT2019 subchallenge, it was shown that the implementation of the suggested method is competitive in terms of tracking robustness with more sophisticated approaches, including the ones that are based on the convolutional neural networks. During the experiments, it was additionally established that the increasing of context-background information gives slight tracking quality improvement compared to the basic method implementation, even when only FHOG features are used.Представлен метод отслеживания объектов для работы на видеопоследовательностях, содержащих мультиспектральную информацию. Рассмотрены возможные способы объединения мультиспектральной информации при решении задачи отслеживания и обосновано использование подхода на основе объединения на уровне вычисления признаков. С точки зрения на компромисс в отношении качества и быстродействия, задачу отслеживания предложено решать с помощью дискриминантных корреляционных фильтров (DCF). Разработан метод вычисления канально-независимого дискриминантного корреляционного фильтра с пространственной регуляризацией, который основан на использовании метода множителей меняющих направление (ADMM). Вычисление DCF фильтра и локализацию объекта при этом предложено выполнять в специальном пространстве признаков, которое использует многоканальные признаки FHOG и признаки, основанные на обратном проектировании взвешенной гистограммы объекта. Указанные признаки предлагается вычислять для каждого канала соответствующего кадра мультиспектральной видеопоследовательности и объединять получаемые признаки в единственный тензор объединенного пространства признаков. На тесте VOT Challenge RGBT2019 показано, что реализация предложенного метода по качеству отслеживания может конкурировать с более сложными решениями, в том числе, основанными на нейросетевых технологиях. В ходе экспериментов также установлено, что увеличение объема контекстно-фоновой информации позволяет несколько увеличить качество отслеживания в сравнении с базовой реализаций предложенного метода, даже в случае использования только признаков FHOG.Представлено метод відслідковування для роботи на відеопослідовностях, що містять мультиспектральну інформацію. Розглянуто можливі способи об’єднання мультиспектральної інформації при вирішенні задачі відслідковування та обґрунтовано використання підходу на основі об’єднання на рівні обчислення ознак. З огляду на компромісні можливості по відношенню до якості та швидкодії, задачу відслідковування запропоновано вирішувати за допомогою дискримінантних кореляційних фільтрів (DCF). Розроблено метод обчислення канально-незалежного дискримінантного кореляційного фільтру із просторовою регуляризацією, що оснований на використанні метода множників зі зміною напрямків (ADMM). Обчислення DCF фільтру та локалізацію об’єкта при цьому запропоновано виконувати у спеціальному просторі ознак, що використовує багатоканальні ознаки FHOG та ознаки на основі зворотного проектування зваженої гістограми об’єкта. Зазначені ознаки пропонується обчислювати для кожного каналу відповідного кадру мультиспектральної відеопослідовності та поєднувати отримувані ознаки в єдиний тензор об’єднаного простору ознак. На тесті VOT Challenge RGBT2019 показано, що реалізація запропонованого методу за якістю відслідковування може конкурувати із більш складними рішеннями, в тому числі основаними на технологіях нейронних мереж. В ході експериментів також встановлено, що збільшення обсягу контекстно-фонової інформації дозволяє дещо підвищити якість відслідковування в порівнянні з базовою реалізацією запропонованого методу навіть у випадку застосування тільки ознак FHOG

Акселерована реєстрація MIPI CSI відеопотоку в задачах передачі відео реального часу

In present study the challenges of reducing transmission latencies of a real-time video stream acquired from cameras connected via the MIPI CSI interface were addressed. In the study, the main components of the video stream acquisition/transmission latency are given, the degree of their contribution to the total latency was analyzed, the assessment on the potential ability to influence them when developing a real-time video stream acquisition/transmission systems was given. The issues connected with using the frame buffering in such systems are designated, primarily the impact on the total latency value when having a framebuffer in such a system. The limitations of the existing MIPI module implementations of some ARM microprocessors resulting in latency increase for MIPI CSI camera video stream acquisition were characterized. The structural and functional organization based on the use of digital streaming buses, fragmentation of video frames and DMA transactions for MIPI CSI video stream acquisition systems was proposed, which does not require the use of framebuffers and, as a result, provides the possibility of reducing the overall video stream acquisition latency. The proposed structural and functional organization could be implemented based on SoC-FPGA solutions, including the use of the existing IP-cores. Pragmatic peculiar features were described and the corresponding expression for estimating the limiting value of the latency for the proposed structural and functional organization was given. For experimental verification, a prototype of the video stream acquisition/transmission system, based on the Zynq-7000 SoC-FPGA family of Xilinx following the proposed structural and functional organization was created. Its specifics and corresponding features of its implementation were discussed in the paper. The performance of the obtained prototype was estimated, and the possible directions towards further reduction of the overall latency of video stream acquisition/transmission were considered. The results of the study may prove useful to reduce the latencies of the video streams acquired from MIPI CSI cameras in real-time video stream transmission systems based on SoC-FPGA.В работе рассмотрены вопросы уменьшения задержек передачи видеопотока в реальном времени с камер, предусматривающих подключение через интерфейс MIPI CSI. Приведены основные составляющие задержки регистрации/передачи видеопотока, проанализирована степень их вклада в суммарную задержку, дана оценка возможности потенциального воздействия на них при разработке систем регистрации/передачи видеопотока реального времени. Обозначена проблематика, связанная с применением покадровой буферизации в таких системах, главным образом, воздействие наличия покадровой буферизации в системе на величину суммарной задержки. Охарактеризованы ограничения реализаций модулей MIPI, приводящие к увеличению задержек регистрации видеопотока с MIPI CSI камер в некоторых ARM-микропроцессорах. Предложена структурно-функциональная организация систем регистрации MIPI CSI видеопотока с использованием потоковых цифровых шин, фрагментации кадров видеопотока и DMA транзакций, которая не требует использования покадровой буферизации и, соответственно, позволяет уменьшить суммарную задержку регистрации видеопотока. Предложенная структурно-функциональная организация может быть реализована на основе SoC-FPGA решений, в том числе, с использованием существующих IP-ядер. Приведены прагматические особенности и соответствующее оценочное выражение для определения ограничений величины задержки при использовании предложенных решений. Для экспериментальной проверки, создан прототип системы регистрации/передачи видеопотока на основе SoC-FPGA Xilinx семейства Zynq-7000, в соответствии с предложенной структурно-функциональной организацией, рассмотрена его специфика и соответствующие особенности реализации. Дана оценка полученному быстродействию прототипа и рассмотрены возможные направления дальнейшего уменьшения суммарной задержки регистрации/передачи видеопотока. Результаты работы могут быть использованы для уменьшения задержек регистрации видеопотока с MIPI CSI камер в системах видеопередачи реального времени на основе SoC-FPGA.В роботі розглянуто питання зменшення затримок передачі відеопотоку в реальному часі з камер, що передбачають підключення через інтерфейс MIPI CSI. Наведено основні складові затримки реєстрації/передачі відеопотоку, проаналізовано міру їхнього внеску в сумарну затримку, дано оцінку можливості потенційного впливу на них при розробці систем реєстрації/передачі відеопотоку реального часу. Окреслено проблематику, пов’язану з застосуванням буферизації в таких системах, головним чином, вплив наявності в системі покадрової буферизації на величину сумарної затримки. Охарактеризовано обмеження реалізацій модулів MIPI, що призводять до збільшення затримок реєстрації відеопотоку з MIPI CSI камер в певних ARM-мікропроцесорах. Запропоновано структурно-функціональну організацію систем реєстрації MIPI CSI відеопотоку з застосуванням потокових цифрових шин, фрагментації кадрів відеопотоку та DMA транзакцій, що не потребує використання покадрової буферизації та, відповідно, дозволяє зменшити сумарну затримку реєстрації відеопотоку. Запропоновану структурно-функціональну організацію може бути реалізовано на базі SoC-FPGA рішень, в тому числі, з використанням існуючих IP-ядер. Наведено прагматичні особливості та відповідний оціночний вираз для визначення обмежень величини затримки при застосуванні запропонованих рішень. Для експериментальної перевірки, створено прототип системи реєстрації/передачі відеопотоку на основі SoC-FPGA Xilinx сімейства Zynq-7000 відповідно до запропонованої структурно-функціональної організації, розглянуто його специфіку та особливості реалізації. Дано оцінку отриманій швидкодії прототипу та розглянуто можливі напрямки подальшого зменшення сумарної затримки реєстрації/передачі відеопотоку.Результати роботи можуть бути використані для зменшення величини затримок реєстрації відеопотоку з MIPI CSI камер в системах відеопередачі реального часу на основі SoC-FPGA

The thermal infrared visual object tracking VOT-TIR2016 challenge results

The Thermal Infrared Visual Object Tracking challenge 2016, VOT-TIR2016, aims at comparing short-term single-object visual trackers that work on thermal infrared (TIR) sequences and do not apply pre-learned models of object appearance. VOT-TIR2016 is the second benchmark on short-term tracking in TIR sequences. Results of 24 trackers are presented. For each participating tracker, a short description is provided in the appendix. The VOT-TIR2016 challenge is similar to the 2015 challenge, the main difference is the introduction of new, more difficult sequences into the dataset. Furthermore, VOT-TIR2016 evaluation adopted the improvements regarding overlap calculation in VOT2016. Compared to VOT-TIR2015, a significant general improvement of results has been observed, which partly compensate for the more difficult sequences. The dataset, the evaluation kit, as well as the results are publicly available at the challenge website

The visual object tracking VOT2016 challenge results

The Visual Object Tracking challenge VOT2016 aims at comparing short-term single-object visual trackers that do not apply pre-learned models of object appearance. Results of 70 trackers are presented, with a large number of trackers being published at major computer vision conferences and journals in the recent years. The number of tested state-of-the-art trackers makes the VOT 2016 the largest and most challenging benchmark on short-term tracking to date. For each participating tracker, a short description is provided in the Appendix. The VOT2016 goes beyond its predecessors by (i) introducing a new semi-automatic ground truth bounding box annotation methodology and (ii) extending the evaluation system with the no-reset experiment. The dataset, the evaluation kit as well as the results are publicly available at the challenge website (http: //votchallenge.net)

The Eighth Visual Object Tracking VOT2020 Challenge Results

[[abstract]]The Visual Object Tracking challenge VOT2020 is the eighth annual tracker benchmarking activity organized by the VOT initiative. Results of 58 trackers are presented; many are state-of-the-art trackers published at major computer vision conferences or in journals in the recent years. The VOT2020 challenge was composed of five sub-challenges focusing on different tracking domains: (i) VOT-ST2020 challenge focused on short-term tracking in RGB, (ii) VOT-RT2020 challenge focused on “real-time” short-term tracking in RGB, (iii) VOT-LT2020 focused on long-term tracking namely coping with target disappearance and reappearance, (iv) VOT-RGBT2020 challenge focused on short-term tracking in RGB and thermal imagery and (v) VOT-RGBD2020 challenge focused on long-term tracking in RGB and depth imagery. Only the VOT-ST2020 datasets were refreshed. A significant novelty is introduction of a new VOT short-term tracking evaluation methodology, and introduction of segmentation ground truth in the VOT-ST2020 challenge – bounding boxes will no longer be used in the VOT-ST challenges. A new VOT Python toolkit that implements all these novelites was introduced. Performance of the tested trackers typically by far exceeds standard baselines. The source code for most of the trackers is publicly available from the VOT page. The dataset, the evaluation kit and the results are publicly available at the challenge website (http://votchallenge.net).[[notice]]補正完

The Visual Object Tracking VOT2015 Challenge Results

The Visual Object Tracking challenge 2015, VOT2015, aims at comparing short-term single-object visual trackers that do not apply pre-learned models of object appearance. Results of 62 trackers are presented. The number of tested trackers makes VOT 2015 the largest benchmark on short-term tracking to date. For each participating tracker, a short description is provided in the appendix. Features of the VOT2015 challenge that go beyond its VOT2014 predecessor are: (i) a new VOT2015 dataset twice as large as in VOT2014 with full annotation of targets by rotated bounding boxes and per-frame attribute, (ii) extensions of the VOT2014 evaluation methodology by introduction of a new performance measure. The dataset, the evaluation kit as well as the results are publicly available at the challenge website