Confidence based active learning for vehicle classification in urban traffic

This paper presents a framework for confidence based active learning for vehicle classification in an urban traffic environment. Vehicles are automatically detected using an improved background subtraction algorithm using a Gaussian mixture model. A vehicle observation vector is constructed from measurement-based features and an intensity-based pyramid HOG. The output scores of a linear SVM classifier are accurately calibrated to probabilities using an interpolated dynamic bin width histogram. The confidence value of each sample is measured by its probabilities. Thus, only a small number of low confidence samples need to be identified and annotated according to their confidence. Compared to passive learning, the number of annotated samples needed for the training dataset can be reduced significantly, yielding a high accuracy classifier with low computational complexity and high efficiency. The detected vehicles are classified into four main categories: car, van, bus and motorcycle. Experimental results demonstrate the effectiveness and efficiency of our approach. The method is general enough so that it can be used in other classification problems and domains, e.g. pedestrian detection

Target localization and tracking by fusing doppler differentials from cellular emanations with a multi-spectral video tracker

We present an algorithm for fusing data from a constellation of RF sensors detecting cellular emanations with the output of a multi-spectral video tracker to localize and track a target with a specific cell phone. The RF sensors measure the Doppler shift caused by the moving cellular emanation and then Doppler differentials between all sensor pairs are calculated. The multi-spectral video tracker uses a Gaussian mixture model to detect foreground targets and SIFT features to track targets through the video sequence. The data is fused by associating the Doppler differential from the RF sensors with the theoretical Doppler differential computed from the multi-spectral tracker output. The absolute difference and the root-mean-square difference are computed to associate the Doppler differentials from the two sensor systems. Performance of the algorithm was evaluated using synthetically generated datasets of an urban scene with multiple moving vehicles. The presented fusion algorithm correctly associates the cellular emanation with the corresponding video target for low measurement uncertainty and in the presence of favorable motion patterns. For nearly all objects the fusion algorithm has high confidence in associating the emanation with the correct multi-spectral target from the most probable background target

Multi-view human action recognition using 2D motion templates based on MHIs and their HOG description

In this study, a new multi-view human action recognition approach is proposed by exploiting low-dimensional motion information of actions. Before feature extraction, pre-processing steps are performed to remove noise from silhouettes, incurred due to imperfect, but realistic segmentation. Two-dimensional motion templates based on motion history image (MHI) are computed for each view/action video. Histograms of oriented gradients (HOGs) are used as an efficient description of the MHIs which are classified using nearest neighbor (NN) classifier. As compared with existing approaches, the proposed method has three advantages: (i) does not require a fixed number of cameras setup during training and testing stages hence missing camera-views can be tolerated, (ii) requires less memory and bandwidth requirements and hence (iii) is computationally efficient which makes it suitable for real-time action recognition. As far as the authors know, this is the first report of results on the MuHAVi-uncut dataset having a large number of action categories and a large set of camera-views with noisy silhouettes which can be used by future workers as a baseline to improve on. Experimentation results on multi-view with this dataset gives a high-accuracy rate of 95.4% using leave-one-sequence-out cross-validation technique and compares well to similar state-of-the-art approachesSergio A Velastin acknowledges the Chilean National Science and Technology Council (CONICYT) for its funding under grant CONICYT-Fondecyt Regular no. 1140209 (“OBSERVE”). He is currently funded by the Universidad Carlos III de Madrid, the European Union’s Seventh Framework Programme for research, technological development and demonstration under grant agreement nº 600371, el Ministerio de Economía y Competitividad (COFUND2013-51509) and Banco Santander

Fiber Optic Acoustic Sensing to Understand and Affect the Rhythm of the Cities: Proof-of-Concept to Create Data-Driven Urban Mobility Models

In the framework of massive sensing and smart sustainable cities, this work presents an urban distributed acoustic sensing testbed in the vicinity of the School of Technology and Telecommunication Engineering of the University of Granada, Spain. After positioning the sensing technology and the state of the art of similar existing approaches, the results of the monitoring experiment are described. Details of the sensing scenario, basic types of events automatically distinguishable, initial noise removal actions and frequency and signal complexity analysis are provided. The experiment, used as a proof-of-concept, shows the enormous potential of the sensing technology to generate data-driven urban mobility models. In order to support this fact, examples of preliminary density of traffic analysis and average speed calculation for buses, cars and pedestrians in the testbed’s neighborhood are exposed, together with the accidental presence of a local earthquake. Challenges, benefits and future research directions of this sensing technology are pointed out.B-TIC-542-UGR20 funded by “Consejería de Universidad, Investigación e Innovacción de la Junta de AndalucíaERDF A way of making Europ

Вейвлет-анализ как инструмент исследования характеристик дорожного движения для интеллектуальных транспортных систем в условиях недостающих данных

Мероприятия по получению достоверной информации о текущем состоянии транспортных потоков являются необходимыми для реализации эффективных методов управления, предлагаемых современными интеллектуальными транспортными системами. Часто встречающейся проблемой при получении характеристик транспортных потоков с технических устройств является потеря исходных данных, которая приводит к необходимости решения задачи анализа неэквидистантных временных рядов. Эффективным подходом к исследованию неэквидистантных данных выступает спектральный анализ, требующий приведения неэквидистантного процесса к равномерному виду, например, восстановлением пропущенных отсчетов, что ведет к появлению погрешности датирования. Таким образом, цель работы — разработка метода и программного обеспечения для вейвлет-анализа характеристик транспортных потоков в частотной и временной областях без восстановления пропущенных отсчетов. Для анализа и интерпретации нестационарных неэквидистантных временных рядов, полученных из систем мониторинга транспортных потоков, предлагается использовать метод вейвлет-преобразования с подстройкой интервалов дискретизации, результатом которого является частотно-временная развертка с равномерным представлением. Вейвлет-анализ применен к макроскопическим характеристикам транспортного потока, описывающим динамическое состояние транспортной сети в масштабе города или области. Программное обеспечение, реализующее предложенный метод вейвлет-анализа характеристик транспортных потоков, разработано с использованием атрибутно-ориентированного подхода на фреймворке интеллектуальной транспортной геоинформационной системы ITSGIS. Интеграция разработанного программного обеспечения с интеллектуальной транспортной системой выполняется на трех уровнях: уровень данных — получение исходных данных от систем мониторинга; уровень бизнес-логики — представление обработанных данных для сервисов интеллектуальной транспортной системы; уровень представления пользователю — встраивание визуальных компонентов в пользовательские интерфейсы ITSGIS. Вейвлет-анализ характеристик транспортных потоков проведен с использованием вейвлетов Морле на примере трех различных по интенсивности и скорости движения участков автодорог в городе Орхус (Дания). В качестве набора данных для анализа выступает недельный интервал с понедельника по воскресенье. Выполнен анализ данных о средней скорости, числе транспортных средств и среднем времени прохождения участка улично-дорожной сети. Построены и проанализированы вейвлет-спектры и скейлограммы, выявлены общие зависимости в частотном расположении экстремумов, выявлены различия в спектральной мощности

Вейвлет-анализ как инструмент исследования характеристик дорожного движения для интеллектуальных транспортных систем в условиях недостающих данных

A frequent problem of traffic flow characteristics acquisition is data loss, which leads to uneven time series analysis. An effective approach to uneven data analysis is the spectral analysis, which requires obtaining process with a constant sampling interval, for example, by restoring missing data, which leads to the appearance of dating error. Thus, the main purpose of this study is to develop a method and software for wavelet analysis of traffic flow characteristics without restoring the missing data. To analyze and interpret non-stationary uneven time series obtained from traffic monitoring systems, we propose the wavelet transformation method with adjustment of the sampling intervals, which results in a time-frequency domain with a constant sampling interval. Wavelet analysis is applied to the macroscopic traffic flow characteristics. We developed the software for traffic flow wavelet analysis on the "ITSGIS" intelligent transport geo-information framework using the attribute-oriented approach. Wavelet analysis of traffic flows characteristics using Morlet wavelets was accomplished for data analysis of the city of Aarhus, Denmark. Wavelet spectra and scalograms were constructed and analyzed, general dependencies in the frequency distribution of extremes, and differences in spectral power were revealed. The developed software is being experimentally tested in solving practical problems of municipalities and road agencies in Russia.Мероприятия по получению достоверной информации о текущем состоянии транспортных потоков являются необходимыми для реализации эффективных методов управления, предлагаемых современными интеллектуальными транспортными системами. Часто встречающейся проблемой при получении характеристик транспортных потоков с технических устройств является потеря исходных данных, которая приводит к необходимости решения задачи анализа неэквидистантных временных рядов. Эффективным подходом к исследованию неэквидистантных данных выступает спектральный анализ, требующий приведения неэквидистантного процесса к равномерному виду, например, восстановлением пропущенных отсчетов, что ведет к появлению погрешности датирования. Таким образом, цель работы — разработка метода и программного обеспечения для вейвлет-анализа характеристик транспортных потоков в частотной и временной областях без восстановления пропущенных отсчетов. Для анализа и интерпретации нестационарных неэквидистантных временных рядов, полученных из систем мониторинга транспортных потоков, предлагается использовать метод вейвлет-преобразования с подстройкой интервалов дискретизации, результатом которого является частотно-временная развертка с равномерным представлением. Вейвлет-анализ применен к макроскопическим характеристикам транспортного потока, описывающим динамическое состояние транспортной сети в масштабе города или области. Программное обеспечение, реализующее предложенный метод вейвлет-анализа характеристик транспортных потоков, разработано с использованием атрибутно-ориентированного подхода на фреймворке интеллектуальной транспортной геоинформационной системы ITSGIS. Интеграция разработанного программного обеспечения с интеллектуальной транспортной системой выполняется на трех уровнях: уровень данных — получение исходных данных от систем мониторинга; уровень бизнес-логики — представление обработанных данных для сервисов интеллектуальной транспортной системы; уровень представления пользователю — встраивание визуальных компонентов в пользовательские интерфейсы ITSGIS. Вейвлет-анализ характеристик транспортных потоков проведен с использованием вейвлетов Морле на примере трех различных по интенсивности и скорости движения участков автодорог в городе Орхус (Дания). В качестве набора данных для анализа выступает недельный интервал с понедельника по воскресенье. Выполнен анализ данных о средней скорости, числе транспортных средств и среднем времени прохождения участка улично-дорожной сети. Построены и проанализированы вейвлет-спектры и скейлограммы, выявлены общие зависимости в частотном расположении экстремумов, выявлены различия в спектральной мощности

Vision-based traffic surveys in urban environments

This paper presents a state-of-the-art, vision-based vehicle detection and type classification to perform traffic surveys from a roadside closed-circuit television camera. Vehicles are detected using background subtraction based on a Gaussian mixture model that can cope with vehicles that become stationary over a significant period of time. Vehicle silhouettes are described using a combination of shape and appearance features using an intensity-based pyramid histogram of orientation gradients (HOG). Classification is performed using a support vector machine, which is trained on a small set of hand-labeled silhouette exemplars. These exemplars are identified using a model-based preclassifier that utilizes calibrated images mapped by Google Earth to provide accurately surveyed scene geometry matched to visible image landmarks. Kalman filters track the vehicles to enable classification by majority voting over several consecutive frames. The system counts vehicles and separates them into four categories: car, van, bus, and motorcycle (including bicycles). Experiments with real-world data have been undertaken to evaluate system performance and vehicle detection rates of 96.45% and classification accuracy of 95.70% have been achieved on this data.The authors gratefully acknowledge the Royal Borough of Kingston for providing the video data. S.A. Velastin is grateful to funding received from the Universidad Carlos III de Madrid, the European Union’s Seventh Framework Programme for research, technological development and demonstration under grant agreement nº 600371, el Ministerio de Economía y Competitividad (COFUND2013-51509) and Banco Santander

Spatial Pyramid Context-Aware Moving Object Detection and Tracking for Full Motion Video and Wide Aerial Motion Imagery

A robust and fast automatic moving object detection and tracking system is essential to characterize target object and extract spatial and temporal information for different functionalities including video surveillance systems, urban traffic monitoring and navigation, robotic. In this dissertation, I present a collaborative Spatial Pyramid Context-aware moving object detection and Tracking system. The proposed visual tracker is composed of one master tracker that usually relies on visual object features and two auxiliary trackers based on object temporal motion information that will be called dynamically to assist master tracker. SPCT utilizes image spatial context at different level to make the video tracking system resistant to occlusion, background noise and improve target localization accuracy and robustness. We chose a pre-selected seven-channel complementary features including RGB color, intensity and spatial pyramid of HoG to encode object color, shape and spatial layout information. We exploit integral histogram as building block to meet the demands of real-time performance. A novel fast algorithm is presented to accurately evaluate spatially weighted local histograms in constant time complexity using an extension of the integral histogram method. Different techniques are explored to efficiently compute integral histogram on GPU architecture and applied for fast spatio-temporal median computations and 3D face reconstruction texturing. We proposed a multi-component framework based on semantic fusion of motion information with projected building footprint map to significantly reduce the false alarm rate in urban scenes with many tall structures. The experiments on extensive VOTC2016 benchmark dataset and aerial video confirm that combining complementary tracking cues in an intelligent fusion framework enables persistent tracking for Full Motion Video and Wide Aerial Motion Imagery.Comment: PhD Dissertation (162 pages