Design, implementation and evaluation of automated surveillance systems

El reconocimiento de patrones ha conseguido un nivel de complejidad que nos permite reconocer diferente tipo de eventos, incluso peligros, y actuar en concordancia para minimizar el impacto de una situación complicada y abordarla de la mejor manera posible. Sin embargo, creemos que todavía se puede llegar a alcanzar aplicaciones más eficientes con algoritmos más precisos. Nuestra aplicación quiere probar a incluir el nuevo paradigma de la programación, las redes neuronales. Nuestra idea en principio fue explorar la alternativa que las nuevas redes neuronales convolucionales aportaban, en donde se podía ver en vídeos de ejemplos la alta tasa de detección e identificación que, por ejemplo, YOLOv2 podría mostrar. Después de comparar las características, vimos que YOLOv3 ofrecía un buen balance entre precisión y rapidez como comentaremos más adelante. Debido a la tasa de baja detecciones, haremos uso de los filtros de Kalman para ayudarnos a la hora de hacer reidentificación de personas y objetos. En este proyecto, haremos un estudio además de las alternativas de videovigilancia con las que cuentan empresas del sector y veremos que clase de productos ofrecen y, por otro lado, observaremos cuales son los trabajos de los grupos de investigadores de otras universidades que más similitudes tienen con nuestro objetivo. Dedicaremos, por lo tanto, el uso de esta red neuronal para detectar eventos como el abandono de mochilas y para mostrar la densidad de tránsito en localizaciones concretas, así como utilizaremos una metodología más tradicional, el flujo óptico, para detectar actuaciones anormales en una multitud.Automatic surveillance system is getting more and more sophisticated with the increasing calculation power that computers are reaching. The aim of this project is to take advantage of these tools and with the new classification and detection technology brought by neural networks, develop a surveillance application that can recognize certain behaviours (which are the detection of lost backpacks and suitcases, detection of abnormal crowd activity and heatmap of density occupation). To develop this program, python has been the selected programming language used, where YOLO and OpenCV form the spine of this project. After testing the code, it has been proved that due to the constrains of the detection for small objects, the project does not perform as it should for real development, but still it shows potential for the detection of lost backpacks in certain videos from the GBA dataset [1] and PETS2006 dataset [2]. The abnormal activity detection for crowds is made with a simple algorithm that seems to perform well, detecting the anomalies in all the testing dataset used, generated by the University of Minnesota [3]. Finally, the heatmap can display correctly the projection of people on the ground for five second, just as intended. The objective of this software is to be part of the core of what could be a future application with more modules that will be able to perform full automated surveillance tasks and gather useful information data, and these advances and future proposal will be explained in this memory.Máster Universitario en Ingeniería Industrial (M141

Detección y evasión de obstáculos usando redes neuronales híbridas convolucionales y recurrentes

[ES] Los términos "detección y evasión" hacen referencia al requerimiento esencial de un piloto para "ver y evitar" colisiones aire-aire. Para introducir UAVs en el día a día, esta funcion del piloto debe ser replicada por el UAV. En pequeños UAVs como pueden ser los destinados a la entrega de pedidos, existen ciertos aspectos limitantes en relación a tamaño, peso y potencia, por lo que sistemas cooperativos como TCAS o ADS-B no pueden ser utilizados y en su lugar otros sistemas como cámaras electro-ópticas son candidatos potenciales para obtener soluciones efectivas. En este tipo de aplicaciones, la solución debe evitar no solo otras aeronaves sino también otros obstáculos que puedan haber cerca de la superficie donde probablemente se operará la mayoría del tiempo. En este proyecto se han utilizado redes neuronales híbridas que incluyen redes neuronales convolucionales como primera etapa para clasificar objetos y redes neuronales recurrentes a continuación para deteminar la secuencia de eventos y actuar consecuentemente. Este tipo de red neuronal es muy actual y no se ha investigado en exceso hasta la fecha, por lo que el principal objetivo del proyecto es estudiar si podrían ser aplicadas en sistemas de "detección y evasión". Algoritmos de acceso libre han sido fusionados y mejorados para crear un nuevo modelo capaz de funcionar en este tipo de aplicaciones. A parte del algoritmo de detección y seguimiento, la parte correspondiente a la evasión de colisiones también fue desarrollada. Un filtro Kalman extendido se utilizó para estimar el rango relativo entre un obstáculo y el UAV. Para obtener una resolución sobre la posibilidad de conflicto, una aproximación estocástica fue considerada. Finalmente, una maniobra de evasión geométrica fue diseñada para utilizar si fuera necesario. Esta segunda parte fue evaluada mediante una simulación que también fue creada para el proyecto. Adicionalmente, un ensayo experimental se llevó a cabo para integrar las dos partes del algoritmo. Datos del ruido de la medida fueron experimentalmente obtenidos y se comprobó que las colisiones se podían evitar satisfactoriamente con dicho valor. Las principales conclusiones fueron que este nuevo tipo funciona más rápido que los métodos basados en redes neuronales más comunes, por lo que se recomiendo seguir investigando en ellas. Con la técnica diseñada, se encuentran disponibles multiples parámetros de diseño que pueden ser adaptados a diferentes circumstancias y factores. Las limitaciones principales encontradas se centran en la detección de obstáculos y en la estimación del rango relativo, por lo que se sugiere que la futura investigación se dirija en estas direcciones.[EN] A Sense and Avoid technique has been developed in this master thesis. A special method for small UAVs which use only an electro-optical camera as the sensor has been considered. This method is based on a sophisticated processing solution using hybrid Convolutional and Recurrent Neural Networks. The aim is to study the feasibility of this kind of neural networks in Sense and Avoid applications. First, the detection and tracking part of the algorithm is presented. Two models were used for this purpose: a Convolutional Neural Network called YOLO and a hybrid Convolutional and Recurrent Neural Network called Re3. After that, the collision avoidance part was designed. This consisted of the obstacle relative range estimation using an Extended Kalman Filter, the conflict probability calculation using an analytical approach and the geometric avoidance manoeuvre generation. Both parts were assessed separately by videos and simulations respectively, and then an experimental test was carried out to integrate them. Measurement noise was experimentally tested and simulations were performed again to check that collisions were avoided with the considered detection and tracking approach. Results showed that the considered approach can track objects faster than the most common computer vision methods based on neural networks. Furthermore, the conflict was successfully avoided with the proposed technique. Design parameters were allowed to adjust speed and maneuvers accordingly to the expected environment or the required level of safety. The main conclusion was that this kind of neural network could be successfully applied to Sense and Avoid systems.Vidal Navarro, D. (2018). Sense and avoid using hybrid convolutional and recurrent neural networks. Universitat Politècnica de València. http://hdl.handle.net/10251/142606TFG