Seguiment visual de contorns computeritzat

El contorn d'un objecte és, en molts casos pràctics, un element molt informatiu de la configuració que aquest presenta o de l'activitat que realitza. Això motiva que, en camps tan diferents com la videovigilància, la monitorització del trànsit o la diagnosi mèdica, hi hagi sistemes que utilitzen el seguiment de contorns com a base. Sovint, les imatges en aquests àmbits presenten artefactes (soroll, ombres, oclusions, ...) que dificulten notablement el seguiment de contorns. L'ús de filtres de partícules ha suposat un pas endavant a l'hora de realitzar aquesta tasca de manera més robusta. Investigadors de l'Àrea de Ciències de la Computació i Intel·ligència Artificial han adaptat tres variants de filtres de partícules al seguiment de contorns i n'han avaluat quantitativament el seu rendiment.El contorno de un objeto es, en muchos casos prácticos, un elemento muy informativo de la configuración que éste presenta o de la actividad que realiza. Ello motiva que, en campos tan diferentes com la videovigilancia, la monitoritzación del transito o el diagnóstico médico, haya sistemas que utilizan el seguimiento de contornos como base. A menudo, las imágenes en estos ánbitos presentan artefactos (ruido, sombras, oclusiones...) que dificultan notablemente el seguimiento de contornos. El uso de filtros de partículas ha supuesto un paso adelante a la hora de realizar esta tarea de manera más robusta. Investigadores del Àrea de Ciències de la Computació i Intel·ligència Artificial han adaptado tres variantes de filtros de partículas al seguimiento de contornos y han evaluado cuantitativamente su rendimiento

QGIS plugin for geospatial data processing in the cloud

QGIS is a GIS open source software tool which with the help of a plugin can communicate with a web service, both of them have been developed in this project. A group of researchers has developed Machine Learning algorithms that process geospatial images, these processes have considerable computational costs to run in a local machine. The web service will run the processes in a server and return the results to QGIS in order to analyze and store information. To get the results, the processes are launched in Docker images build by custom Dockerfiles for each process.QGIS és una eina GIS de programari de codi obert que amb l'ajuda d'un plugin es pot comunicar amb un servei web, els quals han estat desenvolupats en aquest projecte. Un grup d'investigadors han desenvolupat algoritmes d'aprenentatge automàtic que processen imatges geospatials, aquests processos tenen uns costos computacionals considerables per executar-se en una màquina local. El servei web executarà els processos en un servidor i retornarà els resultats a QGIS per analitzar i emmagatzemar informació. Per obtenir els resultats, els processos s'inicien en imatges de Docker montades a partir de Dockerfiles personalitzats per a cada procés.QGIS es una herramienta GIS de código abierto que con la ayuda de un plugin se puede comunicar con un servicio web, los cuales han sido desarrollados en este proyecto. Un grupo de investigadores han desarrollado algoritmos de aprendizaje automático que procesan imágenes geoespaciales, estos procesos tienen unos costes computacionales considerables para ejecutarse en una máquina local. El servicio web ejecutará los procesos en un servidor y retornará los resultados a QGIS para analizar y guardar información. Para obtener los resultados, los procesos se inician en imágenes Docker montadas a partir de Dockerfiles personalizados para cada proceso

Specification, design and implementation of a video game for musical language learning

In our country, teaching music to children is mainly conducted outside the compulsory teaching hours. In order to improve their abilities and increase their knowledge of musical language, the learner must be persistent and train. This project aims to create a video game, from its specification to design and implementation, to help students of a real music school in their process of learning some aspects of the musical language, such as rhythm or scale. With this video game, we want to increase the time invested by students in learning music, engaging them in learning by giving them a fun tool to work with.Al nostre país, l'ensenyament de música als nens i nenes es realitza principalment fora de l'horari lectiu. Per tal de millorar les seves habilitats i incrementar els seus coneixements sobre llenguatge musical, l'estudiant ha de ser perseverant i entrenar regularment. Aquest projecte proposa crear un videojoc, des de la seva especificació fins al disseny i la implementació, per ajudar els estudiants d'una escola de música real en el seu procés d'aprenentatge d'alguns aspectes del llenguatge musical, com ara el ritme o l'escala. Amb aquest videojoc, volem incrementar el temps que els estudiants inverteixen en l'aprenentatge musical, involucrant-los en l'aprenentatge donant-los una eina entretinguda amb què treballar.En nuestro país, la enseñanza de música a los niños y las niñas se realiza principalmente fuera del horario lectivo. Para mejorar sus habilidades e incrementar sus conocimientos sobre lenguaje musical, el estudiante tiene que ser perseverante y entrenar regularmente. Este proyecto propone crear un videojuego, desde su especificación hasta el diseño y la implementación, para ayudar a los estudiantes de una escuela de música real en su proceso de aprendizaje de algunos aspectos del lenguaje musical, como el ritmo o la escala. Con este videojuego, queremos incrementar el tiempo que los estudiantes invierten en el aprendizaje musical, involucrándolos en el aprendizaje dándoles una herramienta entretenida con la que trabajar

Object detection in aerial images

This work studies the application of object detection in aerial images. Specifically, a review of the differences between standard and aerial images is made and the aspects where changes can be applied in the latter to improve results are extracted. A comparison of region-based detectors is made by providing several solutions for both the region proposal part and the classification one. Regarding the region proposal generation, the use of a sliding window is compared analytically with the Selective Search algorithm. On the other hand, in the classification task, the low-resolution problem is mainly tackled using a shallow convolutional neural network and a model based on super resolution techniques is presented.Aquest treball estudia l'aplicació de la detecció d'objectes en imatges aèries. Concretament, es realitza una anàlisi de la diferència entre les imatges estàndard i les aèries i s'extreuen els aspectes on es poden aplicar canvis per obtenir millors resultats en aquestes últimes. Es realitza una comparativa de detectors basats en regions aportant vàries solucions tant en la part de generació de regions candidates com en la de classificació. Pel que fa a la generació, es compara analíticament l'ús d'una finestra lliscant amb l'algorisme de cerca selectiva. Per altra banda, a la tasca de classificació, principalment s'ataca el problema de la baixa resolució utilitzant una xarxa neuronal convolucional poc profunda i es presenta un model basat en tècniques de super resolució.Este trabajo estudia la aplicación de la detección de objetos en imágenes aéreas. Concretamente, se realiza un análisis de la diferencia entre las imágenes estándar y las aéreas y se extraen los aspectos donde se pueden aplicar cambios para obtener mejores resultados en estas últimas. Se realiza una comparativa de detectores basados en regiones aportando varias soluciones tanto en la parte de generación de regiones candidatas como en la de clasificación. En cuanto a la generación, se compara analíticamente el uso de una ventana deslizante con el algoritmo de búsqueda selectiva. Por otra parte, en la tarea de clasificación, principalmente se ataca el problema de la baja resolución utilizando una red neuronal convolucional poco profunda y se presenta un modelo basado en técnicas de super resolución

Model-Based Visual Localisation Of Contours And Vehicles

El treball d'aquesta tesi es centra en l'anàlisi de seqüències de vídeo, aplicant tècniques basades en models per extreure'n informació quantitativa. En concret, es realitzen diferents propostes en dues àrees d'aplicació: el seguiment de formes basat en models de contorns, i la detecció i seguiment de vehicles en imatges proveïdes per una camera instal·lada en una plataforma mòbil.El treball dedicat al seguiment de formes s'enquadra en el paradigma de contorns actius, del qual presentem una revisió de les diferents propostes existents. En primer lloc, mesurem el rendiment obtingut pels algorismes de seguiment més comuns (filtres basats en Kalman i filtres de partícules), i en segon lloc avaluem diferents aspectes de la seva implementació en un extens treball experimental on es consideren múltiples seqüències sintètiques, distorsionades amb diferents graus de soroll. Així, mitjançant aquest estudi determinem la millor manera d'implementar a la pràctica els algorismes de seguiment clàssics, i identifiquem els seus pros i contres.Seguidament, el treball s'orienta cap a la millora dels algoritmes de seguiment de contorns basats en filtres de partícules. Aquest algorismes aconsegueixen bons resultats sempre que el número de partícules utilitzades sigui suficient, però malauradament la quantitat de partícules requerides creix exponencialment amb el número de paràmetres a estimar. Per tant, i en el context del seguiment de contorns, presentem tres variants del filtre de partícules clàssic, corresponents a tres noves estratègies per tractar aquest problema. En primer lloc, proposem millorar el seguiment de contorns mirant de propagar més acuradament les partícules emprades per l'algorisme d'una imatge a la següent. Això ho duem a terme utilitzant una aproximació lineal de la funció de propagació òptima. La segona estratègia proposada es basa en estimar part dels paràmetres de manera analítica. Així, es pretén fer un ús més productiu de les partícules emprades, reduint la part dels paràmetres del model que s'han d'estimar amb elles. El tercer mètode proposat té com a objectiu treure profit del fet de que, en aplicacions de seguiment de contorns, sovint els paràmetres relatius a la transformació rígida es poden estimar prou acuradament independentment de la deformació local que el contorn presenti. Això s'utilitza per realitzar una millor propagació de les partícules, concentrant-les més densament en la zona on el contorn seguit es troba. Aquestes tres propostes es validen de manera extensiva en seqüències amb diferents nivells de soroll, amb les que es mesura la millora aconseguida.A continuació proposem tractar directament l'origen del problema anterior mitjançant la reducció del nombre de paràmetres a estimar per tal de seguir una determinada forma d'interès. Per aconseguir això, proposem modelar aquesta forma usant múltiples models, on cadascun requereix una quantitat de paràmetres inferior a la requerida per un únic model. Es proposa un nou mètode per aprendre aquests models a partir d'un conjunt d'entrenament, així com un nou algorisme per emprar-los en el seguiment dels contorns. Els resultats experimentals certifiquen la validesa d'aquesta proposta.Finalment, la tesi es centra en el desenvolupament d'un sistema de detecció i seguiment de vehicles. Les propostes realitzades comprenen: un mòdul de detecció de vehicles, un mòdul dedicat a determinar la posició i velocitat 3D dels vehicles detectats, i un mòdul de seguiment per actualitzar la localització dels vehicles a la carretera de manera precisa i eficient. Es realitzen diverses aportacions originals en aquests tres temes, i se n'avalua el rendiment.This thesis focuses the analysis of video sequences, applying model-based techniques for extracting quantitative information. In particular, we make several proposals in two application areas: shape tracking based on contour models, and detection and tracking of vehicles in images acquired by a camera installed on a mobile platform.The work devoted to shape tracking follows the paradigm of active contours, from which we present a review of the existent approaches. First, we measure the performance of the most common algorithms (Kalman based filters and particle filters), and then we evaluate its implementation aspects trough an extensive experimental study, where several synthetic sequences are considered, distorted with different degrees of noise. Thus, we determine the best way to implement in practice these classical tracking algorithms, and we identify its benefits and drawbacks.Next, the work is oriented towards the improvement of contour tracking algorithms based on particle filters. These algorithms reach good results provided that the number of particles is high enough, but unfortunately the required number of particles grows exponentially with the number of parameters to be estimated. Therefore, and in the context of contour tracking, we present three variants of the classical particle filter, corresponding to three new strategies to deal with this problem. First, we propose to improve the contour tracking by propagating more accurately the particles from one image to the next one. This is done by using a linear approximation of the optimal propagation function. The second proposed strategy is based in estimating part of the parameters analytically. Thus, we aim to do a more productive use of the particles, reducing the amount of model parameters that must be estimated through them. The third proposed method aims to exploit the fact that, in contour tracking applications, the parameters related to the rigid transform can be estimated accurately enough independently from the local deformation presented by the contour. This is used to perform a better propagation of the particles, concentrating them more densely in the zone where the tracked contour is located. These three proposals are validated extensively in sequences with different noise levels, on which the reached improvement is evaluated.After this study, we propose to deal directly with the origin of the previous problem by reducing the number of parameters to be estimated in order to follow a given shape of interest. To reach that, we propose to model the shape using multiple models, where each one requires a lower quantity of parameters than when using a unique model. We propose a new method to learn these models from a training set, and a new algorithm to use the obtained models for tracking the contours. The experimental results certify the validity of this proposal.Finally, the thesis focuses on the development of a system for the detection and tracking of vehicles. The proposals include: a vehicle detection module, a module devoted to the determination of the three-dimensional position and velocity of the detected vehicles, and a tracking module for updating the location of vehicles on the road in a precise and efficient manner. Several original contributions are done in these three subjects, and their performance is evaluated empirically

Model-Based Visual Localisation Of Contours And Vehicles

El treball d'aquesta tesi es centra en l'anàlisi de seqüències de vídeo, aplicant tècniques basades en models per extreure'n informació quantitativa. En concret, es realitzen diferents propostes en dues àrees d'aplicació: el seguiment de formes basat en models de contorns, i la detecció i seguiment de vehicles en imatges proveïdes per una camera instal·lada en una plataforma mòbil. El treball dedicat al seguiment de formes s'enquadra en el paradigma de contorns actius, del qual presentem una revisió de les diferents propostes existents. En primer lloc, mesurem el rendiment obtingut pels algorismes de seguiment més comuns (filtres basats en Kalman i filtres de partícules), i en segon lloc avaluem diferents aspectes de la seva implementació en un extens treball experimental on es consideren múltiples seqüències sintètiques, distorsionades amb diferents graus de soroll. Així, mitjançant aquest estudi determinem la millor manera d'implementar a la pràctica els algorismes de seguiment clàssics, i identifiquem els seus pros i contres. Seguidament, el treball s'orienta cap a la millora dels algoritmes de seguiment de contorns basats en filtres de partícules. Aquest algorismes aconsegueixen bons resultats sempre que el número de partícules utilitzades sigui suficient, però malauradament la quantitat de partícules requerides creix exponencialment amb el número de paràmetres a estimar. Per tant, i en el context del seguiment de contorns, presentem tres variants del filtre de partícules clàssic, corresponents a tres noves estratègies per tractar aquest problema. En primer lloc, proposem millorar el seguiment de contorns mirant de propagar més acuradament les partícules emprades per l'algorisme d'una imatge a la següent. Això ho duem a terme utilitzant una aproximació lineal de la funció de propagació òptima. La segona estratègia proposada es basa en estimar part dels paràmetres de manera analítica. Així, es pretén fer un ús més productiu de les partícules emprades, reduint la part dels paràmetres del model que s'han d'estimar amb elles. El tercer mètode proposat té com a objectiu treure profit del fet de que, en aplicacions de seguiment de contorns, sovint els paràmetres relatius a la transformació rígida es poden estimar prou acuradament independentment de la deformació local que el contorn presenti. Això s'utilitza per realitzar una millor propagació de les partícules, concentrant-les més densament en la zona on el contorn seguit es troba. Aquestes tres propostes es validen de manera extensiva en seqüències amb diferents nivells de soroll, amb les que es mesura la millora aconseguida. A continuació proposem tractar directament l'origen del problema anterior mitjançant la reducció del nombre de paràmetres a estimar per tal de seguir una determinada forma d'interès. Per aconseguir això, proposem modelar aquesta forma usant múltiples models, on cadascun requereix una quantitat de paràmetres inferior a la requerida per un únic model. Es proposa un nou mètode per aprendre aquests models a partir d'un conjunt d'entrenament, així com un nou algorisme per emprar-los en el seguiment dels contorns. Els resultats experimentals certifiquen la validesa d'aquesta proposta. Finalment, la tesi es centra en el desenvolupament d'un sistema de detecció i seguiment de vehicles. Les propostes realitzades comprenen: un mòdul de detecció de vehicles, un mòdul dedicat a determinar la posició i velocitat 3D dels vehicles detectats, i un mòdul de seguiment per actualitzar la localització dels vehicles a la carretera de manera precisa i eficient. Es realitzen diverses aportacions originals en aquests tres temes, i se n'avalua el rendiment.This thesis focuses the analysis of video sequences, applying model-based techniques for extracting quantitative information. In particular, we make several proposals in two application areas: shape tracking based on contour models, and detection and tracking of vehicles in images acquired by a camera installed on a mobile platform.The work devoted to shape tracking follows the paradigm of active contours, from which we present a review of the existent approaches. First, we measure the performance of the most common algorithms (Kalman based filters and particle filters), and then we evaluate its implementation aspects trough an extensive experimental study, where several synthetic sequences are considered, distorted with different degrees of noise. Thus, we determine the best way to implement in practice these classical tracking algorithms, and we identify its benefits and drawbacks.Next, the work is oriented towards the improvement of contour tracking algorithms based on particle filters. These algorithms reach good results provided that the number of particles is high enough, but unfortunately the required number of particles grows exponentially with the number of parameters to be estimated. Therefore, and in the context of contour tracking, we present three variants of the classical particle filter, corresponding to three new strategies to deal with this problem. First, we propose to improve the contour tracking by propagating more accurately the particles from one image to the next one. This is done by using a linear approximation of the optimal propagation function. The second proposed strategy is based in estimating part of the parameters analytically. Thus, we aim to do a more productive use of the particles, reducing the amount of model parameters that must be estimated through them. The third proposed method aims to exploit the fact that, in contour tracking applications, the parameters related to the rigid transform can be estimated accurately enough independently from the local deformation presented by the contour. This is used to perform a better propagation of the particles, concentrating them more densely in the zone where the tracked contour is located. These three proposals are validated extensively in sequences with different noise levels, on which the reached improvement is evaluated.After this study, we propose to deal directly with the origin of the previous problem by reducing the number of parameters to be estimated in order to follow a given shape of interest. To reach that, we propose to model the shape using multiple models, where each one requires a lower quantity of parameters than when using a unique model. We propose a new method to learn these models from a training set, and a new algorithm to use the obtained models for tracking the contours. The experimental results certify the validity of this proposal.Finally, the thesis focuses on the development of a system for the detection and tracking of vehicles. The proposals include: a vehicle detection module, a module devoted to the determination of the three-dimensional position and velocity of the detected vehicles, and a tracking module for updating the location of vehicles on the road in a precise and efficient manner. Several original contributions are done in these three subjects, and their performance is evaluated empirically