Carried baggage detection and recognition in video surveillance with foreground segmentation

Security cameras installed in public spaces or in private organizations continuously record video data with the aim of detecting and preventing crime. For that reason, video content analysis applications, either for real time (i.e. analytic) or post-event (i.e. forensic) analysis, have gained high interest in recent years. In this thesis, the primary focus is on two key aspects of video analysis, reliable moving object segmentation and carried object detection & identification. A novel moving object segmentation scheme by background subtraction is presented in this thesis. The scheme relies on background modelling which is based on multi-directional gradient and phase congruency. As a post processing step, the detected foreground contours are refined by classifying the edge segments as either belonging to the foreground or background. Further contour completion technique by anisotropic diffusion is first introduced in this area. The proposed method targets cast shadow removal, gradual illumination change invariance, and closed contour extraction. A state of the art carried object detection method is employed as a benchmark algorithm. This method includes silhouette analysis by comparing human temporal templates with unencumbered human models. The implementation aspects of the algorithm are improved by automatically estimating the viewing direction of the pedestrian and are extended by a carried luggage identification module. As the temporal template is a frequency template and the information that it provides is not sufficient, a colour temporal template is introduced. The standard steps followed by the state of the art algorithm are approached from a different extended (by colour information) perspective, resulting in more accurate carried object segmentation. The experiments conducted in this research show that the proposed closed foreground segmentation technique attains all the aforementioned goals. The incremental improvements applied to the state of the art carried object detection algorithm revealed the full potential of the scheme. The experiments demonstrate the ability of the proposed carried object detection algorithm to supersede the state of the art method

Caractérisation spatio-temporelle de la dynamique des trouées et de la réponse de la forêt boréale à l'aide de données lidar multi-temporelles

La forêt boréale est un écosystème hétérogène et dynamique façonné par les perturbations naturelles comme les feux, les épidémies d'insectes, le vent et la régénération. La dynamique des trouées joue un rôle important dans la dynamique forestière parce qu'elle influence le recrutement de nouveaux individus au sein de la canopée et la croissance de la végétation avoisinante par une augmentation des ressources. Bien que l'importance des trouées en forêt boréale fut reconnue, les connaissances nécessaires à la compréhension des relations entre le régime de trouées et la dynamique forestière, en particulier sur la croissance, sont souvent manquantes. Il est difficile d'observer et de mesurer extensivement la dynamique des trouées ou les changements de la canopée simultanément dans le temps et l'espace avec des données terrain ou des images bidimensionnelles (photos aériennes,...) et ce particulièrement dans des systèmes complexes comme les forêts ouvertes ou morcelées. De plus, la plupart des recherches furent menées en s'appuyant sur seulement quelques trouées représentatives bien que les interactions entre les trouées et la structure forestière furent rarement étudiées de manière conjointe. Le lidar est un système qui balaye la surface terrestre avec des faisceaux laser permettant d'obtenir une image dense de points en trois dimensions montrant les aspects structuraux de la végétation et de la topographie sous-jacente d'une grande superficie. Nous avons formulé l'hypothèse que lorsque les retours lidar de tirs quasi-verticaux sont denses et précis, ils permettent une interprétation de la géométrie des trouées et la comparaison de celles-ci dans le temps, ce qui nous informe à propos de leur influence sur la dynamique forestière. De plus, les mesures linéaires prises à différents moments dans le temps permettraient de donner une estimation fiable de la croissance. Ainsi, l'objectif de cette recherche doctorale était de développer des méthodes et d'accroître nos connaissances sur le régime de trouées et sa dynamique, et de déterminer comment la forêt boréale mixte répond à ces perturbations en termes de croissance et de mortalité à l'échelle locale. Un autre objectif était aussi de comprendre le rôle à court terme des ouvertures de la canopée dans un peuplement et la dynamique successionelle. Ces processus écologiques furent étudiés en reconstituant la hauteur de la surface de la canopée de la forêt boréale par l'utilisation de données lidar prises. en 1998, 2003 (et 2007), mais sans spécifications d'études similaires. L'aire d'étude de 6 km² dans la Forêt d'Enseignement et de Recherche du Lac Duparquet, Québec, Canada, était suffisamment grande pour capter la variabilité de la structure de la canopée et de la réponse de la forêt à travers une gamme de peuplements à différents stades de développement. Les recherches menées lors de cette étude ont révélé que les données lidar multi-temporelles peuvent être utilisées a priori dans toute étude de télédétection des changements, dont l'optimisation de la résolution des matrices et le choix de l'interpolation des algorithmes sont essentiels (pour les surfaces végétales et terrestres) afin d'obtenir des limites précises des trouées. Nous avons trouvé qu'une technique basée sur la croissance de régions appliquée à une surface lidar peut être utilisée pour délimiter les trouées avec une géométrie précise et pour éliminer les espaces entre les arbres représentant de fausses trouées. La comparaison de trouées avec leur délimitation Iidar le long de transects linéaires de 980 mètres montre une forte correspondance de 96,5%. Le lidar a été utilisé avec succès pour délimiter des trouées simples (un seul arbre) ou multiples (plus de 5 m²). En utilisant la combinaison de séries temporelles de trouées dérivées du lidar, nous avons développé des méthodes afin de délimiter les divers types d'évènements de dynamique des trouées: l'occurrence aléatoire de trouées, l'expansion de trouées et la fermeture de trouées, tant par la croissance latérale que la régénération. La technique proposée pour identifier les hauteurs variées arbre/gaulis sur une image lidar d'un Modèle de Hauteur de Couvert (MHC) a montré près de 75 % de correspondance avec les localisations photogrammétriques. Les taux de croissance libre suggérés basés sur les donnés lidar brutes après l'élimination des sources possibles d'erreur furent utilisés subséquemment pour des techniques statistiques afin de quantifier les réponses de croissance en hauteur qui ont été trouvées afin de faire varier la localisation spatiale en respect de la bordure de la trouée. À partir de la combinaison de donnés de plusieurs groupes d'espèces (de conifères et décidues) interprétée à partir d'images à haute résolution avec des données structurales lidar nous avons estimé les patrons de croissance en hauteur des différents groupes arbres/gaulis pour plusieurs contextes de voisinage. Les résultats on montré que la forêt boréale mixte autour du lac Duparquet est un système hautement dynamique, où la perturbation de la canopée joue un rôle important même pour une courte période de temps. La nouvelle estimation du taux de formation des trouées était de 0,6 %, ce qui correspond à une rotation de 182 ans pour cette forêt. Les résultats ont montré aussi que les arbres en périphérie des trouées étaient plus vulnérables à la mortalité que ceux à l'intérieur du couvert, résultant en un élargissement de la trouée. Nos résultats confirment que tant la croissance latérale que la croissance en hauteur de la régénération contribuent à la fermeture de la canopée à un taux annuel de 1,2 %. Des évidences ont aussi montré que les trouées de conifères et de feuillus ont des croissances latérales (moyenne de 22 cm/an) et verticales similaires sans tenir compte de leur localisation et leur hauteur initiale. La croissance en hauteur de tous les gaulis était fortement positive selon le type d'évènement et la superficie de la trouée. Les résultats suggèrent que la croissance des gaulis de conifères et de feuillus atteint son taux de croissance maximal à des distances respectives se situant entre 0,5 et 2 m et 1,5 et 4 m à partir de la bordure d'une trouée et pour des ouvertures de moins de 800 m² et 250 m² respectivement. Les effets des trouées sur la croissance en hauteur d'une forêt intacte se faisaient sentir à des distance allant jusqu'à à 30 m et 20 m des trouées, respectivement pour les feuillus et les conifères. Des analyses fines de l'ouverture de la canopée montrent que les peuplements à différents stades de développement sont hautement dynamiques et ne peuvent systématiquement suivre les mêmes patrons successionels. Globalement, la forêt est presqu'à l'équilibre compositionnel avec une faible augmentation de feuillus, principalement dû à la régénération de type infilling plutôt qu'une transition successionelle de conifères tolérants à l'ombre. Les trouées sont importantes pour le maintien des feuillus puisque le remplacement en sous-couvert est vital pour certains résineux. L'étude à démontré également que la dernière épidémie de tordeuse des bourgeons de l'épinette qui s'est terminée il y a 16 ans continue d'affecter de vieux peuplements résineux qui présentent toujours un haut taux de mortalité. Les résultats obtenus démontrent que lidar est un excellent outil pour acquérir des détails rapidement sur les dynamiques spatialement extensives et à court terme des trouées de structures complexes en forêt boréale. Les évidences de cette recherche peuvent servir tant à l'écologie, la sylviculture, l'aménagement forestier et aux spécialistes lidar. Ces idées ajoutent une nouvelle dimension à notre compréhension du rôle des petites perturbations et auront une implication directe pour les aménagistes forestiers en quête d'un aménagement forestier écologique et du maintien des forêts mixtes. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Perturbation naturelle, Dynamique forestière, Dynamique des trouées, Croissances latérales, Régénération, Succession, Lidar à retours discrets, Grande superficie, Localisation des arbres individuels, Croissance en hauteur

Rekonstruktion und skalierbare Detektion und Verfolgung von 3D Objekten

The task of detecting objects in images is essential for autonomous systems to categorize, comprehend and eventually navigate or manipulate its environment. Since many applications demand not only detection of objects but also the estimation of their exact poses, 3D CAD models can prove helpful since they provide means for feature extraction and hypothesis refinement. This work, therefore, explores two paths: firstly, we will look into methods to create richly-textured and geometrically accurate models of real-life objects. Using these reconstructions as a basis, we will investigate on how to improve in the domain of 3D object detection and pose estimation, focusing especially on scalability, i.e. the problem of dealing with multiple objects simultaneously.Objekterkennung in Bildern ist für ein autonomes System von entscheidender Bedeutung, um seine Umgebung zu kategorisieren, zu erfassen und schließlich zu navigieren oder zu manipulieren. Da viele Anwendungen nicht nur die Erkennung von Objekten, sondern auch die Schätzung ihrer exakten Positionen erfordern, können sich 3D-CAD-Modelle als hilfreich erweisen, da sie Mittel zur Merkmalsextraktion und Verfeinerung von Hypothesen bereitstellen. In dieser Arbeit werden daher zwei Wege untersucht: Erstens werden wir Methoden untersuchen, um strukturreiche und geometrisch genaue Modelle realer Objekte zu erstellen. Auf der Grundlage dieser Konstruktionen werden wir untersuchen, wie sich der Bereich der 3D-Objekterkennung und der Posenschätzung verbessern lässt, wobei insbesondere die Skalierbarkeit im Vordergrund steht, d.h. das Problem der gleichzeitigen Bearbeitung mehrerer Objekte

UAVs for the Environmental Sciences

This book gives an overview of the usage of UAVs in environmental sciences covering technical basics, data acquisition with different sensors, data processing schemes and illustrating various examples of application

xxAI - Beyond Explainable AI

This is an open access book. Statistical machine learning (ML) has triggered a renaissance of artificial intelligence (AI). While the most successful ML models, including Deep Neural Networks (DNN), have developed better predictivity, they have become increasingly complex, at the expense of human interpretability (correlation vs. causality). The field of explainable AI (xAI) has emerged with the goal of creating tools and models that are both predictive and interpretable and understandable for humans. Explainable AI is receiving huge interest in the machine learning and AI research communities, across academia, industry, and government, and there is now an excellent opportunity to push towards successful explainable AI applications. This volume will help the research community to accelerate this process, to promote a more systematic use of explainable AI to improve models in diverse applications, and ultimately to better understand how current explainable AI methods need to be improved and what kind of theory of explainable AI is needed. After overviews of current methods and challenges, the editors include chapters that describe new developments in explainable AI. The contributions are from leading researchers in the field, drawn from both academia and industry, and many of the chapters take a clear interdisciplinary approach to problem-solving. The concepts discussed include explainability, causability, and AI interfaces with humans, and the applications include image processing, natural language, law, fairness, and climate science.https://digitalcommons.unomaha.edu/isqafacbooks/1000/thumbnail.jp

xxAI - Beyond Explainable AI

This is an open access book. Statistical machine learning (ML) has triggered a renaissance of artificial intelligence (AI). While the most successful ML models, including Deep Neural Networks (DNN), have developed better predictivity, they have become increasingly complex, at the expense of human interpretability (correlation vs. causality). The field of explainable AI (xAI) has emerged with the goal of creating tools and models that are both predictive and interpretable and understandable for humans. Explainable AI is receiving huge interest in the machine learning and AI research communities, across academia, industry, and government, and there is now an excellent opportunity to push towards successful explainable AI applications. This volume will help the research community to accelerate this process, to promote a more systematic use of explainable AI to improve models in diverse applications, and ultimately to better understand how current explainable AI methods need to be improved and what kind of theory of explainable AI is needed. After overviews of current methods and challenges, the editors include chapters that describe new developments in explainable AI. The contributions are from leading researchers in the field, drawn from both academia and industry, and many of the chapters take a clear interdisciplinary approach to problem-solving. The concepts discussed include explainability, causability, and AI interfaces with humans, and the applications include image processing, natural language, law, fairness, and climate science

Robust approaches for face recognition

This thesis gave answers to a number of important questions regarding face classification. Via this research, new methods were introduced to represent four facial attributes (three of them related to the demographic information of the human face: gender, age and race) and the fourth one related to facial expression. It stated that, discriminative facial features regarding to demographic information (gender, age and race) and expression information can be obtained by applying texture analysis techniques to the polar raster sampled images. In addition, it is found that, multi-label classification (MLC) is more suitable in the real world as a human face can be associated with multiple labels