Analyse multirésolution et recherche d'images

L'objectif de ce mémoire est de développer une méthode rapide et efficace de recherche d'images par contenu. Cette méthode sera utilisée pour des images 1D et pour des images 2D dont les caractéristiques seront représentées par des images 1D. Une image 1D est un signal ou une fonction définie sur un intervalle. Elle peut être représentée par une fonction constante par morceaux, c'est-à-dire une fonction étagée. L'analyse multirésolution est une décomposition de cette fonction étagée suivant des ensembles de fonctions qui font apparaître les détails de l'image 1D en fonction des niveaux de résolution différents. Cette analyse multirésolution est produite grâce à une transformation en ondelettes de Haar qui décompose l'image 1D en ses composantes à différentes échelles. La compression par approximation s'effectue sur le nombre de coefficients de l'image 1D normalisée et décomposée. Si on néglige certains coefficients représentant les détails les plus fins, il est possible d'avoir une bonne approximation de l'image 1D. Nous établissons un processus automatisé de recherche d'images par contenu qui s'applique à de grosses bases de données (BD). On choisit pour cela une métrique qui sera calculée d'une façon rapide entre la requête et les images de la BD. Afin de calculer notre métrique, nous associons à cette dernière des poids déterminés par un modèle de régression logistique. Notre base de données d'images 1D est constituée par des mixtures de gaussiennes. Dans chaque mixture de gaussiennes, le nombre de composantes est identique au nombre de modes apparents. Pour évaluer notre méthode de recherche, nous avons étudié l'effet de plusieurs facteurs tels la translation, l'influence des poids, etc. Afin de tester l'efficacité et l'utilité de notre méthode de recherche, nous appliquons cette dernière pour une base de données de poissons de Surray et une base de données d'images couleurs

Recherche d'images par le contenu, analyse multirésolution et modèles de régression logistique

Cette thèse, présente l'ensemble de nos contributions relatives à la recherche d'images par le contenu à l'aide de l'analyse multirésolution ainsi qu'à la classification linéaire et nonlinéaire. Dans la première partie, nous proposons une méthode simple et rapide de recherche d'images par le contenu. Pour représenter les images couleurs, nous introduisons de nouveaux descripteurs de caractéristiques qui sont des histogrammes pondérés par le gradient multispectral. Afin de mesurer le degré de similarité entre deux images d'une façon rapide et efficace, nous utilisons une pseudo-métrique pondérée qui utilise la décomposition en ondelettes et la compression des histogrammes extraits des images. Les poids de la pseudo-métrique sont ajustés à l'aide du modèle classique de régression logistique afin d'améliorer sa capacité à discriminer et la précision de la recherche. Dans la deuxième partie, nous proposons un nouveau modèle bayésien de régression logistique fondé sur une méthode variationnelle. Une comparaison de ce nouveau modèle au modèle classique de régression logistique est effectuée dans le cadre de la recherche d'images. Nous illustrons par la suite que le modèle bayésien permet par rapport au modèle classique une amélioration notoire de la capacité à discriminer de la pseudo-métrique et de la précision de recherche. Dans la troisième partie, nous détaillons la dérivation du nouveau modèle bayésien de régression logistique fondé sur une méthode variationnelle et nous comparons ce modèle au modèle classique de régression logistique ainsi qu'à d'autres classificateurs linéaires présents dans la littérature. Nous comparons par la suite, notre méthode de recherche, utilisant le modèle bayésien de régression logistique, à d'autres méthodes de recherches déjà publiées. Dans la quatrième partie, nous introduisons la sélection des caractéristiques pour améliorer notre méthode de recherche utilisant le modèle introduit ci-dessus. En effet, la sélection des caractéristiques permet de donner automatiquement plus d'importance aux caractéristiques qui discriminent le plus et moins d'importance aux caractéristiques qui discriminent le moins. Finalement, dans la cinquième partie, nous proposons un nouveau modèle bayésien d'analyse discriminante logistique construit à l'aide de noyaux permettant ainsi une classification nonlinéaire flexible

Graph Attention Network for Camera Relocalization on Dynamic Scenes

We devise a graph attention network-based approach for learning a scene triangle mesh representation in order to estimate an image camera position in a dynamic environment. Previous approaches built a scene-dependent model that explicitly or implicitly embeds the structure of the scene. They use convolution neural networks or decision trees to establish 2D/3D-3D correspondences. Such a mapping overfits the target scene and does not generalize well to dynamic changes in the environment. Our work introduces a novel approach to solve the camera relocalization problem by using the available triangle mesh. Our 3D-3D matching framework consists of three blocks: (1) a graph neural network to compute the embedding of mesh vertices, (2) a convolution neural network to compute the embedding of grid cells defined on the RGB-D image, and (3) a neural network model to establish the correspondence between the two embeddings. These three components are trained end-to-end. To predict the final pose, we run the RANSAC algorithm to generate camera pose hypotheses, and we refine the prediction using the point-cloud representation. Our approach significantly improves the camera pose accuracy of the state-of-the-art method from $0.358$ to $0.506$ on the RIO10 benchmark for dynamic indoor camera relocalization

Recherche d'images par le contenu, analyse multirésolution et modèles de régression logistique

Cette thèse, présente l'ensemble de nos contributions relatives à la recherche d'images par le contenu à l'aide de l'analyse multirésolution ainsi qu'à la classification linéaire et nonlinéaire. Dans la première partie, nous proposons une méthode simple et rapide de recherche d'images par le contenu. Pour représenter les images couleurs, nous introduisons de nouveaux descripteurs de caractéristiques qui sont des histogrammes pondérés par le gradient multispectral. Afin de mesurer le degré de similarité entre deux images d'une façon rapide et efficace, nous utilisons une pseudo-métrique pondérée qui utilise la décomposition en ondelettes et la compression des histogrammes extraits des images. Les poids de la pseudo-métrique sont ajustés à l'aide du modèle classique de régression logistique afin d'améliorer sa capacité à discriminer et la précision de la recherche. Dans la deuxième partie, nous proposons un nouveau modèle bayésien de régression logistique fondé sur une méthode variationnelle. Une comparaison de ce nouveau modèle au modèle classique de régression logistique est effectuée dans le cadre de la recherche d'images. Nous illustrons par la suite que le modèle bayésien permet par rapport au modèle classique une amélioration notoire de la capacité à discriminer de la pseudo-métrique et de la précision de recherche. Dans la troisième partie, nous détaillons la dérivation du nouveau modèle bayésien de régression logistique fondé sur une méthode variationnelle et nous comparons ce modèle au modèle classique de régression logistique ainsi qu'à d'autres classificateurs linéaires présents dans la littérature. Nous comparons par la suite, notre méthode de recherche, utilisant le modèle bayésien de régression logistique, à d'autres méthodes de recherches déjà publiées. Dans la quatrième partie, nous introduisons la sélection des caractéristiques pour améliorer notre méthode de recherche utilisant le modèle introduit ci-dessus. En effet, la sélection des caractéristiques permet de donner automatiquement plus d'importance aux caractéristiques qui discriminent le plus et moins d'importance aux caractéristiques qui discriminent le moins. Finalement, dans la cinquième partie, nous proposons un nouveau modèle bayésien d'analyse discriminante logistique construit à l'aide de noyaux permettant ainsi une classification nonlinéaire flexible

Analyse multirésolution et recherche d'images

L'objectif de ce mémoire est de développer une méthode rapide et efficace de recherche d'images par contenu. Cette méthode sera utilisée pour des images 1D et pour des images 2D dont les caractéristiques seront représentées par des images 1D. Une image 1D est un signal ou une fonction définie sur un intervalle. Elle peut être représentée par une fonction constante par morceaux, c'est-à-dire une fonction étagée. L'analyse multirésolution est une décomposition de cette fonction étagée suivant des ensembles de fonctions qui font apparaître les détails de l'image 1D en fonction des niveaux de résolution différents. Cette analyse multirésolution est produite grâce à une transformation en ondelettes de Haar qui décompose l'image 1D en ses composantes à différentes échelles. La compression par approximation s'effectue sur le nombre de coefficients de l'image 1D normalisée et décomposée. Si on néglige certains coefficients représentant les détails les plus fins, il est possible d'avoir une bonne approximation de l'image 1D. Nous établissons un processus automatisé de recherche d'images par contenu qui s'applique à de grosses bases de données (BD). On choisit pour cela une métrique qui sera calculée d'une façon rapide entre la requête et les images de la BD. Afin de calculer notre métrique, nous associons à cette dernière des poids déterminés par un modèle de régression logistique. Notre base de données d'images 1D est constituée par des mixtures de gaussiennes. Dans chaque mixture de gaussiennes, le nombre de composantes est identique au nombre de modes apparents. Pour évaluer notre méthode de recherche, nous avons étudié l'effet de plusieurs facteurs tels la translation, l'influence des poids, etc. Afin de tester l'efficacité et l'utilité de notre méthode de recherche, nous appliquons cette dernière pour une base de données de poissons de Surray et une base de données d'images couleurs

Coarse-to-Fine Object Tracking Using Deep Features and Correlation filters

During the last years, deep learning trackers achieved stimulating results while bringing interesting ideas to solve the tracking problem. This progress is mainly due to the use of learned deep features obtained by training deep convolutional neural networks (CNNs) on large image databases. But since CNNs were originally developed for image classification, appearance modeling provided by their deep layers might be not enough discriminative for the tracking task. In fact,such features represent high-level information, that is more related to object category than to a specific instance of the object. Motivated by this observation, and by the fact that discriminative correlation filters(DCFs) may provide a complimentary low-level information, we presenta novel tracking algorithm taking advantage of both approaches. We formulate the tracking task as a two-stage procedure. First, we exploit the generalization ability of deep features to coarsely estimate target translation, while ensuring invariance to appearance change. Then, we capitalize on the discriminative power of correlation filters to precisely localize the tracked object. Furthermore, we designed an update control mechanism to learn appearance change while avoiding model drift. We evaluated the proposed tracker on object tracking benchmarks. Experimental results show the robustness of our algorithm, which performs favorably against CNN and DCF-based trackers. Code is available at: https://github.com/AhmedZgaren/Coarse-to-fine-Tracke