Exploration visuelle d'environnement intérieur par détection et modélisation d'objets saillants

Un robot compagnon doit comprendre le lieu de vie de l'homme pour satisfaire une requête telle que "Va chercher un verre dans la cuisine" avec un haut niveau d'autonomie. Pour cela, le robot doit acquérir un ensemble de représentations adaptées aux différentes tâches à effectuer. Dans cette thèse, nous proposons d'apprendre en ligne un modèle d'apparence de structures locales qui pourront être nommées par l'utilisateur. Cela permettra ensuite de caractériser un lieu topologique (ex: la cuisine) par un ensemble de structures locales ou d'objets s'y trouvant (réfrigérateur, cafetière, evier, ...). Pour découvrir ces structures locales, nous proposons une approche cognitive, exploitant des processus visuels pré-attentif et attentif, mis en oeuvre à partir d'un système sensoriel multi-focal. Le processus pré-attentif a pour rôle la détection de zones d'intérêt, supposées contenir des informations visuelles discriminantes: basé sur le modèle de 'saillance' de Itti et Koch, il détecte ces zones dans une carte de saillance, construite à partir d'images acquises avec une caméra large champ; une zone détectée est ensuite suivie sur quelques images afin d'estimer grossièrement la taille et la position 3D de la structure locale de l'environnement qui lui correspond. Le processus attentif se focalise sur la zone d'intérêt: le but est de caractériser chaque structure locale, par un modèle d'apparence sous la forme de mémoires associatives vues-patches-aspects. De chaque image sont extraits des points d'intérêt, caractérisés par un descripteur d'apparence local. Après cette phase d'exploration, l'homme peut annoter le modèle en segmentant les structures locales en objets, en nommant ces objets et en les regroupant dans des zones (cuisine). Ce modèle d'apparence sera ensuite exploité pour la reconnaissance et la localisation grossière des objets et des lieux perçus par le robot. ABSTRACT : A robot companion has to understand a domotic environment in order to execute requests like « Search a glass in the kitchen » with a high level of autonomy. So the robot must acquire several representations adapted to the tasks to be executed. This thesis proposes an on line learning method of an environment model expressed as a set of local structures described by appearance-based characteristics, and possibly named by a tutor. Such descriptions could be used in order to define a topological area (e.g. the kitchen) by a set of local structures or objects that could be found here (e.g. glasses, fridge, pans). For the construction of such a representation, it is proposed a cognitive mehod, based on attentive and preattentive visual processes, acquiring images from a multifocal sensor. The preattentive process aims at detect interest regions, that could contain discriminant visual information ; based on the saliency concept proposed initially bu Itti and Koch, interest regions are extracted from a saliency map, built from images acquired by a short lens or panoramic camera (large view field). Such a region is then tracked on several successive images acquired while the robot is moving, so that the size and the 3D position of the corresponding local structure could be coarsely estimated. Then the attentive process exploits attentionam mechanisms in order to be focused successively on each interest region : it aims to characterize each local structure by an appearance-based model defined by an associative memort views-patches-aspects. Salient scaled patches or SIFT features are extracted from every image. After this exploration step is over, the robot tutor could annotated the model, segmenting local structures in objects, naming objects and grouping them in areas (kitchen). Then, the robot exploits this environment model for the recognition and the coarse localization of objects and areas

Particules déterministes généralisées en filtrage non-linéaire : applications défense et télécommunications

La technique de filtrage particulaire s'applique à tous les problèmes d'estimation des systèmes dynamiques markoviens, sans restriction sur la nature des non-linéarités et/ou des distributions de bruits. L'objet de ce mémoire est de montrer la généralité de la technique déterministe en filtrage particulaire, par opposition à l'ancienne version aléatoire, qui permet d'éviter l'aléa inutilement introduit tant en prédiction qu'une redistribution des particules après pondération bayésienne. Le présent travail, s'articule autour de deux apports: Le premier, concerne le filtrage optimal à maximum de vraisemblance, et porte sur l'estimation trajectorielle globale des variables d'état. Le second portant sur le filtrage particulaire déterministe, concerne le filtrage optimal à minimum de variance, et porte sur l'estimation marginale à l'instant courant, par redistribution déterministe conforme en loi. Cette approche délivre simultanément tous les modes (maxima locaux) de la densité de probabilité marginale de l'état courant. Le mémoire met l'accent sur plusieurs réalisations dans des domaines différents, communications: Nous avons développé un outil à base de filtrage particulaire qui permet d'estimer conjointement des paramètres cinématiques relatifs au récepteur et la détection du message transmis par un satellite. Nous avons également proposé une série de schémas d'estimation/décodage itératifs du message turbo-codé conforme au standard DVB-RCS. Estimation de cible en sonar: On a construit un récepteur passif particulaire se contentant d'écouter sa cible, afin d'identifier ses paramètres cinématiques. La version déterministe permet de faire diminuer considérablement la masse de calculs. Traitement du signal radar: Le premier récepteur déterministe, à maximum de vraisemblance est utilisé pour la détection/poursuite de cibles furtives et manoeuvrantes, dans le cas où il y un nombre très limité de mesures disponibles pendant un tour d'antenne du radar de veille. Le second récepteur consiste à appliquer la technique à minimum de variance au radar ARMOR, ce qui a permis de confirmer des gains inhabituels en termes de rapport signal sur bruit. La nouvelle technique déterministe à minimum de variance s'étend également au multi-cible et au traitement en présence de fouillis, avec l'incomparable économie calculatoire du déterministe.Particle filters are presently among the most powerful tools to estimate Markovian dynamical systems, regardless of the nature of nonlinearities and/or noise probability distributions. The purpose of this dissertation is to show the generality of deterministic particle filtering, as opposed to the former random version, which avoids randomization in the prediction stage as well as in the resampling stage after Bayesian correction. This work relies on two kinds of results: the first concerns the particle filter-based maximum likelihood estimator for sequential estimation of the state variables. The second patent, introducing deterministic particle filtering in the minimum variance sense, focuses on the current state marginal estimation using a resampling scheme consistant with the a posteriori distribution. This approach simultaneously delivers all modes (local maxima) of the marginal probability density function of the current state. The thesis focuses on several achievements in various fields: communications: The proposed particle algorithm makes possible the joint estimation of the kinematic channel parameters at the receiver side and the detection of the message transmitted by a satellite. We have also proposed several techniques for the iterative estimation and decoding of the turbo-coded message compliant with the DVB-RCS standard. Target estimation for sonar: We built a passive particle receiver only listening to its target, in order to identify its kinematic parameters. The deterministic version allows to significantly reduce the computational complexity. Radar signal processing: The first receiver , with deterministic maximum likelihood filtering, is used for the detection / tracking of steady and manoeuvering targets , when there is a very limited number of available measurements during a circular period of antenna of the radar. The second receiver applies the minimum variance technique to the ARMOR radar, confirming unusually high signal-to-noise gains. The novel deterministic technique based on minimum variance criteria can easily be extended to multitarget processing and tracking in the presence of clutter, with the incomparable complexity savings due to the deterministic technique

Détection de motifs audio pour la séparation de sources guidée. Application aux bandes- son de films.

Lorsque l'on manipule un signal audio, il est généralement utile d'opérer un isolement du ou des éléments sonores que l'on cherche à traiter. Cette étape est couramment appelée séparation de sources audio. Il existe de nombreuses techniques pour estimer ces sources et plus on prend en compte d'informations à leur sujet plus la séparation a des chances d'être réussie. Une façon d'incorporer des informations sur une source est l'utilisation d'un signal de référence qui va donner une première approximation de cette source. Cette thèse s'attache à explorer les aspects théoriques et appliqués de la séparation de sources audio guidée par signal de référence. La nouvelle approche proposée appelée SPOtted REference based Separation (SPORES) examine le cas particulier où les références sont obtenues automatiquement par détection de motif, c'est-à-dire par une recherche de contenu similaire. Pour qu'une telle approche soit utile, le contenu traité doit comporter une certaine redondance ou bien une large base de données doit être disponible. Heureusement, le contexte actuel nous permet bien souvent d'être dans une des deux situations et ainsi de retrouver ailleurs des motifs similaires. L'objectif premier de ce travail est de fournir un cadre théorique large qui une fois établi facilitera la mise au point efficace d'outils de traitement de contenus audio variés. Le second objectif est l'utilisation spécifique de cette approche au traitement de bandes-son de films avec par exemple comme application leur conversion en format surround 5.1 adapté aux systèmes home cinema.In audio signal processing, source separation consists in recovering the different audio sources that compose a given observed audio mixture. They are many techniques to estimate these sources and the more information are taken into account about them the more the separation is likely to be successful. One way to incorporate information on sources is the use of a reference signal which will give a first approximation of this source. This thesis aims to explore the theoretical and applied aspects of reference guided source separation. The proposed approach called SPOtted REference based Separation (SPORES) explore the particular case where the references are obtained automatically by motif spotting, i.e., by a search of similar content. Such an approach is useful for contents with a certain redundancy or if a large database is be available. Fortunately, the current context often puts us in one of these two situations and finding elsewhere similar motifs is possible. The primary objective of this study is to provide a broad theoretical framework that once established will facilitate the efficient development of processing tools for various audio content. The second objective is the specific use of this approach to the processing of movie soundtracks with application in 5.1 upmixing for instance

Contributions à l’analyse des systèmes en réseau

La dernière décennie a vu l’émergence des travaux autour des systèmes dynamiques interconnectés (systèmes en réseaux ou systèmes cyberphysiques). Dans cette habilitation à diriger des recherches, je donne un aperçu des contributions qui ont été les miennes durant la dernière décennie sur : l’analyse des systèmes en réseaux (problème de consensus, observabilité et application à la préservation de la vie privée), le traitement des données de grandes dimensions (analyse tensorielle pour l’identification des systèmes non-linéaires, décomposition distribuée de tenseurs de grandes dimensions), et l’application à la mobilité intelligente (navigation en milieu urbain, prédiction et estimation de trafic, estimation d’attitude pour la navigation pédestre). Une prospective est ensuite développée autour de la sécurité des systèmes en réseaux, en se basant sur la théorie des systèmes, et sur l’analyse des données de grandes dimensions organisées dans des tenseurs de données avec des applications sur la mobilité intelligente

Sources impulsionnelles picosecondes tout optique à très haut débit : applications aux télécommunications optiques

This thesis presents the work carried out on the realization of fibered 40-GHz picosecond optical pulse sources in the telecommunications C-band. In the first part, we present a numerical and experimental study of the generation of 40-GHz pulse trains thanks to the nonlinear compression of an initial beat-signal by multiple Four-Wave Mixing process. Enhanced temporal stability is achieved by generating the sinusoidal beating thanks to a Mach-Zehnder modulator driven at its zero-transmission working point. In order to improve the quality of the generated pulses, we also demonstrate the suppression of stimulated Brillouin back-scattering by inserting several optical isolators into the compression line. In the next part, we present the generation of low duty-cycle pulse trains by using a nonlinear compressor line based on 4 segments of fiber. The generated pulse trains have been encoded and then multiplexed to achieve a high bit rate signal (160 Gb/s). In the last part, we present the technology transfer steps of this optical source, such as creating a prototype of the source, prior art search and market research.Ce mémoire de thèse présente les travaux effectués pour la réalisation de sources optiques fibrées d’impulsions picosecondes cadencées à 40 GHz dans la bande C des télécommunications. Dans une première partie, nous présentons des études numériques et expérimentales mises en place pour la génération d’un train d’impulsions cadencé à 40 GHz par la compression non-linéaire d’un battement sinusoïdal via un processus de mélanges à quatre ondes multiples. Afin d’obtenir des impulsions stables, le battement sinusoïdal initial est obtenu par la modulation en intensité d’un signal continu grâce à un modulateur Mach-Zehnder piloté au point nul de transmission. Nous démontrons également l’amélioration de la qualité des impulsions générées par la suppression de la diffusion Brillouin stimulée grâce à la mise en place d’isolateurs optiques dans la ligne fibrée de la source. Nous présentons ensuite la génération d’impulsions ultra-courtes grâce à un compresseur non-linéaire composé de quatre étages fibrés. Le train d’impulsions obtenu est alors codé puis multiplexé jusqu’à un débit optique de 160 Gbit/s. Dans la dernière partie, nous présentons les démarches mises en place en vue d’un transfert technologique, telles que la réalisation d’un prototype de la source, la recherche d’antériorité et l’étude de marché

Apprentissage statistique pour l'étiquetage de musique et la recommandation

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Consensus ou fusion de segmentation pour quelques applications de détection ou de classification en imagerie

Récemment, des vraies mesures de distances, au sens d’un certain critère (et possédant de bonnes propriétés asymptotiques) ont été introduites entre des résultats de partitionnement (clustering) de donnés, quelquefois indexées spatialement comme le sont les images segmentées. À partir de ces métriques, le principe de segmentation moyenne (ou consensus) a été proposée en traitement d’images, comme étant la solution d’un problème d’optimisation et une façon simple et efficace d’améliorer le résultat final de segmentation ou de classification obtenues en moyennant (ou fusionnant) différentes segmentations de la même scène estimée grossièrement à partir de plusieurs algorithmes de segmentation simples (ou identiques mais utilisant différents paramètres internes). Ce principe qui peut se concevoir comme un débruitage de données d’abstraction élevée, s’est avéré récemment une alternative efficace et très parallélisable, comparativement aux méthodes utilisant des modèles de segmentation toujours plus complexes et plus coûteux en temps de calcul. Le principe de distance entre segmentations et de moyennage ou fusion de segmentations peut être exploité, directement ou facilement adapté, par tous les algorithmes ou les méthodes utilisées en imagerie numérique où les données peuvent en fait se substituer à des images segmentées. Cette thèse a pour but de démontrer cette assertion et de présenter différentes applications originales dans des domaines comme la visualisation et l’indexation dans les grandes bases d’images au sens du contenu segmenté de chaque image, et non plus au sens habituel de la couleur et de la texture, le traitement d’images pour améliorer sensiblement et facilement la performance des méthodes de détection du mouvement dans une séquence d’images ou finalement en analyse et classification d’images médicales avec une application permettant la détection automatique et la quantification de la maladie d’Alzheimer à partir d’images par résonance magnétique du cerveau.Recently, some true metrics in a criterion sense (with good asymptotic properties) were introduced between data partitions (or clusterings) even for data spatially ordered such as image segmentations. From these metrics, the notion of average clustering (or consensus segmentation) was then proposed in image processing as the solution of an optimization problem and a simple and effective way to improve the final result of segmentation or classification obtained by averaging (or fusing) different segmentations of the same scene which are roughly estimated from several simple segmentation models (or obtained with the same model but with different internal parameters). This principle, which can be conceived as a denoising of high abstraction data, has recently proved to be an effective and very parallelizable alternative, compared to methods using ever more complex and time-consuming segmentation models. The principle of distance between segmentations, and averaging of segmentations, in a criterion sense, can be exploited, directly or easily adapted, by all the algorithms or methods used in digital imaging where data can in fact be substituted to segmented images. This thesis proposal aims at demonstrating this assertion and to present different original applications in various fields in digital imagery such as the visualization and the indexation in the image databases, in the sense of the segmented contents of each image, and no longer in the common color and texture sense, or in image processing in order to sensibly and easily improve the detection of movement in the image sequence or finally in analysis and classification in medical imaging with an application allowing the automatic detection and quantification of Alzheimer’s disease

Contributions au traitement des images multivariées

Ce mémoire résume mon activité pédagogique et scientifique en vue de l’obtention de l’habilitation à diriger des recherches

Analyse et enrichissement de flux compressés : application à la vidéo surveillance

The increasing deployment of civil and military videosurveillance networks brings both scientific and technological challenges regarding analysis and content recognition over compressed streams. In this context, the contributions of this thesis focus on: - an autonomous method to segment in the compressed domain mobile objects (pedestrians, vehicles, animals …), - the coverage of the various compression standards commonly used in surveillance (MPEG-2, MPEG-4 Part 2, MPEG-4 Part 10 / H.264 AVC), - an optimised multi-stream processing chain from the objects segmentation up to their tracking and description. The developed demonstrator made it possible to bench the performances of the methodological approaches chosen for a tool dedicated to help investigations. It identifies vehicles from a witness description in databases of tens of hours of video. Moreover, while dealing with corpus covering the different kind of content expected from surveillance (subway stations, crossroads, areas in countryside or border surveillance …), the system provided the following results: - simultaneous real time analysis of up to 14 MPEG-2 streams, 8 MPEG-4 Part 2 streams or 3 AVC streams on a single core (2.66 GHz; 720x576 video, 25 fps), - 100% vehicles detected over the length of traffic surveillance footages, with a image per image detection near 95%, - a segmentation spreading over 80 to 150% of the object area (under or over-segmentation linked with the compressed domain). These researches led to 9 patents linked with new services and applications that were made possible thanks to the suggested approaches. Among these lie tools for Unequal Error Protection, Visual Cryptography, Watermarking or SteganographyLe développement de réseaux de vidéosurveillance, civils ou militaires, pose des défis scientifiques et technologiques en termes d’analyse et de reconnaissance des contenus des flux compressés. Dans ce contexte, les contributions de cette thèse portent sur : - une méthode de segmentation automatique des objets mobiles (piétons, véhicules, animaux …) dans le domaine compressé, - la prise en compte des différents standards de compression les plus couramment utilisés en surveillance (MPEG-2, MPEG-4 Part 2 et MPEG-4 Part 10 / H.264 AVC), - une chaîne de traitement multi-flux optimisée depuis la segmentation des objets jusqu’à leur suivi et description. Le démonstrateur réalisé a permis d’évaluer les performances des approches méthodologiques développées dans le cadre d’un outil d’aide à l’investigation, identifiant les véhicules répondant à un signalement dans des bases de données de plusieurs dizaines d’heures. En outre, appliqué à des corpus représentatifs des différentes situations de vidéosurveillance (stations de métro, carrefours, surveillance de zones en milieu rural ou de frontières ...), le système a permis d’obtenir les résultats suivants : - analyse de 14 flux MPEG-2, 8 flux MPEG-4 Part 2 ou 3 flux AVC en temps réel sur un coeur à 2.66 GHZ (vidéo 720x576, 25 images par seconde), - taux de détection des véhicules de 100% sur la durée des séquences de surveillance de trafic, avec un taux de détection image par image proche des 95%, - segmentation de chaque objet sur 80 à 150% de sa surface (sous ou sur-segmentation liée au domaine compressé). Ces recherches ont fait l’objet du dépôt de 9 brevets liés à des nouveaux services et applications rendus opérationnels grâce aux approches mises en oeuvre. Citons entre autres des outils pour la protection inégale aux erreurs, la cryptographie visuelle, la vérification d’intégrité par tatouage ou l’enfouissement par stéganographi