Segmentation of vectorial image features using shape gradients and information measures

International audienceIn this paper, we propose to focus on the segmentation of vectorial features (e.g. vector fields or color intensity) using region-based active contours. We search for a domain that minimizes a criterion based on homogeneity measures of the vectorial features. We choose to evaluate, within each region to be segmented, the average quantity of information carried out by the vectorial features, namely the joint entropy of vector components. We do not make any assumption on the underlying distribution of joint probability density functions of vector components, and so we evaluate the entropy using non parametric probability density functions. A local shape minimizer is then obtained through the evolution of a deformable domain in the direction of the shape gradient. The first contribution of this paper lies in the methodological approach used to differentiate such a criterion. This approach is mainly based on shape optimization tools. The second one is the extension of this method to vectorial data. We apply this segmentation method on color images for the segmentation of color homogeneous regions. We then focus on the segmentation of synthetic vector fields and show interesting results where motion vector fields may be separated using both their length and their direction. Then, optical flow is estimated in real video sequences and segmented using the proposed technique. This leads to promising results for the segmentation of moving video objects

Utilisation des gradients de forme et des contours actifs basés régions pour la segmentation des vecteurs mouvement

- L'objectif est ici la segmentation de régions homogènes en utilisant des caractéristiques vectorielles. L'application visée est la segmentation des régions en mouvement en utilisant les vecteurs mouvement. Afin de caractériser l'homogénéité de la région en utilisant toutes les composantes des vecteurs mouvement, nous estimons puis minimisons l'entropie jointe de ces composantes. Cette quantité est évaluée en utilisant la densité de probabilité jointe des composantes (celle-ci est non paramétrique puisque nous ne faisons aucune hypothèse sur la distribution sous-jacente). Sur les résultats synthétiques, on peut montrer que l'on arrive à différencier des régions en prenant en compte les deux composantes des vecteurs mouvement. Ainsi on peut différencier des vecteurs de même longueur mais de directions différentes. Sur des séquences vidéo réelles, des premiers résultats prometteurs ont été obtenus pour la segmentation d'objets en mouvement

Mesures statistiques non-paramétriques pour la segmentation d'images et de vidéos et minimisation par contours actifs

Image and video segmentation consists in the partitioning of an image into objects of interest and background. When using active contours in an variational framework, the difficulty is to define an appropriate segmentation criterion. This criterion is then differentiated using shape gradients, in order to obtain the evolution equation of the active contour. Often this criterion depends on image features and makes an assumption on the distribution of such features. For example, considering a function of the intensity mean as a criterion is equivalent to making a Gaussian assumption on the distribution of the intensity. In this work, we propose to get rid of such assumptions by approximating actual distributions. We use a non-parametric kernel-based estimator. We propose different criteria coming from information theory, such as entropy, to segment zones with limited intensity variations. In order to take into account several channels like color channels, two alternatives are proposed : joint entropy and mutual information. When some a priori is available, the Kullback-Leibler divergence is used to minimize a distance between a reference distribution and the distribution of the current region. To segment moving objects in video sequences, the joint entropy is used. A first approach consists in computing the optical flow and minimizing the joint entropy of its components. A second approach consists in jointly estimating the motion and segmenting moving objects by minimizing the joint entropy of a residual and the image intensity.La segmentation d'images et de séquences vidéo consiste à séparer les objets d'intérêt du reste de l'image. L'utilisation de contours actifs en utilisant une approche variationnelle repose sur la définition d'un critère de segmentation. Ce critère est ensuite dérivé à l'aide des gradients de forme, afin de parvenir à l'équation d'évolution du contour actif. Bien souvent ce critère dépend des caractéristiques de l'image et fait une hypothèse implicite sur les distributions de ces caractéristiques. Par exemple, considérer une fonction de la moyenne de l'intensité d'une région revient à faire une hypothèse gaussienne sur la distribution de cette intensité. Dans cette thèse, nous proposons de nous affranchir de ces hypothèses qui ne sont pas toujours respectées et de considérer les distributions les plus "réelles" possible en utilisant une estimation non-paramétrique de ces distributions. Nous présentons des critères issus de la théorie de l'information, comme l'entropie, afin de segmenter des zones de faible variabilité dans les images. Afin de prendre en compte plusieurs canaux comme les canaux couleur, l'entropie jointe et l'information mutuelle sont aussi utilisées. Lorsqu'une information a priori est connue, la divergence de Kullback-Leibler permet d'introduire une notion de distance à une segmentation de référence en cherchant à minimiser une "distance" entre distributions. Enfin, l'entropie jointe est utilisée afin de segmenter des objets en mouvement dans des séquences vidéo, que cela soit en ayant au préalable calculé un flot optique, ou en estimant de façon conjointe le mouvement avec la segmentation

Détection d'objets en milieu naturel : application à l'arboriculture

International audienceCet article présente une approche de détection de fruits depuis des images acquises par des caméras dans un verger. Le but est de comptabiliser les fruits, ici des pommes de différentes variétés. Nous adaptons une méthode classique, basée sur une classification appliquée sur une fenêtre de résolution variable, déplacée dans toute l'image : ce classifieur doit au préalable être entraîné sur une base d'apprentissage de grande dimension, construite à partir d'images annotées. Cet apprentissage est requis pour les différentes variétés. Pour limiter le temps lié à la construction de ces bases d'apprentissage, nous proposons d'exploiter toujours la même base d'images acquises sur des pommes qu'il est possible de segmenter de manière automatique, typiquement des pommes rouges qui se détachent facilement du feuillage. Nous décrivons les différents classifieurs de type CNN testés pour cette application, exploités en mode prédiction-vérification. Nous comparons cette approche avec une méthode classique de la littérature

Mesures statistiques non-paramétriques pour la segmentation d'images et de vidéos et minimisation par contours actifs

La segmentation d'images et de séquences vidéo consiste à séparer les objets d'intérêt du reste de l'image. L'utilisation de contours actifs en utilisant une approche variationnelle repose sur la définition d'un critère de segmentation. Ce critère est ensuite dérivé à l'aide des gradients de forme, afin de parvenir à l'équation d'évolution du contour actif. Bien souvent ce critère dépend des caractéristiques de l'image et fait une hypothèse implicite sur les distributions de ces caractéristiques. Par exemple, considérer une fonction de la moyenne de l'intensité d'une région revient à faire une hypothèse gaussienne sur la distribution de cette intensité. Dans cette thèse, nous proposons de nous affranchir de ces hypothèses qui ne sont pas toujours respectées et de considérer les distributions les plus "réelles" possible en utilisant une estimation non-paramétrique de ces distributions. Nous présentons des critères issus de la théorie de l'information, comme l'entropie, afin de segmenter des zones de faible variabilité dans les images. Afin de prendre en compte plusieurs canaux comme les canaux couleur, l'entropie jointe et l'information mutuelle sont aussi utilisées. Lorsqu'une information a priori est connue, la divergence de Kullback-Leibler permet d'introduire une notion de distance à une segmentation de référence en cherchant à minimiser une "distance" entre distributions. Enfin, l'entropie jointe est utilisée afin de segmenter des objets en mouvement dans des séquences vidéo, que cela soit en ayant au préalable calculé un flot optique, ou en estimant de façon conjointe le mouvement avec la segmentation.Image and video segmentation consists in the partitioning of an image into objects of interest and background. When using active contours in an variational framework, the difficulty is to define an appropriate segmentation criterion. This criterion is then differentiated using shape gradients, in order to obtain the evolution equation of the active contour. Often this criterion depends on image features and makes an assumption on the distribution of such features. For example, considering a function of the intensity mean as a criterion is equivalent to making a Gaussian assumption on the distribution of the intensity. In this work, we propose to get rid of such assumptions by approximating actual distributions. We use a non-parametric kernel-based estimator. We propose different criteria coming from information theory, such as entropy, to segment zones with limited intensity variations. In order to take into account several channels like color channels, two alternatives are proposed : joint entropy and mutual information. When some a priori is available, the Kullback-Leibler divergence is used to minimize a distance between a reference distribution and the distribution of the current region. To segment moving objects in video sequences, the joint entropy is used. A first approach consists in computing the optical flow and minimizing the joint entropy of its components. A second approach consists in jointly estimating the motion and segmenting moving objects by minimizing the joint entropy of a residual and the image intensity.NICE-BU Sciences (060882101) / SudocSudocFranceF

Débrumage d'images pour la détection de lignes dans le domaine aéronautique

International audienceLa navigation autonome est un domaine de recherche actif depuis de nombreuses années, d'abord appliquée en robotique, puis tournée vers l'automobile : nous proposons ici de nous intéresser au contexte aéronautique. Pour mener à bien cette tâche, nous cherchons à détecter les différents marquages présents sur le tarmac, à partir d'une image provenant d'une caméra RGB placée dans la dérive de l'avion, afin d'obtenir un vaste angle de vue. Comme tout traitement d'image en extérieur, notre système est très sensible aux variations des conditions météorologiques qui dégradent les résultats. Dans cet article, nous comparons des méthodes qui permettent d'améliorer la qualité de l'image obtenue par temps de brouillard et nous analysons leurs capacités à limiter l'impact du brouillard sur la détection des marquages

Mesures statistiques non-paramétriques pour la segmentation d'images et de vidéos et minimisation par contours actifs

La segmentation d'images et de séquences vidéo consiste à séparer les objets d'intérêt du reste de l'image. L'utilisation de contours actifs en utilisant une approche variationnelle repose sur la définition d'un critère de segmentation. Ce critère est ensuite dérivé à l'aide des gradients de forme, afin de parvenir à l'équation d'évolution du contour actif. Bien souvent ce critère dépend des caractéristiques de l'image et fait une hypothèse implicite sur les distributions de ces caractéristiques. Par exemple, considérer une fonction de la moyenne de l'intensité d'une région revient à faire une hypothèse gaussienne sur la distribution de cette intensité. Dans cette thèse, nous proposons de nous affranchir de ces hypothèses qui ne sont pas toujours respectées et de considérer les distributions les plus "réelles" possible en utilisant une estimation non-paramétrique de ces distributions. Nous présentons des critères issus de la théorie de l'information, comme l'entropie, afin de segmenter des zones de faible variabilité dans les images. Afin de prendre en compte plusieurs canaux comme les canaux couleur, l'entropie jointe et l'information mutuelle sont aussi utilisées. Lorsqu'une information a priori est connue, la divergence de Kullback-Leibler permet d'introduire une notion de distance à une segmentation de référence en cherchant à minimiser une "distance" entre distributions. Enfin, l'entropie jointe est utilisée afin de segmenter des objets en mouvement dans des séquences vidéo, que cela soit en ayant au préalable calculé un flot optique, ou en estimant de façon conjointe le mouvement avec la segmentation.Image and video segmentation consists in the partitioning of an image into objects of interest and background. When using active contours in an variational framework, the difficulty is to define an appropriate segmentation criterion. This criterion is then differentiated using shape gradients, in order to obtain the evolution equation of the active contour. Often this criterion depends on image features and makes an assumption on the distribution of such features. For example, considering a function of the intensity mean as a criterion is equivalent to making a Gaussian assumption on the distribution of the intensity. In this work, we propose to get rid of such assumptions by approximating actual distributions. We use a non-parametric kernel-based estimator. We propose different criteria coming from information theory, such as entropy, to segment zones with limited intensity variations. In order to take into account several channels like color channels, two alternatives are proposed : joint entropy and mutual information. When some a priori is available, the Kullback-Leibler divergence is used to minimize a distance between a reference distribution and the distribution of the current region. To segment moving objects in video sequences, the joint entropy is used. A first approach consists in computing the optical flow and minimizing the joint entropy of its components. A second approach consists in jointly estimating the motion and segmenting moving objects by minimizing the joint entropy of a residual and the image intensity.NICE-BU Sciences (060882101) / SudocSudocFranceF

External Cameras and a Mobile Robot for Enhanced Multi-person Tracking

International audienceIn this paper, we present a cooperative multi-person tracking system between external fixed-view wall mounted cameras and a mobile robot. The proposed system fuses visual detections from the external cameras and laser based detections from a mobile robot, in a centralized manner, employing a "tracking-by-detection" approach within a Particle Filtering scheme. The enhanced multi-person tracker's ability to track targets in the surveilled area distinctively is demonstrated through quantitative experiments

Improving Robot Reactivity to Passers-by with a Faster People Detector

International audiencePerceptual systems deployed in embedded intelligent systems are handicapped with limited computation resources. As a result, they require explicit computation time consideration during design time. In this paper, we investigate the impact a visual person detector explicitly optimized to minimize computational time has on an exemplar robotic application – navigation in human shared environments. The experimental results attest the improved perceptual frame rate leads to significant improvements in vision system performance and robotic mission success rate

Person Detection with a Computation Time Weighted AdaBoost

International audienceIn this paper, a boosted cascade person detection framework with heterogeneous pool of features is presented. The boosted cascade construction and feature selection is carried out using a modified AdaBoost that takes computation time of features into consideration. The final detector achieves a low Miss Rate of 0.06 at 10−3 False Positive Per Window on the INRIA public dataset while achieving an average speed up of 1.8x on the classical variant