Suivi dans des séquences d'images par coopération luminance/couleur

Cet article propose une technique de suivi de points différentielle robuste aux changements d'illumination par la coopération d'attributs couleur invariants et d'une normalisation photométrique en fonction du contexte. En effet, la plupart des invariants couleur s'avèrent bruités ou peu pertinents dans le cas d'une faible saturation et/ou d'une faible intensité, mettant le suivi en échec. Les combiner alors avec une information de luminance aboutit à un suivi plus performant quelles que soient les conditions d'éclairage. Quelques expérimentations prouvent la robustesse et la précision de cette approche

Lignes et régions couleurs et leur appariement stéréo

En vision par ordinateur, les points saillants sont des caractéristiques essentielles aux algorithmes. Les performances dépendent de paramètres extérieurs (ex. illumination). Les mesures de similarité sont centrales à la reconnaissance. Pour assurer l'efficacité de traitement, les caractéristiques extraites d'une image doivent être stables, et la mesure de similarité doit les distinguer parfaitement.Dans cette thèse, des caractéristiques conjointes géométrie/couleur sont étudiées: lignes de couleur et régions. Elles fondent la détection d'une troisième, la profondeur, qui sert en retour à évaluer leurs performanceLes lignes sont des extensions des classiques lignes de niveau: l'espace couleur 3-D est projeté sur un espace 1-D adapté pour résumer l'information chromatique là où elle est adéquate,Les régions exploitent classiquement la connexité image mais jointe à une compacité dans l'histogramme bidimensionnel issu du modèle dichromatique. L'homogénéité ainsi définie garantit une robustesse a priori aux variations d'éclairage en séparant la couleur de l'intensité et les couleurs entre elles.Cette homogénéité est exploitée selon 2 méthodes d'extraction d'ensembles compacts autour des modes de l'histogramme: extraction analytique des extrema locaux de couleur, extraction de ces mêmes extrema contrôlée par les régions correspondantes de l'image.Pour la profondeur, trois calculs de disparité stéréoscopique sont proposés et les performances comparées avec la réalité terrain:1. Appariement de lignes couleur avec une distance de Hausdorff revisitée.2. Exploitation de la forme des histogrammes de disparité par régions3.Coopération entre appariement de points et de régions.In computer vision, salient points are essential features to algorithms. Performances depend on external parameters (e.g. illuminant). Similarity measures are central to recognition.To secure the processing efficiency, extracted features have to be stable enough, and the similarity measure needs to perfectly distinguish between them.In the thesis, joint geometrical and color features are studied: color lines and regions. They found the detection of a third one, range, that helps in turn to assess their goodness.Color lines are extensions of classical level lines: the 3 D color space is mapped onto a 1 D scale especially designed to retain the chromatic information where it is suitable.Regions require the usual image connectivity but in association with compactness in the bi-dimensional histogram stemming from the dichromatic model. The so-designed homogeneity is granting an a priori good robustness against illumination variations in separating the body colors and splitting color from intensity.The latter homogeneity gives raise to 2 methods for extracting compact sets around histogram modes: color first analysis (an analytic extraction of color local extrema) , and joint color/space analysis (same but controlled by the region growing).As for depth, 3 methods to compute the stereo disparity are proposed for their results to be confronted with the ground-truth:1. Color line matching based on a modified Hausdorff distance,2. Studying the shape of the disparity histogram between regions,3. Cooperation between pixel correlation and region matching.The robustness of the designed features is proved on several stereo pairs. Future work deals with improving efficacy and accuracy.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Optimization of a gesture representation network for Sign Language analysis

This paper presents the manufacturing and optimization of a convolutional-recurrent neural network, in order to jointly learn the detection of numerous Sign Language linguistic features in ordinary RGB videos. The proposed architecture can learn generic temporal-gestural features from a compact representation of people producing continuous Sign Language. These generic features make it possible to detect both lexical signs and higher-level linguistic patterns simultaneously. New pattern types can be added to the model and accurately detected without retraining the gestural features, that is with few training instances. The network is trained and tested on a continuous dialog corpus of French Sign Language. It gets localized F1-scores up to 80%, depending on the optimization of the network architecture

Exploiting optical flow field properties for 3D structure identification

International audienceThis paper deals with a new method that exploits optical flow field properties to simplify and strengthen the original c-velocity approach (Bouchafa and Zavidovique, 2012). C-velocity is a cumulative method based on a Hough-like transform adapted to velocities that allows 3D structure identification. In case of moving cameras, the 3D scene is assumed to be composed by a set of 3D planes that could be categorized in 3 main models: horizontal, lateral and vertical planes. We prove in this paper that, by using directly pixel coordinates to create what we will call the uv-velocity space, it is possible to detect 3D planes efficiently. We conduct our experiments on the KITTI optical flow dataset (Menze and Geiger, 2015) to prove our new concept besides the effectiveness of uv-velocity in detecting planes. In addition, we show how our approach could be applied to detect free navigation area (road), urban structures like buildings and obstacles from a moving camera in the context of Advanced Driver Assistance Systems

Apports de la couleur et des modèles de réflexion pour l'extraction et le suivi de primitives

Comprendre les mécanismes de transparence et de variations photométriques ne peut que faciliter la mise en oeuvre de tâches de traitement et d'analyse d'images, soit en modélisant ces phénomènes soit en calculant des attributs qui leur sont invariants. Cette thèse s'intéresse à deux problématiques liées à ces aspects. Par l'étude de la transparence d'une encre colorée imprimée sur un support de couleur, nous proposons des attributs invariants vis-à-vis de la couleur du support sur lequel elle est imprimée et vis-à-vis de la quantité d'encre utilisée. Ils sont exploités dans la mise en oeuvre d'une méthode de segmentation de marquages à l'encre, basée sur une classification suivie d'une croissance de régions. Cette technique est appliquée au contrôle de la traçabilité de la filière porcine. D'autre part, l'étude analytique des modèles de réflexion spéculaires et la modélisation des variations photométriques a permis d'une part d'analyser la validité des approches de suivi de points existantes, d'autre part d'améliorer la robustesse de ce type de méthodes vis-à-vis des variations d'illumination, par calcul conjoint des variations géométriques et photométriques. Pour ce faire, les variations d'illumination sont supposées continues autour du point à suivre. De la même manière, le suivi de motifs plus larges est amélioré par un modèle plus complet. Nous étudions enfin la robustesse du suivi de points couleur vis-à-vis des variations d'illumination, par utilisation conjointe d'invariants couleur et d'un modèle photométrique. Des simulations et des expériences sur séquences réelles permettent de comparer les différentes approches et de prouver la bonne robustesse de ces techniques vis-à-vis des variations de spécularité et de changements d'éclairage.The study of transparency and illumination variations phenomena is useful to carry out robust image processings, by modelling them or by computing some invariant features. This thesis deals with two problems that are related to these problematics. First of all, through the analysis of the transparency of ink when printed on a color background, we propose some invariant attributes against the background color and the ink concentration. They are used to segment an ink marking and this technique is applied to pork traceability control. The detected area can be used as a region of interest to achieve the motion of the camera in front of it. Secondly, through a study based on the specular reflection models, we analyze the validity of the existing feature points tracking methods. Therefore, we improve the robustness of the tracking against illumination changes by computing a local photometric model simultaneously with the motion model of the point. Likewise, the tracking of larger windows of the image is improved by using a more comprehensive model. Finally, we improve the robustness of color points tracking with respect to illumination changes, by the joint use of color invariants and photometric model. Simulations and experiments on real image sequences prove the robustness of our appraoaches against specular highlights and lighting changes.POITIERS-BU Sciences (861942102) / SudocSudocFranceF

Action-centric Polar Representation of Motion Trajectories for Online Action Recognition

International audienceThis work introduces a novel action descriptor that represents activities instantaneously in each frame of a video sequence for action recognition. The proposed approach first characterizes the video by computing kinematic primitives along trajectories obtained by semi-dense point tracking in the video. Then, a frame level characterization is achieved by computing a spatial action-centric polar representation from the computed tra-jectories. This representation aims at quantifying the image space and grouping the trajectories within radial and angular regions. Motion histograms are then temporally aggregated in each region to form a kinematic signature from the current trajectories. Histograms with several time depths can be computed to obtain different motion characterization versions. These motion histograms are updated at each time, to reflect the kinematic trend of trajectories in each region. The action descriptor is then defined as the collection of motion histograms from all the regions in a specific frame. Classic support vector machine (SVM) models are used to carry out the classification according to each time depth. The proposed approach is easy to implement, very fast and the representation is consistent to code a broad variety of actions thanks to a multi-level representation of motion primitives. The proposed approach was evaluated on different public action datasets showing competitive results (94% and 88.7% of accuracy are achieved in KTH and UT datasets, respectively), and an efficient computation time

One-frame delay for dynamic photometric compensation projector-camera system

International audienc