Understanding and controlling contrast oscillations in stochastic texture algorithms using Spectrum of Variance

We identify and analyze a major issue pertaining to all power-spectrum based texture synthesis algorithms – from Fourier synthesis to procedural noise algorithms like Perlin or Gabor noise – , namely, the oscillation of contrast (see Figures 1,2,3,7). One of our key contributions is to introduce a simple yet powerful descriptor of signals, the Spectrum of Variance (not to be confused with the PSD), which, to our surprise, has never been leveraged before. In this new framework, several issues get easy to understand measure and control, with new handles, as we illustrate. We finally show that fixing oscillation of contrast opens many doors to a more controllable authoring of stochastic texturing. We explore some of the new reachable possibilities such as constrained noise content and bridges towards very different families of look such as cellular patterns, points-like distributions or reaction-diffusion

Filtering Non-Linear Transfer Functions on Surfaces

International audienceApplying non-linear transfer functions and look-up tables to procedural functions (such as noise), surface attributes, or even surface geometry are common strategies used to enhance visual detail. Their simplicity and ability to mimic a wide range of realistic appearances have led to their adoption in many rendering problems. As with any textured or geometric detail, proper filtering is needed to reduce aliasing when viewed across a range of distances, but accurate and efficient transfer function filtering remains an open problem for several reasons: transfer functions are complex and non-linear, especially when mapped through procedural noise and/or geometry-dependent functions, and the effects of perspective and masking further complicate the filtering over a pixel's footprint. We accurately solve this problem by computing and sampling from specialized filtering distributions on the fly, yielding very fast performance. We investigate the case where the transfer function to filter is a color map applied to (macroscale) surface textures (like noise), as well as color maps applied according to (microscale) geometric details. We introduce a novel representation of a (potentially modulated) color map's distribution over pixel footprints using Gaussian statistics and, in the more complex case of high-resolution color mapped microsurface details, our filtering is view- and light-dependent, and capable of correctly handling masking and occlusion effects. Our approach can be generalized to filter other physical-based rendering quantities. We propose an application to shading with irradiance environment maps over large terrains. Our framework is also compatible with the case of transfer functions used to warp surface geometry, as long as the transformations can be represented with Gaussian statistics, leading to proper view- and light-dependent filtering results. Our results match ground truth and our solution is well suited to real-time applications, requires only a few lines of shader code (provided in supplemental material), is high performance, and has a negligible memory footprint

A Hierarchical statistical framework for the segmentation of deformable objects in image sequences

In this paper, we propose a new statistical framework for modeling and extracting 2D moving deformable objects from image sequences. The object representation relies on a hierarchical description of the deformation applied to a computed template. Global deformations are modeled using a Karhunen Loeve expansion of the distorsions observed on a representative population. Local deformations are modeled using (first-order) Markov processes. The statistical hierarchical model is used to represent the a priori structure of the shapes to be extracted from the image sequence. The optimal bayesian estimate of the global and local deformations is obtained by minimizing a global objective function depending on the global deformation parameters and on the local random deformation process. A partial optimal solution is estimated by stochastic and deterministic relaxation procedures. The use of global optimization algorithms yields robust and reliable segmentations in adverse situations such as low signal-to-noise ratio, non-gaussian noise or occlusions. This procedure also leads to solutions which do not depend on the initial configuration of the model. The technique is demonstrated on synthetic as well as on real-world image sequences showing moving hands with partial occlusions

Contraintes de forme multi-modèles pour les contours actifs

Nous nous intéressons ici à l'introduction d'une contrainte de forme de haut niveau dans la segmentation d'objets par contours actifs, en présence de fonds texturés et d'occultations partielles. L'approche proposée utilise les moments de Legendre pour la définition d'une contrainte a priori prenant en compte un ensemble de formes de référence, invariante aux transformations affines. L'équation d'évolution obtenue est unique, indépendante de toute considération d'implantation. Elle assure la prise en compte de variabilités significatives d'aspect et la gestion intrinsèque de transformations géométriques

Geometric shape constraints for region-based active contours using Legendre moments

In this paper, we present a novel approach to incorporate geometric shape priors in region-based active contours, in order to provide more robustness to noise and occlusions. We define as shape descriptor a set of Legendre moments computed from the characteristic function of the shape. Such a representation is invariant with respect to some geometric transformations and can handle topologically complex objects. The shape prior is then defined as a function of the distance, in terms of descriptors, between the active contour and a reference shape. We derive the evolution equation that minimizes the prior energy, using a rigorous mathematical framework. Experimental results show the ability of the geometric shape prior to constrain an evolving curve to resemble a target shape. We finally introduce the new shape prior into a two-class segmentation functional and show its benefits on segmentation results, in presence of occlusions and clutter.Dans cet article, nous présentons une approche originale permettant d'incorporer une contrainte géométrique de forme dans les contours actifs orientés région, de façon à améliorer leur robustesse au bruit non gaussien, aux fonds d'images texturés et aux occultations. Pour cela, nous définissons un descripteur de forme à partir des moments de Legendre de la fonction caractéristique de la forme. Cette représentation est invariante à certaines transformations géométriques et permet de gérer des objets à topologie complexe. L' a priori de forme est alors défini à partir de la distance entre les descripteurs associés au contour actif et à une forme de référence. Nous utilisons un cadre théorique permettant une dérivation rigoureuse de l'équation d'évolution du contour actif pour minimiser l'énergie a priori. Nous illustrons expérimentalement les capacités de ce nouvel a priori géométrique à contraindre l'évolution d'une courbe vers une forme cible. Enfin, nous introduisons cette nouvelle contrainte dans une fonctionnelle de segmentation à deux classes, mettant en évidence son apport en présence d'occultations et de fonds d'images texturés

Efficient parallel non-linear multigrid relaxation algorithms for low-level vision applications

Disponible dans les fichiers attachés à ce documen

Reconnaissance robuste non-supervisée d'images en couleur utilisant la théorie semi-quadratique

- Cet article décrit un système robuste de reconnaissance d'objets à partir d'images en couleur. Les méthodes usuelles basées sur l'apparence sont sensibles aux données erronées occasionnées par des occlusions ou des erreurs de segmentation. L'approche proposée ici utilise les M-estimateurs mettant en oeuvre des fonctions d'énergies non-quadratiques voire non-convexes. Pour minimiser ces fonctions non-convexes, nous présentons un système d'estimation utilisant les M-estimateurs en continuation, d'une fonction convexe vers des estimateurs non-convexes. À chaque étape de cette chaîne robuste, un critère non-quadratique est minimisé grâce à la théorie semi-quadratique. Ceci conduit à un algorithme de moindres carrés pondérés facile à implémenter, peu coûteux et non supervisé (tous les paramètres étant estimés automatiquement). Cette méthode est illustrée ici dans un problème de reconnaissance de panneaux routiers

Segmentation et reconnaissance du geste : une approche par MMC et modèle probabiliste d'apparence

Cet article présente une approche statistique pour la segmentation, le suivi et la reconnaissance du geste dans des séquences longues. Une technique d'apprentissage statistique, développée récemment par Moghaddam et Pentland [6], est utilisée pour créer une représentation probabiliste compacte des apparences 2D du geste sur un sous-espace de dimension réduite. La segmentation et le suivi du geste sont basés sur un critère du maximum de vraisemblance associé à ce modèle d'apparence. La reconnaissance du geste s'appuie sur un Modèle de Markov Caché utilisant le modèle probabiliste d'apparence comme modèle d'observation. L'approche est générale et peut s'appliquer à d'autres problèmes de reconnaissance du mouvement

Robust detection using probabilistic appearance-based models: a Bayesian approach

In this paper, methods are proposed to detect objects in complex scenes using statistical global appearance based models. In our approach, the standard eigenspace representation of a training image database and a priori non- Gaussian hypotheses are brought together in a Bayesian framework. This work unifies standard (appearancebased) detection methods already proposed in the literature and leads naturally to the definition of a new family of probabilistic detectors. It allows the use of more general a priori assumptions about the distribution on the eigenspace and its orthogonal. Experimental results are illustrated with ROC (Receiver Operating Characteristic) curves and show the major improvement of our Bayesian approach in comparison to the standard methods that have been the reference up to now [2, 14].Dans cet article, nous nous intéressons à la détection d'objets dans des scènes complexes, par des méthodes basées sur des modèles statistiques d'apparence globale. L'approche proposée associe, dans un cadre bayésien, une représentation standard des images d'apprentissage par espace propre à des modèles de bruit et à des modèles a priori non gaussiens. Ce modèle permet d'unifier les méthodes de détection classiques rencontrées dans la littérature et conduit, de façon naturelle, à la définition d'une nouvelle classe de détecteurs statistiques, intégrant des modèles de distribution quelconque pour les images d'apprentissage. La comparaison des caractéristiques opérationnelles des récepteurs (courbes COR) sur des bases de données communes, illustre les contributions de l'approche bayésienne. Elle montre également que l'adoption de modèles non gaussiens permet de dépasser significativement les performances des algorithmes faisant actuellement référence dans le domaine [2, 14]

Contraintes de forme géométriques pour les contours actifs orientés région

Nous présentons une nouvelle approche permettant d'incorporer un a priori de forme dans des contours actifs orientés région afin d'améliorer leur robustesse en présence de bruit texturé et d'occultations partielles. Nous définissons un descripteur de forme construit à partir des moments de Legendre. Celui-ci est introduit dans un schéma général de dérivation proposé récemment, qui permet d'établir l'équation d'évolution d'un contour actif minimisant la distance quadratique entre les moments de la région définie par le contour et ceux d'une forme de référence. Nous montrons les capacités de notre a priori à contraindre une courbe pour qu'elle prenne une forme prédéfinie. Enfin nous introduisons notre descripteur dans une fonctionnelle de segmentation à deux classes et montrons son intérêt en présence d'occultation et de bruit texturé