Determination of objects contours using physical principles

Segmentation, the identification of an object represented in a static image or along image sequences,is one of the most common and complex tasks in the domain of Computational Vision. Usually,whenever we intend to extract higher level information from images, we need to start by segmentingthem.The main goal of this work is to segment an object represented in an image by extracting its contourafter defining an initial contour for it; this coarse contour will evolve along an iterative process untilit reaches the frontier of the desired object, figure 1. For that purpose, a deformable model is used,whose behaviour is driven by physical principles

Estimação Temporal da Deformação entre Objectos utilizando uma Metodologia Física

Neste artigo, é apresentada uma metodologia para estimar a deformação faseada entre dois objectos atendendo às suas propriedades físicas. A referida metodologia, pode ser utilizada por exemplo, em aplicações de Visão Computacional ou de Computação Gráfica, e consiste em modelar fisicamente os objectos em causa, por intermédio do Método dos Elementos Finitos, seguidamente estabelecer a correspondência entre alguns dos seus dados, por intermédio de Emparelhamento Modal, e finalmente, determinar o campo de deslocamentos, ou seja as formas intermédias, através da resolução temporal da Equação Dinâmica de Equilíbrio de Lagrange. Como em muitas das possíveis aplicações da metodologia a apresentar, é necessário quantificar a deformação existente, assim como estimar apenas a componente não rígida da deformação global envolvida, serão também apresentadas as soluções adoptadas para satisfazer tais propósitos.In this paper, is presented a methodology to estimate the deformation involved between two objects attending to its physical properties. The methodology referred can be used, for example, in Computational Vision or Computer Graphics applications, and consists in physically modeling the objects, by means of the Finite Elements Method, establishing correspondences between some of its data points, by using Modal Matching, and finally, determining the displacement field, that is the intermediate shapes, through the resolution of the Lagrange's Dynamic Equilibrium Equation. As in many of the possible applications of the methodology to present, it is necessary to quantify the existing deformation, as well as to estimate only the non rigid component of the involved global deformation, the solutions adopted to satisfy such intentions will be also presented

Contours actifs : Suivi de structures linéiques déformables. Extension à la résolution de problèmes d'optimisation sous contraintes

On présente dans cet article deux contours actifs dits paramétriques qui nous servent pour asservir par système de vision, une machine de déroulement d'une bobine de film plastique. On montre leur aptitude à déterminer le rayon de la bobine et à suivre très précisément une boucle de très faible épaisseur qui présente des occlusions partielles. On propose ensuite une nouvelle approche qui consiste à minimiser sous contraintes une fonctionnelle d'adéquation aux données image. On montre que l'évolution du contour dans la séquence peut se faire en introduisant des contraintes structurelles et géométriques simples

Extraction et partitionnement de l'encéphale par un modèle de contours actifs

La segmentation des structures anatomiques à partir d'IRM fait maintenant l'objet d'un intérêt certain. Pour améliorer la qualité de la segmentation, l'idée proposée est de combiner la segmentation région et la segmentation contour. La segmentation région permet d'avoir une initialisation automatique approximative pour l'approche contours. Cette dernière assimile le contour à un certain nombre de masses ponctuelles reliées par des ressorts , converge vers un état d'équilibre sous l'action d 'une déformation élastique. Les résultats sont présentés pour l'extraction et le partitionnement de l'encéphale sur des données IRM 3D chez l'être humain et le primate. Ces résultats sont ensuite validés par des mesures comme le taux de recouvrement et la carte de distance

Frequency-based Non-rigid Motion Analysis: Application to Four Dimensional Medical Images

International audienceWe present a method for nonrigid motion analysis in time sequences of volume images (4D data). In this method, nonrigid motion of the deforming object contour is dynamically approximated by a physically-based deformable surface. In order to reduce the number of parameters describing the deformation, we make use of a modal analysis which provides a spatial smoothing of the surface. The deformation spectrum, which outlines the main excited modes, can be efficiently used for deformation comparison. Fourier analysis on time signals of the main deformation spectrum components provides a ternporal smoothing of the data. Thus a complex nonrigid deformation is described by only a few parameters: the main excited modes and the main Fourier harmonics. Therefore, 4D data can be analyzed in a very concise manner. The power and robustness of the approach is illustrated by various results on medical data. We believe that our method has important applications in automatic diagnosis of heart diseases and in motion compression

Modal space: a physics-based model for sequential estimation of time-varying shape from monocular video

The final publication is available at link.springer.comThis paper describes two sequential methods for recovering the camera pose together with the 3D shape of highly deformable surfaces from a monocular video. The nonrigid 3D shape is modeled as a linear combination of mode shapes with time-varying weights that define the shape at each frame and are estimated on-the-fly. The low-rank constraint is combined with standard smoothness priors to optimize the model parameters over a sliding window of image frames. We propose to obtain a physics-based shape basis using the initial frames on the video to code the time-varying shape along the sequence, reducing the problem from trilinear to bilinear. To this end, the 3D shape is discretized by means of a soup of elastic triangular finite elements where we apply a force balance equation. This equation is solved using modal analysis via a simple eigenvalue problem to obtain a shape basis that encodes the modes of deformation. Even though this strategy can be applied in a wide variety of scenarios, when the observations are denser, the solution can become prohibitive in terms of computational load. We avoid this limitation by proposing two efficient coarse-to-fine approaches that allow us to easily deal with dense 3D surfaces. This results in a scalable solution that estimates a small number of parameters per frame and could potentially run in real time. We show results on both synthetic and real videos with ground truth 3D data, while robustly dealing with artifacts such as noise and missing data.Peer ReviewedPostprint (author's final draft

Apresentação de uma Modelização por Elmentos Finitos Lineares do Tipo Axial

Nesta comunicação é apresentado um método de emparelhamento modal, baseado em princípios físicos, para o estabelecimento de correspondências e para o cálculo de descritores canónicos de forma. O método tem por base a ideia de descrever objectos em termos de simetrias generalizadas utilizando para tal os modos próprios de cada objecto. A descrição modal resultante é utilizada para o reconhecimento de objectos e sua caracterização; para tal,as similaridades entre duas formas são expressas em termos do valor da energia de deformação necessária para as alinhar. O emparelhamento modal também pode ser utilizado para a combinação linear de modelos segundo princípios físicos e, assim, sintetizar-se formas em termos de uma combinação pesada de formas protótipos deformadas segundo os seus modos. No geral, modos fornecem um ordenamento das deformações de uma forma do global para o local e assim permite a selecção dos tipos de deformações a considerar no alinhamento e na comparação de objectos.Em contraste com outras técnicas, as quais requerem que a correspondência seja determinada com uma forma protótipo inicial, o método utiliza uma modelação por intermédio de elementos finitos axiais que permite a determinação dos modos próprios de cada objecto directamente a partir dos seus dados pontuais.Uma implementação da técnica proposta foi por nós realizada para uma plataforma PC em ambiente MS WINDOWS 95/NT utilizando o ambiente integrado de desenvolvimento MS VISUAL C++ 5.0.Também serão apresentados os resultados experimentais obtidos na deformação modal de formas, de emparelhamento de formas, na estimativa de deslocamentos para os dados que não foram devidamente emparelhados pela abordagem modal, de determinação da transformação rígida existente e de medição da deformação elástica envolvida.Uma discussão sobre a influência dos vários parâmetros envolvidos no método e dos tipos das formas em estudo será apresentada no fim desta comunicação

Introdução ao método dos elementos finitos

O Métodos dos Elementos Finitos tem vindo, desde o seu aparecimento como ferramenta de análise em problemas de elasticidade, a ser utilizado nos mais diversos domínios da física. O seu objectivo é modelar o sistema em estudo por um número finito de elementos mais simples e obter uma aproximação para o do sistema a partir dos vários elementos agrupados.Uma das áreas onde a utilização do Método dos Elementos Finito tem vindo a expandir é a da Visão por Computador. Nesta área a sua utilização é útil na modelização, noemparelhamento e seguimento de objectos.Recentemente tem vindo a ser reportada a utilização do Método dos Elementos Finitos no domínio da Realidade Virtual nomeadamente na simulação de operações cirúrgicas.Com tal utilização do Método dos Elementos Finitos torna-se útil uma simples introdução ao mesmo. Assim nesta comunicação é apresentado o método, as suas funções de forma, os vários elementos isoparamétricos utilizados, a sua formulação hierárquica, as condições de convergência e o "Patch Test", algumas técnicas de integração numérica e definições utilizadas na sua derivação

Resolving Ambiguities in Monocular 3D Reconstruction of Deformable Surfaces

In this thesis, we focus on the problem of recovering 3D shapes of deformable surfaces from a single camera. This problem is known to be ill-posed as for a given 2D input image there exist many 3D shapes that give visually identical projections. We present three methods which make headway towards resolving these ambiguities. We believe that our work represents a significant step towards making surface reconstruction methods of practical use. First, we propose a surface reconstruction method that overcomes the limitations of the state-of-the-art template-based and non-rigid structure from motion methods. We neither track points over many frames, nor require a sophisticated deformation model, or depend on a reference image. In our method, we establish correspondences between pairs of frames in which the shape is different and unknown. We then estimate homographies between corresponding local planar patches in both images. These yield approximate 3D reconstructions of points within each patch up to a scale factor. Since we consider overlapping patches, we can enforce them to be consistent over the whole surface. Finally, a local deformation model is used to fit a triangulated mesh to the 3D point cloud, which makes the reconstruction robust to both noise and outliers in the image data. Second, we propose a novel approach to recovering the 3D shape of a deformable surface from a monocular input by taking advantage of shading information in more generic contexts than conventional Shape-from-Shading (SfS) methods. This includes surfaces that may be fully or partially textured and lit by arbitrarily many light sources. To this end, given a lighting model, we learn the relationship between a shading pattern and the corresponding local surface shape. At run time, we first use this knowledge to recover the shape of surface patches and then enforce spatial consistency between the patches to produce a global 3D shape. Instead of treating texture as noise as in many SfS approaches, we exploit it as an additional source of information. We validate our approach quantitatively and qualitatively using both synthetic and real data. Third, we introduce a constrained latent variable model that inherently accounts for geometric constraints such as inextensibility defined on the mesh model. To this end, we learn a non-linear mapping from the latent space to the output space, which corresponds to vertex positions of a mesh model, such that the generated outputs comply with equality and inequality constraints expressed in terms of the problem variables. Since its output is encouraged to satisfy such constraints inherently, using our model removes the need for computationally expensive methods that enforce these constraints at run time. In addition, our approach is completely generic and could be used in many other different contexts as well, such as image classification to impose separation of the classes, and articulated tracking to constrain the space of possible poses