Cette thèse aborde la problématique du recalage non rigide d'images cérébrales tridimensionnelles inter-patients. Le modèle de déformation considéré repose sur une représentation paramétrique multiéchelle dans une base de fonctions B-splines, dont les paramètres sont estimés par minimisation d'une fonctionnelle d'énergie basée sur la différence des intensités (cas monomodal). La contribution principale de ce travail est de garantir à la transformation estimée de préserver l'intégrité des structures déformées dans le cas 3D. Cette propriété, dite de conservation de la topologie, requiert d'imposer la positivité du jacobien de la transformation sur le domaine continu sous-jacent de l'image. Le problème d'optimisation sous contraintes correspondant est résolu grâce à des techniques issues de l'analyse par intervalles.Ce travail aborde par ailleurs différents aspects du recalage, à savoir le choix du critère de similarité et sa symétrisation, la régularisation du champ de déformation et la normalisation des intensités entre deux images. Une méthode originale de normalisation des intensités est proposée, basée sur l'estimation d'un mélange de lois gaussiennes à partir de l'histogramme conjoint. Cette méthode, dans un premier temps conçue pour lever des difficultés rencontrées dans le cadre du recalage d'images monomodales, a permis d'étendre la méthode au cas d'images IRM de pondérations différentes.Enfin, la mise en place d'un cadre de validation a permis d'évaluer l'influence des différents paramètres de la méthode et d'effectuer des comparaisons avec d'autres méthodes de recalage (recalage affine et l'algorithme des démons).This dissertation deals with non-rigid registration of 3D inter-patient cerebral images. The deformation model considered is based on a hierarchical parametric representation using B-spline basis functions, the parameters being estimated by minimizing a cost function relying on the intensity difference between images (monomodal case). The main contribution of this work is to warrant the estimated transformation to preserve the integrity of warped structures in the 3D case. This property, called topology preservation, is ensured by imposing the positivity of the jacobian of the transformation on the underlying continuous domain of the image. This constrained optimization problem is solved by resorting to interval analysis techniques.Furthermore, other aspects of the registration problem are considered, namely the choice of the similarity criterion and its symmetrization, the regularization of the deformation field and the intensity normalization between images. An original intensity normalization procedure, based on the estimation of a Gaussian mixture model of the joint histogram, is presented. This method, initially proposed to overcome some problems encountered with monomodal image registration, has been extended to the registration of multimodal MRI images. Finally, a validation framework is devised in order to evaluate the influence of the different parameters of the method and to carry out comparisons with other registration methods (affine registration and the demons algorithm)
