Machine observation of the direction of human visual focus of attention

Cette thèse présente une approche à 2 niveaux pour estimer la pose d'un visage. Les images de visage sont normalisées en taille à l'aide d'un algorithme de suivi de visage, projetées dans des mémoires autoassociatives et entraînées par la règle de Widrow-Hoff, ce qui permet la sauvegarde de prototypes de poses du visage humain. Les traits saillants du visage sont détectés par les champs réceptifs gaussiens et motivent la construction d'un modèle de graphe pour chaque pose. Chaque nœud du graphe peut être déplacé localement en fonction de la saillance du point facial qu'il représente. Nous recherchons parmi les poses voisines de celle trouvée par les mémoires autoassociatives le graphe qui correspond le mieux à l'image de test. La pose correspondante est sélectionnée comme la pose du visage. Cette méthode n'utilise pas d'heuristique, d'annotation manuelle ou de connaissances préalables sur le visage, délivre des résultats comparables à la performance humaine et peut être adaptée pour estimer la pose d'autres objets.GRENOBLE1-BU Sciences (384212103) / SudocSudocFranceF

Machine Observation of the Direction of Human Visual Focus of Attention

People often look at objects and people with which they are likely to interact. The first step for computer systems to adapt to the user and to improve interaction and with people is to locate where they are, and especially the location of their faces on the image. The next step is to track their focus of attention. For this reason, we are interested in techniques for estimating and tracking gaze of people, and in particular the head pose.This thesis proposes a fully automatic approach for head pose estimation independant of the person identity using low resolution images acquired in unconstrained imaging conditions. The developed method is demonstrated and evaluated using a densly sampled face image database. We propose a new coarse-to-fine approach that uses both global and local appearance to estimate head orientation.This method is fast, easy to implement, robust to partial occlusion, uses no heuristiques and can be adapted to other deformable objects. Face region images are normalized in size and slant by a robust face tracker. The resulting normalized imagettes areprojected onto a linear auto-associative memory learned using theWidrow-Hoff rule. Linear auto-associative memories require very fewparameters and offer the advantage that no cells in hidden layers have to be defined and class prototypes can be saved and recovered for all kinds of applications. A coarse estimation of the headorientation on known and unknown subjects is obtained by searching the best prototype which matches the current image.We search for salient facial features relevant for each head pose. Feature points are locally described by Gaussian receptive fields normalized at intrinsic scale. These descriptors have interestingproperties and are less expensive than Gabor wavelets. Salient facial regions found by Gaussian receptive fields motivate the construction of a model graph for each pose. Each node of the graph can be displaced localy according to its saliency in the image. Linear auto-associative memories deliver a coarse estimation of the pose. We search among the coarse pose neighbors the model graph which obtains the best match. The pose associated with its salient grid graph is selected as the head pose of the person on the image. This method does not use any heuristics, manual annotation or prior knowledge on the face and can be adapted to estimate the pose of configuration of other deformable objects.Les personnes dirigent souvent leur attention vers les objets avec lesquels ils interagissent. Une premiere etape que doivent franchir les systemes informatiques pour s'adapter aux utilisateurs et ameliorer leurs interactions avec eux est de localiser leur emplacement, et en particulier la position de leur tete dans l'image. L'etape suivante est de suivre leur foyer d'attention. C'est pourquoi nous nous interessons aux techniques permettant d'estimer et de suivre le regard des utilisateurs, et en particulier l'orientation de leur tete.Cette these presente une approche completement automatique et independante de l'identite de la personne pour estimer la pose d'un visage a partir d'images basse resolution sous conditions non contraintes. La methode developpee ici est evaluee et validee avec une base de donnees d'images echantillonnee. Nousproposons une nouvelle approche a 2 niveaux qui utilise les apparences globales et locales pour estimer l'orientation de la tete. Cette methode est simple, facile a implementer et robuste a l'occlusion partielle. Les images de visage sont normalisees entaille dans des images de faible resolution a l'aide d'unalgorithme de suivi de visage. Ces imagettes sont ensuite projetees dans des memoires autoassociatives et entraineespar la regle d'apprentissage de Widrow-Hoff. Les memoires autoassociatives ne necessitent que peu de parametres et evitent l'usage de couches cachees, ce qui permet la sauvegarde et le chargement de prototypes de poses du visage humain. Nous obtenons une premiere estimation de l'orientation de la tete sur des sujets connus et inconnus.Nous cherchons ensuite dans l'image les traits faciaux saillants du visage pertinents pour chaque pose. Ces traits sont decrits par des champs receptifs gaussiens normalises a l'echelle intrinseque. Ces descripteurs ont des proprietes interessantes et sont moins couteux que les ondelettes de Gabor. Les traits saillants du visage detectes par les champs receptifs gaussiens motivent la construction d'un modele de graphe pour chaque pose. Chaque noeud du graphe peut etre deplace localement en fonction de la saillance du point facial qu'il represente. Nous recherchons parmi les poses voisines de celle trouvee par les memoires autoassociatives le graphe qui correspond le mieux a l'image de test. La pose correspondante est selectionnee comme la pose du visage de la personne sur l'image. Cette methode n'utilise pas d'heuristique, d'annotation manuelle ou de connaissances prealables sur le visage et peut etre adaptee pour estimer la pose d'autres objets deformables