In building a face recognition system for real-life scenarios, one usually faces the problem that is the selection of a feature-space and preprocessing methods such as alignment under varying illumination conditions and poses. In this study, we developed a robust face alignment approach based on Active Appearance Model (AAM) by inserting an illumination normalization module into the standard AAM searching procedure and inserting different poses of the same identity into the training set. The modified AAM search can now handle both illumination and pose variations in the same epoch, hence it provides better convergence in both point-to-point and point-to-curve senses. We also investigate how face recognition performance is affected by the selection of feature space as well as the proposed alignment method. The experimental results show that the combined pose alignment and illumination normalization methods increase the recognition rates considerably for all feature spaces. In this paper, we focus on the problems induced by varying illumination and poses. Our primary aim is to eliminate the negative effect of illumination and pose on the face recognition system performance through illumination and pose-invariant face alignment based on Active Appearance Model. Pose normalization is required before recognition in order to reach acceptable recognition rates. We developed AAM based pose normalization method which uses only one AAM. There are two important contributions over the previous studies. By using the proposed method: One can synthetically generate appearances for different poses when only frontal face image is available. One can generate frontal appearance of the face when there is only non-frontal face image is available. The same variation in pose imposes similar effect on the face appearance for all individuals. Deformation mostly occurs on the shape whereas the texture is almost constant. Since the number of landmarks in AAM is constant, the wireframe triangles are translated or scaled as pose changes. So as we change pose, only wireframe triangles undergo affine transformation but the gray level distribution within these triangles remains the same. One can easily generate frontal face appearance if AAM is correctly fitted to any given non-frontal face of the same individual provided that there is no self-occlusion on face. Self-occlusion usually is not a problem for angles less than ±45. For 2D pose generation, we first compute how each landmark point translates and scales with respect to the corresponding frontal counterpart landmark point for 8 different poses, and obtain a ratio vector for each pose. We use the ratio vector to create the same pose variation over the shape of another individual. Appearances are also obtained through AAM using synthetically generated landmarks. It is important to note that the generated faces contain no information about the individual used in building the ratio matrix. An AAM model trained by using only frontal faces can only fit into frontal faces well and fail to fit into non-frontal faces. Our purpose here is to enrich the training database by inserting synthetically generated faces at different poses so that AAM model trained by frontal faces can now converge to images at any pose. In this paper we developed AAM based face alignment method which handles illumination and pose variations. The classical AAM fails to model the appearances of the same identity under different illuminations and poses. We solved this problem by inserting histogram fitting based normalization into the searching mechanism and inserting different poses of the same identity into the training set. From the experimental results, we showed that the proposed face restoration scheme for AAM provides higher accuracy for face alignment in point-to-point error sense. Recognition results based on PCA and LDA feature spaces showed that the proposed illumination and pose normalization outperforms standard AAM. Keywords: Face alignment, active appearance models, illumination invariant face recognition.Yüz görünümündeki şekil ve doku değişimine bağlı farklılıklar yüz tanıma problemini oldukça zor hale getirmektedir. Bireyler arası yüz görünüm farklılıklarının fazla olmasına karşın, her bireyin kendi yüz görünümünü farklı hale getirecek değişimlerde mevcuttur. Özellikle aydınlatma ve poz değişimleri yüz tanıma sistemlerinin başarımını etkileyen zorlukların başında gelmektedir. Bu çalışmada otomatik yüz hizalama için aydınlatma ve poz değişimlerine karşı gürbüz yeni bir yöntem tanıtılmıştır. Klasik aktif görünüm modeli (AGM) yapısına yüz için özelleştirilmiş aydınlatma normalizasyonu eklenerek AGM’nin farklı aydınlatma koşullarındaki arama ve yakınsama performansını arttıran yeni bir yöntem önerilmiştir. AGM ile yüz bölütlemede, özgün yüz aydınlatma normalizasyonunu AGM bükme (warping) işleminden hemen sonra ve her çevirimde uygulayarak aydınlatma değişimlerine karşı gürbüz bir model oluşturulmuştur. Yöntem giriş olarak verilen farklı aydınlatılmış ve farklı bir poza sahip yüz görüntüsünü hem iyileştirmeye hem de hizalamaya çalışmaktadır. Ayrıca tam karşıdan çekilmiş tek bir yüz görüntüsünden, o kişinin farklı pozlara sahip görüntülerini sentezleyen bir yöntem tanıtılmış ve sentetik olarak sentezlenen poz verileri ile AGM şekil uzayı güçlendirilerek poz değişimlerine karşı gürbüz bir yöntem önerilmiştir. Önerilen yöntemde, model eğitimi için aynı bireyin farklı aydınlatma ve poza sahip görüntülerine ihtiyaç duyulmamaktadır. Önerilen yöntemde aydınlatma değişimlerine karşı bağışık bir yapı oluşturulması için karmaşık aydınlatma modelleri gerekmemektedir. Deneysel çalışmalardan da görüleceği gibi önerilen yöntem, farklı aydınlatma ve pozlarda bile klasik AGM’ye göre oldukça iyi sonuçlar vermiştir. Anahtar Kelimeler: Yüz hizalama, aktif görünüm modelleri, aydınlatmadan bağımsız yüz tanıma
