Facial Landmarks Detection and Expression Recognition in the Dark

Facial landmark detection has been widely adopted for body language analysis and facial identification task. A variety of facial landmark detectors have been proposed in different approaches, such as AAM, AdaBoost, LBF and DPM. However, most detectors were trained and tested on high resolution images with controlled environments. Recent study has focused on robust landmark detectors and obtained increasing excellent performance under different poses and light conditions. However, it remains an open question about implementing facial landmark detection in extremely dark images. Our implementation is to build an application for facial expression analysis in extremely dark environments by landmarks. To address this problem, we explored different dark image enhancement methods to facilitate landmark detection. And we designed landmark correct- ness methods to evaluate landmarks’ localization. This step guarantees the accuracy of expression recognition. Then, we analyzed the feature extraction methods, such as HOG, polar coordinate and landmarks’ distance, and normalization methods for facial expression recognition. Compared with the existing facial expression recognition system, our system is more robust in the dark environment, and performs very well in detecting happy and surprising

Procesado de retinografías basado en Deep Learning para la ayuda al diagnóstico de la Retinopatía Diabética

La Retinopatía Diabética (RD) es una complicación de la diabetes y es la causa más frecuente de ceguera en la población laboral activa de los países desarrollados. Sin embargo, cuando se trata de forma precoz, más del 90% de la pérdida de visión se puede prevenir. Las retinografías capturadas durante exámenes oculares regulares son el método estándar para detectar RD. No obstante, el aumento de los casos de diabetes a nivel mundial y la falta de especialistas dificultan el diagnóstico. Las imágenes de fondo de ojo generalmente se obtienen usando cámaras de fondo de ojo en condiciones de luz y ángulos variados. Por lo tanto, estas imágenes son propensas a una iluminación no uniforme, contraste deficiente, bajo brillo y falta de nitidez, lo que provoca imágenes borrosas. Estas imágenes borrosas o con falta de iluminación podrían afectar el diagnóstico clínico. Por lo tanto, mejorar estas imágenes de calidad insuficiente puede ser muy útil para evitar diagnósticos erróneos en sistemas de cribado automáticos o manuales. Recientemente, el aprendizaje automático, especialmente las técnicas basadas en Deep Learning, han supuesto una revolución en el campo de la reconstrucción de imágenes. Por ello, en este trabajo, se propone un método de mejora de calidad de retinografías basado en redes de generativas antagónicas (Generative Adversarial Network, GAN). El modelo está formado por dos redes neuronales convolucionales: una red neuronal que actúa como generador de imágenes sintéticas con el objetivo de engañar a una red discriminadora que está entrenada para distinguir las imágenes generadas de alta calidad de las imágenes reales. Este modelo puede funcionar con imágenes de gran resolución, lo que lo hace ampliamente beneficioso para las imágenes clínicas. En este trabajo, la mejora de calidad de la imagen de fondo de ojo abarca una fase de corrección de la nitidez y una segunda fase de corrección de la iluminación. Para el desarrollo y validación del método propuesto, se utilizó una base de datos propia de 1000 imágenes. Dichas imágenes se dividieron en un conjunto de entrenamiento con 800 imágenes de entrenamiento y un conjunto de test con 200 imágenes, de las cuales la mitad tenían calidad insuficiente para su análisis. Sobre ellas, se aplicó un método con varias etapas. En primer lugar, se abordó la mejora de imágenes borrosas empleando una red profunda de tipo GAN. En segundo lugar, se abordó la mejora de imágenes con falta de iluminación, también a través de una red GAN. Cualitativamente, los resultados obtenidos son satisfactorios. Asimismo, se abordó la evaluación cuantitativa de los resultados desde dos perspectivas: evaluación con referencia y evaluación sin referencia. Para la evaluación sin referencia, se utilizan las métricas Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE), Natural Image Quality Evaluator (NIQE) y entropía. En cuanto a la evaluación con una imagen de referencia, se utilizaron la relación señal a ruido (Peak Signal-to-Noise Ratio, PSNR) y el índice de similitud estructural (Structural Similarity Index Measure, SSIM). La evaluación con referencia sirve como guía para comparar las imágenes de buena calidad que han sido degradadas intencionadamente. Por otra parte, la evaluación sin referencia es necesaria para evaluar la mejora que el método produce sobre imágenes de mala calidad ya que, de partida, no se dispone de una versión de buena calidad de dichas imágenes. En la fase de mejora de nitidez y sobre las imágenes de test buena calidad, los resultados obtenidos muestran una mejora del 6.22%, 3.33% y 3.26% en términos de PSNR, SSIM y entropía, respectivamente. No obstante, las medidas BRISQUE y NIQE no presentan una mejora. En esta misma etapa, pero sobre las imágenes de test mala calidad los resultados muestran un 31.80%, 4.27% y 3.89% de mejora en términos de BRISQUE, NIQE y entropía respecto a la imagen original real. Asimismo, en la fase de mejora de imágenes con falta de iluminación, los resultados sobre el conjunto de imágenes de buena calidad muestran una mejora del 156.81%, 14.59%, 3.12% y 2.28% en términos de PSNR, SSIM, BRISQUE y NIQE; mientras que la entropía no presenta una mejoría. En esta fase, y sobre el conjunto de imágenes de mala calidad los resultados reflejan una mejora del 50.62% y un 8.33% en términos de BRISQUE y entropía. Sin embargo, en este grupo de imágenes, la medida NIQE no mejora. Finalmente, se ha llevado a cabo un último experimento con ambas redes en serie. En primer lugar, las imágenes atraviesan la red que corrige la iluminación, y posteriormente se corrige su nitidez con la segunda red. Sobre las imágenes de test de buena calidad se ha conseguido un 4.84%, 5.68%, 3.38% y 2.57% de mejora respecto de la imagen original en términos de PSNR, SSIM, NIQE y entropía, aunque no se observa mejora en términos de BRISQUE. En este último experimento, y sobre las imágenes de test de mala calidad se ha obtenido un 88.95%, 21.17% y 2.46% de mejora en términos de BRISQUE, NIQE y entropía. Los resultados obtenidos muestran que el método propuesto podría ser utilizado como primera etapa dentro de sistemas automáticos de análisis de retinografías para la ayuda al diagnóstico de diversas enfermedades oculares.Diabetic Retinopathy (DR) is a complication of diabetes and the leading cause of blindness worldwide. However, when treated early, more than 90% of vision loss can be prevented. Color fundus photography has been the standard method for detecting DR. However, the growing incidence of diabetes and the lack of specialists make diagnosis difficult. Fundus images are generally obtained using fundus cameras in varied light conditions and angles. Thence, these images are prone to non-uniform illumination, poor contrast, low brightness and lack of sharpness resulting in blurry images. These blurry or poor illuminated images could affect clinical diagnosis. Therefore, improving these poor-quality images can be very helpful in avoiding misdiagnosis in automatic or manual screening systems. Recently, machine learning, especially deep learning techniques, have brought revolution to image super resolution reconstruction. For this reason, in this work, we propose a retinal fundus image enhancement method based on Generative Adversarial Networks (GAN). The model is composed of two convolutional neural networks: a neural network that acts as a generator of synthetic images with the aim of tricking a discriminating network that is trained to distinguish high-quality generated images from real images. This model can work with high resolution images, which makes it widely beneficial for clinical images. In this work, the fundus image enhancement method includes both the sharpness correction and the lighting correction. The proposed technique was evaluated in a proprietary database of 200 images, of which half were of insufficient quality. A method with several stages was applied to them. Firstly, blurry image enhancement was addressed by a GAN network. Secondly, the improvement of images with lack of lighting was addressed, also through a GAN network. To evaluate the retinal image enhancement performance, visual and quantitative evaluation were carried out. Two kinds of image quality assessment were adopted: full-reference and no-reference evaluation. For no-reference assessment, Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE), Natural Image Quality Evaluator (NIQE) and Entropy were chosen to assess each enhanced image and its original blurry retinal image. As to full-reference assessment, Signal-to-Noise Ratio (PSNR) and Structural Similarity Index Measure (SSIM) were used. SSIM and PSNR give the comparison between the enhanced image and the original image. Quantitatively, in the blurred image improvement phase using good quality images, the results obtained show that it is possible to achieve an improvement of 6.22%, 3.33% and 3.26% in terms of PSNR, SSIM and entropy. However, the BRISQUE and NIQE measures do not show an improvement. In this same stage, but on the images of poor quality, the results show a 31.80%, 4.27% and 3.89% improvement in terms of BRISQUE, NIQE and entropy with respect to the real original image. Likewise, in the improvement phase of images with lack of lighting, the results on the set of good quality images show an improvement of 156.81%, 14.59%, 3.12% and 2.28% in terms of PSNR, SSIM, BRISQUE and NIQE; while entropy does not improve. In this phase, using the set of poor-quality images, the results reflect an improvement of 50.62% and 8.33% in terms of BRISQUE and entropy. However, in this group of images the NIQE measure does not improve. Finally, a last experiment was carried out with both networks. First, the images passed through the GAN network that corrected their lighting, and then their sharpness was corrected with the second GAN network. On the good quality test images, the results obtained show an improvement of 4.84%, 5.68%, 3.38% and 2.57% in terms of PSNR, SSIM, NIQE and entropy, although the BRISQUE measure does not improve. In this last experiment, and on the poor-quality test images, the results show an improvement of 88.95%, 21.17% and 2.46% in terms of BRISQUE, NIQE and entropy. The results indicate that the proposed method could be used as a first stage in automatic retinography analysis systems to aid in the diagnosis of various eye diseases.Grado en Ingeniería de Tecnologías de Telecomunicació