Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings

Conventional feature-based and model-based gaze estimation methods have proven to perform well in settings with controlled illumination and specialized cameras. In unconstrained real-world settings, however, such methods are surpassed by recent appearance-based methods due to difficulties in modeling factors such as illumination changes and other visual artifacts. We present a novel learning-based method for eye region landmark localization that enables conventional methods to be competitive to latest appearance-based methods. Despite having been trained exclusively on synthetic data, our method exceeds the state of the art for iris localization and eye shape registration on real-world imagery. We then use the detected landmarks as input to iterative model-fitting and lightweight learning-based gaze estimation methods. Our approach outperforms existing model-fitting and appearance-based methods in the context of person-independent and personalized gaze estimation

Low Cost Eye Tracking: The Current Panorama

Despite the availability of accurate, commercial gaze tracker devices working with infrared (IR) technology, visible light gaze tracking constitutes an interesting alternative by allowing scalability and removing hardware requirements. Over the last years, this field has seen examples of research showing performance comparable to the IR alternatives. In this work, we survey the previous work on remote, visible light gaze trackers and analyze the explored techniques from various perspectives such as calibration strategies, head pose invariance, and gaze estimation techniques. We also provide information on related aspects of research such as public datasets to test against, open source projects to build upon, and gaze tracking services to directly use in applications. With all this information, we aim to provide the contemporary and future researchers with a map detailing previously explored ideas and the required tools

Low Cost Eye Tracking : The Current Panorama

Altres ajuts: Consolider 2010 MIPRCV, Universitat Autonoma de Barcelona i Google Faculty AwardDespite the availability of accurate, commercial gaze tracker devices working with infrared (IR) technology, visible light gaze tracking constitutes an interesting alternative by allowing scalability and removing hardware requirements. Over the last years, this field has seen examples of research showing performance comparable to the IR alternatives. In this work, we survey the previous work on remote, visible light gaze trackers and analyze the explored techniques from various perspectives such as calibration strategies, head pose invariance, and gaze estimation techniques. We also provide information on related aspects of research such as public datasets to test against, open source projects to build upon, and gaze tracking services to directly use in applications. With all this information, we aim to provide the contemporary and future researchers with a map detailing previously explored ideas and the required tools

Detección del punto de observación de un usuario sobre una pantalla mediante una webcam

La motivación principal de este trabajo ha sido investigar e implementar un método para estimar el punto de observación de un usuario en una pantalla con la mayor precisión posible, usando sólo la webcam que disponga el ordenador o tablet del usuario. Recientes estudios han investigado la interacción del usuario con las máquinas usando la mirada, surgiendo así soluciones para métodos de comunicación de personas discapacitadas, nuevas formas de controlar el ratón y el teclado, o incluso nuevos métodos de aprendizaje, como, por ejemplo, podría seguirse la mirada mientras un niño realiza sus primeras lecturas, o conocer que estímulos llaman más la atención en juegos educativos. Los métodos actuales de seguimiento de la mirada utilizan iluminación infrarroja, cámaras de alta calidad de vídeo, y requieren una posición relativa estable entre el ojo del usuario y la cámara. Pero estas cámaras son caras y no son viables para los dispositivos cotidianos. Éstos deben lidiar con recursos computacionales limitados, baja resolución de imágenes usando la webcam frontal integrada, condiciones adversas de luz, tamaños pequeños de pantalla donde mapear la mirada o movimientos de la cabeza del usuario. Después de la investigación del estado del arte, se ha propuesto e implementado una posible solución con la que se ha tenido que tener en cuentas una serie de aspectos previos. Estos aspectos previos han sido encontrar una serie de puntos característicos en la imagen del usuario, que serán necesarios para estimar el punto de observación mediante la solución propuesta. La evaluación del funcionamiento y del cumplimiento de unos requisitos previos se realizará mediante voluntarios a quienes se les ha sometido a una serie de pruebas. Se ha tenido en cuenta la precisión a la hora de estimar el punto de observación tanto del eje horizontal como del vertical, implementándose dos métodos para evaluar éste último, entre los cuales se realizará una comparativa. Con todo lo anteriormente expuesto, se han extraído una serie de conclusiones.The main motivation behind this work has been to investigate and implement a method of estimating the gaze of a user with the possible precision. The camera have to be the computer webcam. There are many current studies on the interaction between machines and the user's gaze, for example, communication methods of disabled people, new ways of controlling the mouse and the keyboard or even new learning methods: follow the look of a child learning to read or know what stimuli call more attention in educational games. Current methods for gaze tracking use infrared illumination, high-quality video cameras, and require a stable relative position between the user's eye and the camera. However, in normal devices there are many limitations. In this work, a possible solution has been proposed and implemented. This solution need to find a series of characteristic points in the user's image, this will be the first step. The evaluation of the correct work of some prerequisites will be through volunteers who will undergo a series of tests. These tests will calculate the accuracy in the gaze localization in the horizontal and vertical axis. There are two methods to evaluate the vertical axis and a comparison will be made between both, and the appropriate conclusions have been drawn

Multikamerabasiertes Verfahren zur Fokusebenenbestimmung für eine AR-Datenbrille mit adaptiver Optik

Logistikmitarbeiter können mit Augmented-Reality-Datenbrillen ausgerüstet werden, um relevante Daten in ihr Sichtfeld einblenden zu lassen. Mithilfe moderner Datenbrillen können Visualisierungen dabei aufgrund der Brennweitendifferenz zwischen dem menschlichen Auge und der Datenbrillenoptik meist nur auf definierte Entfernungen scharf dargestellt werden. Ein Angleich der Brennweite der Optik an die Brennweite des Auges ermöglicht eine scharfe Darstellung der Inhalte innerhalb des Griffbereiches des Mitarbeiters. Zur Realisierung dieses Ansatzes wird in dieser Arbeit ein multikamerabasiertes Verfahren zur automatischen Adaptierung der Optikbrennweite vorgeschlagen. Für die Brennweitenadaptierung wird ein Ansatz zur Pupillendetektion in Kombination mit einer 3D-Umgebungskamera vorgestellt. Da geläufige Algorithmen zur Pupillendetektion nicht für die Verwendung auf eingebetteten Systemen optimiert sind, wird der Schwerpunkt auf die Entwicklung eines geeigneten ressourcenarmen Algorithmus gelegt. Die nötige Relation zwischen dem menschlichen Auge und der 3D-Kamera wird dabei über einen Ansatz der mehrstufigen Ebenenkalibrierung realisiert. Die gewonnenen 3D-Tiefeninformationen werden anschließend mithilfe einer adaptiven Flüssiglinse zur Brennweitenjustierung der Optik genutzt. Da aktuell keine Datenbrillen mit den genannten Komponenten erhältlich sind, wurde eine eigenes Konzept realisiert. Die später beabsichtigte Anwendung soll dem Nutzer dabei Informationen zur Umsetzung aktueller Aufgaben anzeigen und diese direkt auf die Brennweite des Auges anpassen, um dessen kognitive Belastung zu reduzieren.:1 Einleitung 1 1.1 Aktueller Stand der Technik 2 1.2 Systemübersicht 6 1.3 Inhaltliche Gliederung 8 1.4 Wissenschaftlicher Beitrag 9 2 Theoretische Vorbetrachtungen 11 2.1 Augmentierte Realität 11 2.1.1 Übersicht 11 2.1.2 Videoaufnahme in Echtzeit 13 2.1.3 Tracking 13 2.1.4 Registrierung 15 2.1.5 Visuelle Ausgabemöglichkeiten 16 2.1.6 Eye-Tracking in AR 17 2.2 Das menschliche Auge 18 2.2.1 Anatomie 19 2.2.2 Das Auge als dioptrischer Apparat 22 2.2.3 Die Pupille 25 2.2.4 Verhaltensanalyse des Auges 26 2.2.5 Die retinale Signalverarbeitung 27 2.3 3D-Umgebungen 29 2.3.1 Kameramodell 29 2.3.2 Stereoskopie 32 2.3.3 Strukturiertes Licht 37 2.3.4 Time of Flight 39 3 Entwurf einer AR-Datenbrille mit blickpunktabhängiger Brennweitenadaptierung 42 3.1 Gesamtsystem 42 3.2 Infrarotbeleuchtung für die Eye-Tracking-Kamera 44 3.2.1 Gefährdung der Kornea durch IR-A Strahlen 47 3.2.2 Thermische Netzhautgefährdung – schwacher visueller Reiz 48 3.2.3 Überprüfung der Einhaltung der Grenzwerte der selektierten IR-LED 50 3.3 Optisches System 53 3.4 Adaptive Linse 55 3.5 3D-Umgebungskamera 56 3.6 Recheneinheit 58 4 Eye-Tracking 59 4.1 Einleitung 59 4.2 Voruntersuchungen 64 4.3 Eye-Tracking-Algorithmus „Fast Ellipse Fitting “(FEF) 67 4.3.1 Stand der Forschung 67 4.3.2 Übersicht 69 4.3.3 Schwellwertapproximation 70 4.3.4 ROI-Findung / hochaufgelöste Schwellwertsuche 72 4.3.5 Pupillendetektion 75 4.3.6 Anfälligkeiten 76 4.4 Validierung 81 4.5 Zusammenfassung 85 4.6 Diskussion 86 5 Blickpunktschätzung 87 5.1 Einleitung 87 5.2 2D-Blickpunktschätzung 89 5.2.1 Einleitung 89 5.2.2 Evaluierung 92 5.3 3D-Blickpunktschätzung 100 5.3.1 Stand der Technik 100 5.3.2 Aufnahme von Kalibrierungspunkten im 3D-Raum 103 5.3.3 Algorithmen zur 3D-Blickpunktschätzung 104 5.3.4 Evaluierung 108 5.4 Zusammenfassung 111 5.5 Diskussion 111 6 Blickpunktanalyse 113 6.1 Filterung der Augenbewegungen/Glint-Vektoren 113 6.1.1 Stand der Forschung 113 6.1.2 Glättung der Glint-Vektoren 116 6.2 Blickpunktauswertung 117 6.2.1 Display-Steuerung 119 6.2.2 Eye-Tracking zur Informationsergänzung 125 6.2.3 Validierung der 3D-Blickpunktschätzung 131 6.3 Zusammenfassung 135 6.4 Diskussion 136 7 Zusammenfassung 138 8 Ausblick 140 9 Literaturverzeichnis 142 A Anhang 15