Robust eye tracking based on multiple corneal reflections for clinical applications

Postprint (published version

An investigation of the distribution of gaze estimation errors in head mounted gaze trackers using polynomial functions

Second order polynomials are commonly used for estimating the point-of-gaze in head-mounted eye trackers. Studies in remote (desktop) eye trackers show that although some non-standard 3rd order polynomial models could provide better accuracy, high-order polynomials do not necessarily provide better results. Different than remote setups though, where gaze is estimated over a relatively narrow field-of-view surface (e.g. less than 30x20 degrees on typical computer displays), head-mounted gaze trackers (HMGT) are often desired to cover a relatively wider field-of-view to make sure that the gaze is detected in the scene image even for extreme eye angles. In this paper we investigate the behavior of the gaze estimation error distribution throughout the image of the scene camera when using polynomial functions. Using simulated scenarios, we describe effects of four different sources of error: interpolation, extrapolation, parallax, and radial distortion. We show that the use of third order polynomials result in more accurate gaze estimates in HMGT, and that the use of wide angle lenses might be beneficial in terms of error reduction

Regression Based Gaze Estimation with Natural Head Movement

This thesis presents a non-contact, video-based gaze tracking system using novel eye detection and gaze estimation techniques. The objective of the work is to develop a real-time gaze tracking system that is capable of estimating the gaze accurately under natural head movement. The system contains both hardware and software components. The hardware of the system is responsible for illuminating the scene and capturing facial images for further computer analysis, while the software implements the core technique of gaze tracking which consists of two main modules, i.e., eye detection subsystem and gaze estimation subsystem. The proposed gaze tracking technique uses image plane features, namely, the inter-pupil vector (IPV) and the image center-inter pupil center vector (IC-IPCV) to improve gaze estimation precision under natural head movement. A support vector regression (SVR) based estimation method using image plane features along with traditional pupil center-cornea reflection (PC-CR) vector is also proposed to estimate the gaze. The designed gaze tracking system can work in real-time and achieve an overall estimation accuracy of 0.84º with still head and 2.26º under natural head movement. By using the SVR method for off-line processing, the estimation accuracy with head movement can be improved to 1.12º while providing a tolerance of 10cm×8cm×5cm head movement

Development of new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements : application in visual health

Healthy visual function not only relies on good visual acuity. Other systems such as accommodation or binocular vision need to be effective. Binocular vision is the ability of the visual system to coordinate and integrate the information received separately from the two eyes into a single binocular percept. Anomalies in the binocular vision system lead to dysfunctions which are often associated with symptoms like asthenopia, diplopia, or ocular strain. The most prevalent non-strabismic binocular dysfunction is convergence insufficiency. The tests typically used to evaluate binocular vision and diagnose binocular dysfunctions essentially consist in eliciting eye movements and asking the patients to report when they perceive diplopia or single vision. In a conventional optometric clinical setting, they are generally run subjectively, as their results depend on the answers of the patients or on the examiner’s criteria. However, there exist instruments to determine the gaze position and measure ocular movements objectively, i.e. eye-trackers. These instruments are used as research tools in a wide range of applications (neuroscience, psychology, marketing, computer science, ophthalmology, etc.). Eye tracking systems are seldom used in optometric clinical practice, although it seems reasonable to think that the evaluation of binocular vision could better rely on eye tracking systems rather than subjective observations. In this context, the main objective of this thesis is to develop new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements. This thesis is divided in 4 studies. In the first study, new methods for an eye tracking system based on multiple corneal reflections are proposed. The other 3 studies aim to analyze ocular movements in clinically interesting situations for the objective and automated evaluation of binocular vision. The results of the first study showed that the light sources configurations that produced the reflections in the lower region of the cornea showed higher accuracy. Vertical accuracy was slightly better with a higher number of corneal reflections. However, the proposed normalization methods improved vertical accuracy and counteracted the tendency for increasing accuracy with the number of glints. As a result, if the light sources are optimally positioned to avoid the interference of the eyelids and the normalization methods are applied, there is no need for more than two light sources. In the second study, an automated and objective method to measure phoria was proposed. It was significantly more repeatable than two other conventional clinical methods. However, the phoria results of the three tests were not interchangeable. This study brings to light several advantages of using eye-trackers in optometric clinical settings. The third study analyzes the characteristics of saccadic movements that occur during the near point of convergence test. The results showed that saccadic amplitude increased and rate decrease at closer viewing distances. These changes might be explained by the more rapid change of vergence demand and the greater angular size of the fixation target at near than at far. In general, saccades contributed to correct vergence errors and fixation position errors of the dominant eye. Finally, the fourth study focuses on the effects of the stimulus’ predictability on the latency and response time of vergence step movements. The results confirmed that vergence movements to predictable stimulus had shorter latency and response time than when the stimulus was random. Latency of convergence and divergence movements was influenced by the direction of the phoria. Other factors such as attention or voluntary effort might also affect vergence responses. All these effects might influence the final result of the vergence facility test, although further research is needed to specify the impact on the clinical test.Una bona funció visual no és sinònim exclusivament de bona agudesa visual. Cal que altres sistemes com l’acomodatiu o la visió binocular siguin eficaços. La visió binocular és la capacitat del sistema visual per coordinar i integrar la informació que reben els dos ulls en una única percepció. Anomalies en el sistema de visió binocular poden donar lloc a disfuncions associades a símptomes com astenopia, o visió doble. La disfunció no estràbica de la visió binocular més prevalent és la insuficiència de convergència. Els tests que normalment es fan per avaluar la visió binocular es basen en estimular moviments oculars i demanar als pacients que indiquin quan veuen doble i quan fusionen. A la pràctica clínica convencional, aquests tests solen ser subjectius. No obstant, hi ha instruments que serveixen per determinar objectivament la posició de mirada i mesurar els moviments oculars: els eye-trackers o instruments de seguiment de mirada. Aquests instruments s’utilitzen en recerca en moltes disciplines (neurociència, psicologia, marketing, oftalmologia, etc.). Tot i que una aplicació directa dels eye-trackers podria ser en l’avaluació de la visió binocular, els sistemes de seguiment de mirada gairebé no s’utilitzen en la pràctica clínica optomètrica. En aquest context, l’objectiu principal d’aquesta tesi és desenvolupar noves metodologies per a l’avaluació clínica, objectiva i automatitzada de la funció visual basades en l’anàlisi dels moviments oculars. La tesi està estructurada en 4 estudis. En el primer, es proposen nous mètodes per a un eye-tracker basat en múltiples reflexos corneals. Els altres 3 estudis tenen com a objectiu analitzar els moviments oculars en situacions d’interès clínic per avaluar objectiva i automàticament la visió binocular. Els resultats del primer estudi demostren que les configuracions d’il·luminació dels eye-trackers que formen les reflexions corneals a la zona inferior de la còrnia són més precises. La precisió vertical és lleugerament millor amb més fonts de llum. Tot i això, els mètodes de normalització proposats milloren considerablement la precisió vertical i contraresten la tendència de més precisió amb més fonts de llum. D’aquesta manera, si les fonts de llum no interfereixen amb les parpelles i s’apliquen els mètodes de normalització, no cal que els eye-trackers tinguin més de dues fonts de llum. En el segon estudi s’ha proposat un mètode automàtic i objectiu per mesurar la fòria. Aquest mètode és significativament més repetitiu que dos altres mètodes clínics. Tot i això, els resultats amb els tres mètodes no són intercanviables. Aquest estudi posa de manifest avantatges que podrien tenir els eye-trackers a la pràctica clínica optomètrica. En el tercer estudi s’analitzen les característiques dels moviments sacàdics que es produeixen durant la prova del punt proper de convergència. Els resultats demostren que l’amplitud dels sacàdics augmenta i la freqüència disminueix a mesura que s’escurça la distància. Aquests canvis poden ser deguts a que la demanda de vergència canvia més ràpid a distàncies properes que llunyanes, i a l’increment de la mida angular de l’objecte de fixació. En general, els sacàdics contribueixen a corregir els errors de vergència i els errors de fixació de l’ull dominant. Finalment, el quart estudi se centra en els efectes de la predictibilitat de l’estímul en la latència i temps de resposta dels salts de vergència. Els resultats confirmen que els moviments de vergència tenen una latència i temps de resposta més curts quan l’estímul es predictible que quan és aleatori. La latència dels moviments de convergència i divergència està influenciada per la direcció de la fòria. Altres factors com el grau d’atenció o d’esforç voluntari pot ser que afectin els moviments de vergència. Tots aquests efectes probablement influencien en el resultat final de la prova de la instal·lació de vergència, encara que es necessiten més investigacions per especificar l'impacte en la prova clínica

Development of new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements : application in visual health

Premi Extraordinari de Doctorat, promoció 2018-2019. Àmbit de CiènciesHealthy visual function not only relies on good visual acuity. Other systems such as accommodation or binocular vision need to be effective. Binocular vision is the ability of the visual system to coordinate and integrate the information received separately from the two eyes into a single binocular percept. Anomalies in the binocular vision system lead to dysfunctions which are often associated with symptoms like asthenopia, diplopia, or ocular strain. The most prevalent non-strabismic binocular dysfunction is convergence insufficiency. The tests typically used to evaluate binocular vision and diagnose binocular dysfunctions essentially consist in eliciting eye movements and asking the patients to report when they perceive diplopia or single vision. In a conventional optometric clinical setting, they are generally run subjectively, as their results depend on the answers of the patients or on the examiner’s criteria. However, there exist instruments to determine the gaze position and measure ocular movements objectively, i.e. eye-trackers. These instruments are used as research tools in a wide range of applications (neuroscience, psychology, marketing, computer science, ophthalmology, etc.). Eye tracking systems are seldom used in optometric clinical practice, although it seems reasonable to think that the evaluation of binocular vision could better rely on eye tracking systems rather than subjective observations. In this context, the main objective of this thesis is to develop new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements. This thesis is divided in 4 studies. In the first study, new methods for an eye tracking system based on multiple corneal reflections are proposed. The other 3 studies aim to analyze ocular movements in clinically interesting situations for the objective and automated evaluation of binocular vision. The results of the first study showed that the light sources configurations that produced the reflections in the lower region of the cornea showed higher accuracy. Vertical accuracy was slightly better with a higher number of corneal reflections. However, the proposed normalization methods improved vertical accuracy and counteracted the tendency for increasing accuracy with the number of glints. As a result, if the light sources are optimally positioned to avoid the interference of the eyelids and the normalization methods are applied, there is no need for more than two light sources. In the second study, an automated and objective method to measure phoria was proposed. It was significantly more repeatable than two other conventional clinical methods. However, the phoria results of the three tests were not interchangeable. This study brings to light several advantages of using eye-trackers in optometric clinical settings. The third study analyzes the characteristics of saccadic movements that occur during the near point of convergence test. The results showed that saccadic amplitude increased and rate decrease at closer viewing distances. These changes might be explained by the more rapid change of vergence demand and the greater angular size of the fixation target at near than at far. In general, saccades contributed to correct vergence errors and fixation position errors of the dominant eye. Finally, the fourth study focuses on the effects of the stimulus’ predictability on the latency and response time of vergence step movements. The results confirmed that vergence movements to predictable stimulus had shorter latency and response time than when the stimulus was random. Latency of convergence and divergence movements was influenced by the direction of the phoria. Other factors such as attention or voluntary effort might also affect vergence responses. All these effects might influence the final result of the vergence facility test, although further research is needed to specify the impact on the clinical test.Una bona funció visual no és sinònim exclusivament de bona agudesa visual. Cal que altres sistemes com l’acomodatiu o la visió binocular siguin eficaços. La visió binocular és la capacitat del sistema visual per coordinar i integrar la informació que reben els dos ulls en una única percepció. Anomalies en el sistema de visió binocular poden donar lloc a disfuncions associades a símptomes com astenopia, o visió doble. La disfunció no estràbica de la visió binocular més prevalent és la insuficiència de convergència. Els tests que normalment es fan per avaluar la visió binocular es basen en estimular moviments oculars i demanar als pacients que indiquin quan veuen doble i quan fusionen. A la pràctica clínica convencional, aquests tests solen ser subjectius. No obstant, hi ha instruments que serveixen per determinar objectivament la posició de mirada i mesurar els moviments oculars: els eye-trackers o instruments de seguiment de mirada. Aquests instruments s’utilitzen en recerca en moltes disciplines (neurociència, psicologia, marketing, oftalmologia, etc.). Tot i que una aplicació directa dels eye-trackers podria ser en l’avaluació de la visió binocular, els sistemes de seguiment de mirada gairebé no s’utilitzen en la pràctica clínica optomètrica. En aquest context, l’objectiu principal d’aquesta tesi és desenvolupar noves metodologies per a l’avaluació clínica, objectiva i automatitzada de la funció visual basades en l’anàlisi dels moviments oculars. La tesi està estructurada en 4 estudis. En el primer, es proposen nous mètodes per a un eye-tracker basat en múltiples reflexos corneals. Els altres 3 estudis tenen com a objectiu analitzar els moviments oculars en situacions d’interès clínic per avaluar objectiva i automàticament la visió binocular. Els resultats del primer estudi demostren que les configuracions d’il·luminació dels eye-trackers que formen les reflexions corneals a la zona inferior de la còrnia són més precises. La precisió vertical és lleugerament millor amb més fonts de llum. Tot i això, els mètodes de normalització proposats milloren considerablement la precisió vertical i contraresten la tendència de més precisió amb més fonts de llum. D’aquesta manera, si les fonts de llum no interfereixen amb les parpelles i s’apliquen els mètodes de normalització, no cal que els eye-trackers tinguin més de dues fonts de llum. En el segon estudi s’ha proposat un mètode automàtic i objectiu per mesurar la fòria. Aquest mètode és significativament més repetitiu que dos altres mètodes clínics. Tot i això, els resultats amb els tres mètodes no són intercanviables. Aquest estudi posa de manifest avantatges que podrien tenir els eye-trackers a la pràctica clínica optomètrica. En el tercer estudi s’analitzen les característiques dels moviments sacàdics que es produeixen durant la prova del punt proper de convergència. Els resultats demostren que l’amplitud dels sacàdics augmenta i la freqüència disminueix a mesura que s’escurça la distància. Aquests canvis poden ser deguts a que la demanda de vergència canvia més ràpid a distàncies properes que llunyanes, i a l’increment de la mida angular de l’objecte de fixació. En general, els sacàdics contribueixen a corregir els errors de vergència i els errors de fixació de l’ull dominant. Finalment, el quart estudi se centra en els efectes de la predictibilitat de l’estímul en la latència i temps de resposta dels salts de vergència. Els resultats confirmen que els moviments de vergència tenen una latència i temps de resposta més curts quan l’estímul es predictible que quan és aleatori. La latència dels moviments de convergència i divergència està influenciada per la direcció de la fòria. Altres factors com el grau d’atenció o d’esforç voluntari pot ser que afectin els moviments de vergència. Tots aquests efectes probablement influencien en el resultat final de la prova de la instal·lació de vergència, encara que es necessiten més investigacions per especificar l'impacte en la prova clínica.Award-winningPostprint (published version

Robust Eye Tracking Based on Adaptive Fusion of Multiple Cameras

Eye and gaze movements play an essential role in identifying individuals' emotional states, cognitive activities, interests, and attention among other behavioral traits. Besides, they are natural, fast, and implicitly reflect the targets of interest, which makes them a highly valuable input modality in human-computer interfaces. Therefore, tracking gaze movements, in other words, eye tracking is of great interest to a large number of disciplines, including human behaviour research, neuroscience, medicine, and human-computer interaction. Tracking gaze movements accurately is a challenging task, especially under unconstrained conditions. Over the last two decades, significant advances have been made in improving the gaze estimation accuracy. However, these improvements have been achieved mostly under controlled settings. Meanwhile, several concerns have arisen, such as the complexity, inflexibility and cost of the setups, increased user effort, and high sensitivity to varying real-world conditions. Despite various attempts and promising enhancements, existing eye tracking systems are still inadequate to overcome most of these concerns, which prevent them from being widely used. In this thesis, we revisit these concerns and introduce a novel multi-camera eye tracking framework. The proposed framework achieves a high estimation accuracy while requiring a minimal user effort and a non-intrusive flexible setup. In addition, it provides improved robustness to large head movements, illumination changes, use of eye wear, and eye type variations across users. We develop a novel real-time gaze estimation framework based on adaptive fusion of multiple single-camera systems, in which the gaze estimation relies on projective geometry. Besides, to ease the user calibration procedure, we investigate several methods to model the subject-specific estimation bias, and consequently, propose a novel approach based on weighted regularized least squares regression. The proposed method provides a better calibration modeling than state-of-the-art methods, particularly when using low-resolution and limited calibration data. Being able to operate with low-resolution data also enables to utilize a large field-of-view setup, so that large head movements are allowed. To address aforementioned robustness concerns, we propose to leverage multiple eye appearances simultaneously acquired from various views. In comparison with conventional single view approach, the main benefit of our approach is to more reliably detect gaze features under challenging conditions, especially when they are obstructed due to large head pose or movements, or eye glasses effects. We further propose an adaptive fusion mechanism to effectively combine the gaze outputs obtained from multi-view appearances. To this effect, our mechanism firstly determines the estimation reliability of each gaze output and then performs a reliability-based weighted fusion to compute the overall point of regard. In addition, to address illumination and eye type robustness, the setup is built upon active illumination and robust feature detection methods are developed. The proposed framework and methods are validated through extensive simulations and user experiments featuring 20 subjects. The results demonstrate that our framework provides not only a significant improvement in gaze estimation accuracy but also a notable robustness to real-world conditions, making it suitable for a large spectrum of applications