Robust Gaze Estimation Based on Adaptive Fusion of Multiple Cameras

Gaze movements play a crucial role in human-computer interaction (HCI) applications. Recently, gaze tracking systems with a wide variety of applications have attracted much interest by the industry as well as the scientific community. The state-of-the-art gaze trackers are mostly non-intrusive and report high estimation accuracies. However, they require complex setups such as camera and geometric calibration in addition to subject-specific calibration. In this paper, we introduce a multi-camera gaze estimation system which requires less effort for the users in terms of the system setup and calibration. The system is based on an adaptive fusion of multiple independent camera systems in which the gaze estimation relies on simple cross-ratio (CR) geometry. Experimental results conducted on real data show that the proposed system achieves a significant accuracy improvement, by around 25%, over the traditional CR-based single camera systems through the novel adaptive multi-camera fusion scheme. The real-time system achieves less than 0.9 degrees accuracy error with very few calibration data (5 points) under natural head movements, which is competitive with more complex systems. Hence, the proposed system enables fast and user-friendly gaze tracking with minimum user effort without sacrificing too much accuracy

An eye tracking based virtual reality system for use inside magnetic resonance imaging systems

Copyright © The Author(s) 2021. Patients undergoing Magnetic Resonance Imaging (MRI) often experience anxiety and sometimes distress prior to and during scanning. Here a full MRI compatible virtual reality (VR) system is described and tested with the aim of creating a radically different experience. Potential benefits could accrue from the strong sense of immersion that can be created with VR, which could create sense experiences designed to avoid the perception of being enclosed and could also provide new modes of diversion and interaction that could make even lengthy MRI examinations much less challenging. Most current VR systems rely on head mounted displays combined with head motion tracking to achieve and maintain a visceral sense of a tangible virtual world, but this technology and approach encourages physical motion, which would be unacceptable and could be physically incompatible for MRI. The proposed VR system uses gaze tracking to control and interact with a virtual world. MRI compatible cameras are used to allow real time eye tracking and robust gaze tracking is achieved through an adaptive calibration strategy in which each successive VR interaction initiated by the subject updates the gaze estimation model. A dedicated VR framework has been developed including a rich virtual world and gaze-controlled game content. To aid in achieving immersive experiences physical sensations, including noise, vibration and proprioception associated with patient table movements, have been made congruent with the presented virtual scene. A live video link allows subject-carer interaction, projecting a supportive presence into the virtual world.ERC Grant Agreement No. 319456 (dHCP project); National Institute for Health Research (NIHR) Biomedical Research Centre; Engineering and Physical Sciences Research Council [Grant Number EP/L016737/1]; Medical Research Council UK (MRC) Clinician Scientist Fellowship [MR/P008712/1] and Transition Support Award [MR/V036874/1]; EU H2020 COGIMON [ICT 644727], PH-CODING [FETOPEN 829186], TRIMANUAL[MSCA 843408]; Wellcome EPSRC Centre for Medical Engineering at King’s College London [WT 203148/Z/16/Z]

A Review and Analysis of Eye-Gaze Estimation Systems, Algorithms and Performance Evaluation Methods in Consumer Platforms

In this paper a review is presented of the research on eye gaze estimation techniques and applications, that has progressed in diverse ways over the past two decades. Several generic eye gaze use-cases are identified: desktop, TV, head-mounted, automotive and handheld devices. Analysis of the literature leads to the identification of several platform specific factors that influence gaze tracking accuracy. A key outcome from this review is the realization of a need to develop standardized methodologies for performance evaluation of gaze tracking systems and achieve consistency in their specification and comparative evaluation. To address this need, the concept of a methodological framework for practical evaluation of different gaze tracking systems is proposed.Comment: 25 pages, 13 figures, Accepted for publication in IEEE Access in July 201

Development of new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements : application in visual health

Healthy visual function not only relies on good visual acuity. Other systems such as accommodation or binocular vision need to be effective. Binocular vision is the ability of the visual system to coordinate and integrate the information received separately from the two eyes into a single binocular percept. Anomalies in the binocular vision system lead to dysfunctions which are often associated with symptoms like asthenopia, diplopia, or ocular strain. The most prevalent non-strabismic binocular dysfunction is convergence insufficiency. The tests typically used to evaluate binocular vision and diagnose binocular dysfunctions essentially consist in eliciting eye movements and asking the patients to report when they perceive diplopia or single vision. In a conventional optometric clinical setting, they are generally run subjectively, as their results depend on the answers of the patients or on the examiner’s criteria. However, there exist instruments to determine the gaze position and measure ocular movements objectively, i.e. eye-trackers. These instruments are used as research tools in a wide range of applications (neuroscience, psychology, marketing, computer science, ophthalmology, etc.). Eye tracking systems are seldom used in optometric clinical practice, although it seems reasonable to think that the evaluation of binocular vision could better rely on eye tracking systems rather than subjective observations. In this context, the main objective of this thesis is to develop new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements. This thesis is divided in 4 studies. In the first study, new methods for an eye tracking system based on multiple corneal reflections are proposed. The other 3 studies aim to analyze ocular movements in clinically interesting situations for the objective and automated evaluation of binocular vision. The results of the first study showed that the light sources configurations that produced the reflections in the lower region of the cornea showed higher accuracy. Vertical accuracy was slightly better with a higher number of corneal reflections. However, the proposed normalization methods improved vertical accuracy and counteracted the tendency for increasing accuracy with the number of glints. As a result, if the light sources are optimally positioned to avoid the interference of the eyelids and the normalization methods are applied, there is no need for more than two light sources. In the second study, an automated and objective method to measure phoria was proposed. It was significantly more repeatable than two other conventional clinical methods. However, the phoria results of the three tests were not interchangeable. This study brings to light several advantages of using eye-trackers in optometric clinical settings. The third study analyzes the characteristics of saccadic movements that occur during the near point of convergence test. The results showed that saccadic amplitude increased and rate decrease at closer viewing distances. These changes might be explained by the more rapid change of vergence demand and the greater angular size of the fixation target at near than at far. In general, saccades contributed to correct vergence errors and fixation position errors of the dominant eye. Finally, the fourth study focuses on the effects of the stimulus’ predictability on the latency and response time of vergence step movements. The results confirmed that vergence movements to predictable stimulus had shorter latency and response time than when the stimulus was random. Latency of convergence and divergence movements was influenced by the direction of the phoria. Other factors such as attention or voluntary effort might also affect vergence responses. All these effects might influence the final result of the vergence facility test, although further research is needed to specify the impact on the clinical test.Una bona funció visual no és sinònim exclusivament de bona agudesa visual. Cal que altres sistemes com l’acomodatiu o la visió binocular siguin eficaços. La visió binocular és la capacitat del sistema visual per coordinar i integrar la informació que reben els dos ulls en una única percepció. Anomalies en el sistema de visió binocular poden donar lloc a disfuncions associades a símptomes com astenopia, o visió doble. La disfunció no estràbica de la visió binocular més prevalent és la insuficiència de convergència. Els tests que normalment es fan per avaluar la visió binocular es basen en estimular moviments oculars i demanar als pacients que indiquin quan veuen doble i quan fusionen. A la pràctica clínica convencional, aquests tests solen ser subjectius. No obstant, hi ha instruments que serveixen per determinar objectivament la posició de mirada i mesurar els moviments oculars: els eye-trackers o instruments de seguiment de mirada. Aquests instruments s’utilitzen en recerca en moltes disciplines (neurociència, psicologia, marketing, oftalmologia, etc.). Tot i que una aplicació directa dels eye-trackers podria ser en l’avaluació de la visió binocular, els sistemes de seguiment de mirada gairebé no s’utilitzen en la pràctica clínica optomètrica. En aquest context, l’objectiu principal d’aquesta tesi és desenvolupar noves metodologies per a l’avaluació clínica, objectiva i automatitzada de la funció visual basades en l’anàlisi dels moviments oculars. La tesi està estructurada en 4 estudis. En el primer, es proposen nous mètodes per a un eye-tracker basat en múltiples reflexos corneals. Els altres 3 estudis tenen com a objectiu analitzar els moviments oculars en situacions d’interès clínic per avaluar objectiva i automàticament la visió binocular. Els resultats del primer estudi demostren que les configuracions d’il·luminació dels eye-trackers que formen les reflexions corneals a la zona inferior de la còrnia són més precises. La precisió vertical és lleugerament millor amb més fonts de llum. Tot i això, els mètodes de normalització proposats milloren considerablement la precisió vertical i contraresten la tendència de més precisió amb més fonts de llum. D’aquesta manera, si les fonts de llum no interfereixen amb les parpelles i s’apliquen els mètodes de normalització, no cal que els eye-trackers tinguin més de dues fonts de llum. En el segon estudi s’ha proposat un mètode automàtic i objectiu per mesurar la fòria. Aquest mètode és significativament més repetitiu que dos altres mètodes clínics. Tot i això, els resultats amb els tres mètodes no són intercanviables. Aquest estudi posa de manifest avantatges que podrien tenir els eye-trackers a la pràctica clínica optomètrica. En el tercer estudi s’analitzen les característiques dels moviments sacàdics que es produeixen durant la prova del punt proper de convergència. Els resultats demostren que l’amplitud dels sacàdics augmenta i la freqüència disminueix a mesura que s’escurça la distància. Aquests canvis poden ser deguts a que la demanda de vergència canvia més ràpid a distàncies properes que llunyanes, i a l’increment de la mida angular de l’objecte de fixació. En general, els sacàdics contribueixen a corregir els errors de vergència i els errors de fixació de l’ull dominant. Finalment, el quart estudi se centra en els efectes de la predictibilitat de l’estímul en la latència i temps de resposta dels salts de vergència. Els resultats confirmen que els moviments de vergència tenen una latència i temps de resposta més curts quan l’estímul es predictible que quan és aleatori. La latència dels moviments de convergència i divergència està influenciada per la direcció de la fòria. Altres factors com el grau d’atenció o d’esforç voluntari pot ser que afectin els moviments de vergència. Tots aquests efectes probablement influencien en el resultat final de la prova de la instal·lació de vergència, encara que es necessiten més investigacions per especificar l'impacte en la prova clínica

Development of new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements : application in visual health

Premi Extraordinari de Doctorat, promoció 2018-2019. Àmbit de CiènciesHealthy visual function not only relies on good visual acuity. Other systems such as accommodation or binocular vision need to be effective. Binocular vision is the ability of the visual system to coordinate and integrate the information received separately from the two eyes into a single binocular percept. Anomalies in the binocular vision system lead to dysfunctions which are often associated with symptoms like asthenopia, diplopia, or ocular strain. The most prevalent non-strabismic binocular dysfunction is convergence insufficiency. The tests typically used to evaluate binocular vision and diagnose binocular dysfunctions essentially consist in eliciting eye movements and asking the patients to report when they perceive diplopia or single vision. In a conventional optometric clinical setting, they are generally run subjectively, as their results depend on the answers of the patients or on the examiner’s criteria. However, there exist instruments to determine the gaze position and measure ocular movements objectively, i.e. eye-trackers. These instruments are used as research tools in a wide range of applications (neuroscience, psychology, marketing, computer science, ophthalmology, etc.). Eye tracking systems are seldom used in optometric clinical practice, although it seems reasonable to think that the evaluation of binocular vision could better rely on eye tracking systems rather than subjective observations. In this context, the main objective of this thesis is to develop new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements. This thesis is divided in 4 studies. In the first study, new methods for an eye tracking system based on multiple corneal reflections are proposed. The other 3 studies aim to analyze ocular movements in clinically interesting situations for the objective and automated evaluation of binocular vision. The results of the first study showed that the light sources configurations that produced the reflections in the lower region of the cornea showed higher accuracy. Vertical accuracy was slightly better with a higher number of corneal reflections. However, the proposed normalization methods improved vertical accuracy and counteracted the tendency for increasing accuracy with the number of glints. As a result, if the light sources are optimally positioned to avoid the interference of the eyelids and the normalization methods are applied, there is no need for more than two light sources. In the second study, an automated and objective method to measure phoria was proposed. It was significantly more repeatable than two other conventional clinical methods. However, the phoria results of the three tests were not interchangeable. This study brings to light several advantages of using eye-trackers in optometric clinical settings. The third study analyzes the characteristics of saccadic movements that occur during the near point of convergence test. The results showed that saccadic amplitude increased and rate decrease at closer viewing distances. These changes might be explained by the more rapid change of vergence demand and the greater angular size of the fixation target at near than at far. In general, saccades contributed to correct vergence errors and fixation position errors of the dominant eye. Finally, the fourth study focuses on the effects of the stimulus’ predictability on the latency and response time of vergence step movements. The results confirmed that vergence movements to predictable stimulus had shorter latency and response time than when the stimulus was random. Latency of convergence and divergence movements was influenced by the direction of the phoria. Other factors such as attention or voluntary effort might also affect vergence responses. All these effects might influence the final result of the vergence facility test, although further research is needed to specify the impact on the clinical test.Una bona funció visual no és sinònim exclusivament de bona agudesa visual. Cal que altres sistemes com l’acomodatiu o la visió binocular siguin eficaços. La visió binocular és la capacitat del sistema visual per coordinar i integrar la informació que reben els dos ulls en una única percepció. Anomalies en el sistema de visió binocular poden donar lloc a disfuncions associades a símptomes com astenopia, o visió doble. La disfunció no estràbica de la visió binocular més prevalent és la insuficiència de convergència. Els tests que normalment es fan per avaluar la visió binocular es basen en estimular moviments oculars i demanar als pacients que indiquin quan veuen doble i quan fusionen. A la pràctica clínica convencional, aquests tests solen ser subjectius. No obstant, hi ha instruments que serveixen per determinar objectivament la posició de mirada i mesurar els moviments oculars: els eye-trackers o instruments de seguiment de mirada. Aquests instruments s’utilitzen en recerca en moltes disciplines (neurociència, psicologia, marketing, oftalmologia, etc.). Tot i que una aplicació directa dels eye-trackers podria ser en l’avaluació de la visió binocular, els sistemes de seguiment de mirada gairebé no s’utilitzen en la pràctica clínica optomètrica. En aquest context, l’objectiu principal d’aquesta tesi és desenvolupar noves metodologies per a l’avaluació clínica, objectiva i automatitzada de la funció visual basades en l’anàlisi dels moviments oculars. La tesi està estructurada en 4 estudis. En el primer, es proposen nous mètodes per a un eye-tracker basat en múltiples reflexos corneals. Els altres 3 estudis tenen com a objectiu analitzar els moviments oculars en situacions d’interès clínic per avaluar objectiva i automàticament la visió binocular. Els resultats del primer estudi demostren que les configuracions d’il·luminació dels eye-trackers que formen les reflexions corneals a la zona inferior de la còrnia són més precises. La precisió vertical és lleugerament millor amb més fonts de llum. Tot i això, els mètodes de normalització proposats milloren considerablement la precisió vertical i contraresten la tendència de més precisió amb més fonts de llum. D’aquesta manera, si les fonts de llum no interfereixen amb les parpelles i s’apliquen els mètodes de normalització, no cal que els eye-trackers tinguin més de dues fonts de llum. En el segon estudi s’ha proposat un mètode automàtic i objectiu per mesurar la fòria. Aquest mètode és significativament més repetitiu que dos altres mètodes clínics. Tot i això, els resultats amb els tres mètodes no són intercanviables. Aquest estudi posa de manifest avantatges que podrien tenir els eye-trackers a la pràctica clínica optomètrica. En el tercer estudi s’analitzen les característiques dels moviments sacàdics que es produeixen durant la prova del punt proper de convergència. Els resultats demostren que l’amplitud dels sacàdics augmenta i la freqüència disminueix a mesura que s’escurça la distància. Aquests canvis poden ser deguts a que la demanda de vergència canvia més ràpid a distàncies properes que llunyanes, i a l’increment de la mida angular de l’objecte de fixació. En general, els sacàdics contribueixen a corregir els errors de vergència i els errors de fixació de l’ull dominant. Finalment, el quart estudi se centra en els efectes de la predictibilitat de l’estímul en la latència i temps de resposta dels salts de vergència. Els resultats confirmen que els moviments de vergència tenen una latència i temps de resposta més curts quan l’estímul es predictible que quan és aleatori. La latència dels moviments de convergència i divergència està influenciada per la direcció de la fòria. Altres factors com el grau d’atenció o d’esforç voluntari pot ser que afectin els moviments de vergència. Tots aquests efectes probablement influencien en el resultat final de la prova de la instal·lació de vergència, encara que es necessiten més investigacions per especificar l'impacte en la prova clínica.Award-winningPostprint (published version