Ocular biomechanics modelling for visual fatigue assessment in virtual environments

The study objectively quantifies visual fatigue caused by immersion in virtual reality. Visual fatigue assessment is done through ocular biomechanics modelling and eye tracking to analyse eye movement and muscle forces into a visual fatigue index

Proceedings of the Seventeenth Annual Conference on Manual Control

Manual control is considered, with concentration on perceptive/cognitive man-machine interaction and interface

Biometric Systems

Biometric authentication has been widely used for access control and security systems over the past few years. The purpose of this book is to provide the readers with life cycle of different biometric authentication systems from their design and development to qualification and final application. The major systems discussed in this book include fingerprint identification, face recognition, iris segmentation and classification, signature verification and other miscellaneous systems which describe management policies of biometrics, reliability measures, pressure based typing and signature verification, bio-chemical systems and behavioral characteristics. In summary, this book provides the students and the researchers with different approaches to develop biometric authentication systems and at the same time includes state-of-the-art approaches in their design and development. The approaches have been thoroughly tested on standard databases and in real world applications

Blickpunktabhängige Computergraphik

Contemporary digital displays feature multi-million pixels at ever-increasing refresh rates. Reality, on the other hand, provides us with a view of the world that is continuous in space and time. The discrepancy between viewing the physical world and its sampled depiction on digital displays gives rise to perceptual quality degradations. By measuring or estimating where we look, gaze-contingent algorithms aim at exploiting the way we visually perceive to remedy visible artifacts. This dissertation presents a variety of novel gaze-contingent algorithms and respective perceptual studies. Chapter 4 and 5 present methods to boost perceived visual quality of conventional video footage when viewed on commodity monitors or projectors. In Chapter 6 a novel head-mounted display with real-time gaze tracking is described. The device enables a large variety of applications in the context of Virtual Reality and Augmented Reality. Using the gaze-tracking VR headset, a novel gaze-contingent render method is described in Chapter 7. The gaze-aware approach greatly reduces computational efforts for shading virtual worlds. The described methods and studies show that gaze-contingent algorithms are able to improve the quality of displayed images and videos or reduce the computational effort for image generation, while display quality perceived by the user does not change.Moderne digitale Bildschirme ermöglichen immer höhere Auflösungen bei ebenfalls steigenden Bildwiederholraten. Die Realität hingegen ist in Raum und Zeit kontinuierlich. Diese Grundverschiedenheit führt beim Betrachter zu perzeptuellen Unterschieden. Die Verfolgung der Aug-Blickrichtung ermöglicht blickpunktabhängige Darstellungsmethoden, die sichtbare Artefakte verhindern können. Diese Dissertation trägt zu vier Bereichen blickpunktabhängiger und wahrnehmungstreuer Darstellungsmethoden bei. Die Verfahren in Kapitel 4 und 5 haben zum Ziel, die wahrgenommene visuelle Qualität von Videos für den Betrachter zu erhöhen, wobei die Videos auf gewöhnlicher Ausgabehardware wie z.B. einem Fernseher oder Projektor dargestellt werden. Kapitel 6 beschreibt die Entwicklung eines neuartigen Head-mounted Displays mit Unterstützung zur Erfassung der Blickrichtung in Echtzeit. Die Kombination der Funktionen ermöglicht eine Reihe interessanter Anwendungen in Bezug auf Virtuelle Realität (VR) und Erweiterte Realität (AR). Das vierte und abschließende Verfahren in Kapitel 7 dieser Dissertation beschreibt einen neuen Algorithmus, der das entwickelte Eye-Tracking Head-mounted Display zum blickpunktabhängigen Rendern nutzt. Die Qualität des Shadings wird hierbei auf Basis eines Wahrnehmungsmodells für jeden Bildpixel in Echtzeit analysiert und angepasst. Das Verfahren hat das Potenzial den Berechnungsaufwand für das Shading einer virtuellen Szene auf ein Bruchteil zu reduzieren. Die in dieser Dissertation beschriebenen Verfahren und Untersuchungen zeigen, dass blickpunktabhängige Algorithmen die Darstellungsqualität von Bildern und Videos wirksam verbessern können, beziehungsweise sich bei gleichbleibender Bildqualität der Berechnungsaufwand des bildgebenden Verfahrens erheblich verringern lässt

Development of new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements : application in visual health

Healthy visual function not only relies on good visual acuity. Other systems such as accommodation or binocular vision need to be effective. Binocular vision is the ability of the visual system to coordinate and integrate the information received separately from the two eyes into a single binocular percept. Anomalies in the binocular vision system lead to dysfunctions which are often associated with symptoms like asthenopia, diplopia, or ocular strain. The most prevalent non-strabismic binocular dysfunction is convergence insufficiency. The tests typically used to evaluate binocular vision and diagnose binocular dysfunctions essentially consist in eliciting eye movements and asking the patients to report when they perceive diplopia or single vision. In a conventional optometric clinical setting, they are generally run subjectively, as their results depend on the answers of the patients or on the examiner’s criteria. However, there exist instruments to determine the gaze position and measure ocular movements objectively, i.e. eye-trackers. These instruments are used as research tools in a wide range of applications (neuroscience, psychology, marketing, computer science, ophthalmology, etc.). Eye tracking systems are seldom used in optometric clinical practice, although it seems reasonable to think that the evaluation of binocular vision could better rely on eye tracking systems rather than subjective observations. In this context, the main objective of this thesis is to develop new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements. This thesis is divided in 4 studies. In the first study, new methods for an eye tracking system based on multiple corneal reflections are proposed. The other 3 studies aim to analyze ocular movements in clinically interesting situations for the objective and automated evaluation of binocular vision. The results of the first study showed that the light sources configurations that produced the reflections in the lower region of the cornea showed higher accuracy. Vertical accuracy was slightly better with a higher number of corneal reflections. However, the proposed normalization methods improved vertical accuracy and counteracted the tendency for increasing accuracy with the number of glints. As a result, if the light sources are optimally positioned to avoid the interference of the eyelids and the normalization methods are applied, there is no need for more than two light sources. In the second study, an automated and objective method to measure phoria was proposed. It was significantly more repeatable than two other conventional clinical methods. However, the phoria results of the three tests were not interchangeable. This study brings to light several advantages of using eye-trackers in optometric clinical settings. The third study analyzes the characteristics of saccadic movements that occur during the near point of convergence test. The results showed that saccadic amplitude increased and rate decrease at closer viewing distances. These changes might be explained by the more rapid change of vergence demand and the greater angular size of the fixation target at near than at far. In general, saccades contributed to correct vergence errors and fixation position errors of the dominant eye. Finally, the fourth study focuses on the effects of the stimulus’ predictability on the latency and response time of vergence step movements. The results confirmed that vergence movements to predictable stimulus had shorter latency and response time than when the stimulus was random. Latency of convergence and divergence movements was influenced by the direction of the phoria. Other factors such as attention or voluntary effort might also affect vergence responses. All these effects might influence the final result of the vergence facility test, although further research is needed to specify the impact on the clinical test.Una bona funció visual no és sinònim exclusivament de bona agudesa visual. Cal que altres sistemes com l’acomodatiu o la visió binocular siguin eficaços. La visió binocular és la capacitat del sistema visual per coordinar i integrar la informació que reben els dos ulls en una única percepció. Anomalies en el sistema de visió binocular poden donar lloc a disfuncions associades a símptomes com astenopia, o visió doble. La disfunció no estràbica de la visió binocular més prevalent és la insuficiència de convergència. Els tests que normalment es fan per avaluar la visió binocular es basen en estimular moviments oculars i demanar als pacients que indiquin quan veuen doble i quan fusionen. A la pràctica clínica convencional, aquests tests solen ser subjectius. No obstant, hi ha instruments que serveixen per determinar objectivament la posició de mirada i mesurar els moviments oculars: els eye-trackers o instruments de seguiment de mirada. Aquests instruments s’utilitzen en recerca en moltes disciplines (neurociència, psicologia, marketing, oftalmologia, etc.). Tot i que una aplicació directa dels eye-trackers podria ser en l’avaluació de la visió binocular, els sistemes de seguiment de mirada gairebé no s’utilitzen en la pràctica clínica optomètrica. En aquest context, l’objectiu principal d’aquesta tesi és desenvolupar noves metodologies per a l’avaluació clínica, objectiva i automatitzada de la funció visual basades en l’anàlisi dels moviments oculars. La tesi està estructurada en 4 estudis. En el primer, es proposen nous mètodes per a un eye-tracker basat en múltiples reflexos corneals. Els altres 3 estudis tenen com a objectiu analitzar els moviments oculars en situacions d’interès clínic per avaluar objectiva i automàticament la visió binocular. Els resultats del primer estudi demostren que les configuracions d’il·luminació dels eye-trackers que formen les reflexions corneals a la zona inferior de la còrnia són més precises. La precisió vertical és lleugerament millor amb més fonts de llum. Tot i això, els mètodes de normalització proposats milloren considerablement la precisió vertical i contraresten la tendència de més precisió amb més fonts de llum. D’aquesta manera, si les fonts de llum no interfereixen amb les parpelles i s’apliquen els mètodes de normalització, no cal que els eye-trackers tinguin més de dues fonts de llum. En el segon estudi s’ha proposat un mètode automàtic i objectiu per mesurar la fòria. Aquest mètode és significativament més repetitiu que dos altres mètodes clínics. Tot i això, els resultats amb els tres mètodes no són intercanviables. Aquest estudi posa de manifest avantatges que podrien tenir els eye-trackers a la pràctica clínica optomètrica. En el tercer estudi s’analitzen les característiques dels moviments sacàdics que es produeixen durant la prova del punt proper de convergència. Els resultats demostren que l’amplitud dels sacàdics augmenta i la freqüència disminueix a mesura que s’escurça la distància. Aquests canvis poden ser deguts a que la demanda de vergència canvia més ràpid a distàncies properes que llunyanes, i a l’increment de la mida angular de l’objecte de fixació. En general, els sacàdics contribueixen a corregir els errors de vergència i els errors de fixació de l’ull dominant. Finalment, el quart estudi se centra en els efectes de la predictibilitat de l’estímul en la latència i temps de resposta dels salts de vergència. Els resultats confirmen que els moviments de vergència tenen una latència i temps de resposta més curts quan l’estímul es predictible que quan és aleatori. La latència dels moviments de convergència i divergència està influenciada per la direcció de la fòria. Altres factors com el grau d’atenció o d’esforç voluntari pot ser que afectin els moviments de vergència. Tots aquests efectes probablement influencien en el resultat final de la prova de la instal·lació de vergència, encara que es necessiten més investigacions per especificar l'impacte en la prova clínica

Development of new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements : application in visual health

Premi Extraordinari de Doctorat, promoció 2018-2019. Àmbit de CiènciesHealthy visual function not only relies on good visual acuity. Other systems such as accommodation or binocular vision need to be effective. Binocular vision is the ability of the visual system to coordinate and integrate the information received separately from the two eyes into a single binocular percept. Anomalies in the binocular vision system lead to dysfunctions which are often associated with symptoms like asthenopia, diplopia, or ocular strain. The most prevalent non-strabismic binocular dysfunction is convergence insufficiency. The tests typically used to evaluate binocular vision and diagnose binocular dysfunctions essentially consist in eliciting eye movements and asking the patients to report when they perceive diplopia or single vision. In a conventional optometric clinical setting, they are generally run subjectively, as their results depend on the answers of the patients or on the examiner’s criteria. However, there exist instruments to determine the gaze position and measure ocular movements objectively, i.e. eye-trackers. These instruments are used as research tools in a wide range of applications (neuroscience, psychology, marketing, computer science, ophthalmology, etc.). Eye tracking systems are seldom used in optometric clinical practice, although it seems reasonable to think that the evaluation of binocular vision could better rely on eye tracking systems rather than subjective observations. In this context, the main objective of this thesis is to develop new methodologies for the clinical, objective and automated evaluation of visual function based on the analysis of ocular movements. This thesis is divided in 4 studies. In the first study, new methods for an eye tracking system based on multiple corneal reflections are proposed. The other 3 studies aim to analyze ocular movements in clinically interesting situations for the objective and automated evaluation of binocular vision. The results of the first study showed that the light sources configurations that produced the reflections in the lower region of the cornea showed higher accuracy. Vertical accuracy was slightly better with a higher number of corneal reflections. However, the proposed normalization methods improved vertical accuracy and counteracted the tendency for increasing accuracy with the number of glints. As a result, if the light sources are optimally positioned to avoid the interference of the eyelids and the normalization methods are applied, there is no need for more than two light sources. In the second study, an automated and objective method to measure phoria was proposed. It was significantly more repeatable than two other conventional clinical methods. However, the phoria results of the three tests were not interchangeable. This study brings to light several advantages of using eye-trackers in optometric clinical settings. The third study analyzes the characteristics of saccadic movements that occur during the near point of convergence test. The results showed that saccadic amplitude increased and rate decrease at closer viewing distances. These changes might be explained by the more rapid change of vergence demand and the greater angular size of the fixation target at near than at far. In general, saccades contributed to correct vergence errors and fixation position errors of the dominant eye. Finally, the fourth study focuses on the effects of the stimulus’ predictability on the latency and response time of vergence step movements. The results confirmed that vergence movements to predictable stimulus had shorter latency and response time than when the stimulus was random. Latency of convergence and divergence movements was influenced by the direction of the phoria. Other factors such as attention or voluntary effort might also affect vergence responses. All these effects might influence the final result of the vergence facility test, although further research is needed to specify the impact on the clinical test.Una bona funció visual no és sinònim exclusivament de bona agudesa visual. Cal que altres sistemes com l’acomodatiu o la visió binocular siguin eficaços. La visió binocular és la capacitat del sistema visual per coordinar i integrar la informació que reben els dos ulls en una única percepció. Anomalies en el sistema de visió binocular poden donar lloc a disfuncions associades a símptomes com astenopia, o visió doble. La disfunció no estràbica de la visió binocular més prevalent és la insuficiència de convergència. Els tests que normalment es fan per avaluar la visió binocular es basen en estimular moviments oculars i demanar als pacients que indiquin quan veuen doble i quan fusionen. A la pràctica clínica convencional, aquests tests solen ser subjectius. No obstant, hi ha instruments que serveixen per determinar objectivament la posició de mirada i mesurar els moviments oculars: els eye-trackers o instruments de seguiment de mirada. Aquests instruments s’utilitzen en recerca en moltes disciplines (neurociència, psicologia, marketing, oftalmologia, etc.). Tot i que una aplicació directa dels eye-trackers podria ser en l’avaluació de la visió binocular, els sistemes de seguiment de mirada gairebé no s’utilitzen en la pràctica clínica optomètrica. En aquest context, l’objectiu principal d’aquesta tesi és desenvolupar noves metodologies per a l’avaluació clínica, objectiva i automatitzada de la funció visual basades en l’anàlisi dels moviments oculars. La tesi està estructurada en 4 estudis. En el primer, es proposen nous mètodes per a un eye-tracker basat en múltiples reflexos corneals. Els altres 3 estudis tenen com a objectiu analitzar els moviments oculars en situacions d’interès clínic per avaluar objectiva i automàticament la visió binocular. Els resultats del primer estudi demostren que les configuracions d’il·luminació dels eye-trackers que formen les reflexions corneals a la zona inferior de la còrnia són més precises. La precisió vertical és lleugerament millor amb més fonts de llum. Tot i això, els mètodes de normalització proposats milloren considerablement la precisió vertical i contraresten la tendència de més precisió amb més fonts de llum. D’aquesta manera, si les fonts de llum no interfereixen amb les parpelles i s’apliquen els mètodes de normalització, no cal que els eye-trackers tinguin més de dues fonts de llum. En el segon estudi s’ha proposat un mètode automàtic i objectiu per mesurar la fòria. Aquest mètode és significativament més repetitiu que dos altres mètodes clínics. Tot i això, els resultats amb els tres mètodes no són intercanviables. Aquest estudi posa de manifest avantatges que podrien tenir els eye-trackers a la pràctica clínica optomètrica. En el tercer estudi s’analitzen les característiques dels moviments sacàdics que es produeixen durant la prova del punt proper de convergència. Els resultats demostren que l’amplitud dels sacàdics augmenta i la freqüència disminueix a mesura que s’escurça la distància. Aquests canvis poden ser deguts a que la demanda de vergència canvia més ràpid a distàncies properes que llunyanes, i a l’increment de la mida angular de l’objecte de fixació. En general, els sacàdics contribueixen a corregir els errors de vergència i els errors de fixació de l’ull dominant. Finalment, el quart estudi se centra en els efectes de la predictibilitat de l’estímul en la latència i temps de resposta dels salts de vergència. Els resultats confirmen que els moviments de vergència tenen una latència i temps de resposta més curts quan l’estímul es predictible que quan és aleatori. La latència dels moviments de convergència i divergència està influenciada per la direcció de la fòria. Altres factors com el grau d’atenció o d’esforç voluntari pot ser que afectin els moviments de vergència. Tots aquests efectes probablement influencien en el resultat final de la prova de la instal·lació de vergència, encara que es necessiten més investigacions per especificar l'impacte en la prova clínica.Award-winningPostprint (published version

Lens-based technologies to study accommodation and refraction

A visual stimulus can be presented in free space or through lens-based systems. Interestingly, it has been reported many times in the past that some subjects have poorer accommodative responses when optically stimulated, with no aparent reason. However, this limitation has not precluded the use of lens-based systems in ophthalmic devices, virtual reality displays or research setups, probably because it is outweighed by some advantages such as the computer-control of the focal plane of the stimuli. Under this general context, the objective of this thesis is to apply lens-based technologies (from computer-controlled electró-optical lenses to Badal Systems) to study accommodation and refraction. The methodology of this thesis is structured in 6 studies. The first three studies investigate the response of the accommodative system when optically-stimulated with a Badal optometer. The remaining 3 studies take advantage of electro-optical varifocal systems to investigate new methodologies related to the automated subjective refraction and the accommodative facility test. Concretely, the fourth study is a clinical validation of a new automated refraction algorithm and is the only study thatworks specifically on eye¿s refraction. The fifth and sixth studies use an electro-optical liquid lens to present a repeated step-like stimulus at different accommodative distances. The fifth study validates a new accommodative facility test that integrates both the far and near accommodative facility testwith random changes of accommodative stimulus and, the sixth study explores how the predictability of a stimulus affects the accommodation dynamics. The results of the first three studies show that previously reported differences in accommodative response when using lens-based methods compared to free space viewing may be explained by the effect of other factors such as the refractive error or field of view rather than the method to stimulate accommodation. It is also shown that the most accurate accommodative responses are obtained for fields between 8º and 10º which suggests that there may be an optimum peripheral retinal image size for accommodation stimulation. Also, it is shown that the only factor that in isolation significantly affects the accuracy of the accommodative responses is the type of refractive error. And finally, it is also shown that the accuracy of the accommodation response generally improves with a 2-dimensional stimulus with apparent depth cues and simulated out-of-focus blur in a relatively large field of view. Even though these conditions may not be adequate for all individuals, they can be used to improve the overall visual comfort in those virtual reality systems that use a varifocal optical system to change the focal plane of a 2-dimensional surface or visual simulators. The results of the study 4 show the first implementation of a potential novel method of performing non1cycloplegic subjective refraction in adults without clinician suport. Although this method has some limitations thatwarrant further research and it should be tested in a wider population in terms of age4 refraction and different ocular conditions4 it is precise and more accurate than objective refraction methods and it has the potential to be incorporated in novel lens1based technologies to improve primary eye care services in developing countries. And finally, the last two studies showed also the first implementation of a new accommodative facility test that integrates both the far and near accommodative facility testwith random changes of accommodative stimulus. This new methodology is a faster test than performing both the near and far accommodative tests and it provides more information than conventional accommodative facility tests. Additionally these two studies showed that the prediction operator does not exist in accommodation and the unpredictability of the stimulus does not affect the accommodation dynamics.Un estímul visual es pot presentar a l'espai lliure o a través de sistemes basats en lents. Curiosament, en el passat s'ha reportat moltes vegades que alguns subjectes acomoden de forma més pobre quan aquesta és estimulada per mitjans òptics. Tanmateix, aquesta limitació no ha impedit l'ús de sistemes basats en lents en dispositius oftàlmics, sistemes de realitat virtual o muntatges òptics de recerca, probablement perquè es compensen les limitacions amb alguns avantatges com el control per ordinador del pla focal del estímul. En aquest context general, l'objectiu d'aquesta tesi és aplicar tecnologies basades en lents (des de lents electró-òptiques controlades per ordinador fins a sistemes Badal) per estudiar l'acomodació i refracció. La metodologia d'aquesta tesi està estructurada en 6 estudis. Els primers tres estudis investiguen la resposta del sistema acomodatiu quan està estimulat òpticament amb un optòmetre Badal. Els 3 estudis restants aprofiten els sistemes varifocals electró-òptics per investigar noves metodologies relacionades amb la refracció subjectiva automàtica i la prova de flexibilitat acomodativa. Concretament, el quart estudi és una validació clínica d'un nou algorisme de refracció automatitzat i és l'únic estudi que treballa específicament en la refracció ocular. Els estudis cinquè i sisè utilitzen una lent òptica electró-òptica per presentar un estímul repetit a diferents distàncies acomodatives. El cinquè estudi valida una nova prova híbrida acomodativa que integra la prova de flexibilitat acomodativa llunyana i propera amb canvis aleatoris d'estímul acomodatiu i, el sisè estudi explora com la predictibilitat d'un estímul afecta la dinàmica acomodativa. Els resultats dels tres primers estudis mostren que les diferències reportades anteriorment en la resposta acomodativa quan s'utilitzen mètodes basats en lents en comparació amb la visualització d'estímuls en l'espai lliure es pot explicar per l'efecte de factors com l'error refractiu o el camp de visió més que en el mètode d'estimulació d'acomodació. També es demostra que l'acomodació és més precisa per a camps visuals entre 8 i 10º, el que suggereix que hi pot haver una mida d'imatge retiniana òptima per a l'estimulació de l'acomodació. A més, es demostra que l'únic factor que afecta aïlladament l'exactitud de la resposta acomodativa és el tipus d'error refractiu. També, es demostra que la precisió de la resposta acomodativa generalment millora amb un estímul bidimensional amb pistes de profunditat perifèriques i desenfoc simulat per a un camp de visió relativament gran. Aquestes condicions es poden utilitzar per millorar el confort visual en aquells sistemes de realitat virtual o simuladors visuals que utilitzen un sistema òptic varifocal per canviar el pla focal d'una superfície bidimensional. Els resultats de l'estudi 4 mostren la primera implementació d'un nou mètode potencial per a la realització de refracció subjectiva no cicloplègica en adults sense suport clínic. Encara que aquest mètode requereix encara una investigació addicional en una població més àmplia en termes d'edat, refracció i condicions oculars diferents, és més precís que els mètodes de refracció objectius i té el potencial d'incorporar-se a noves tecnologies basades en lents per millorar els serveis d'atenció primària en països en vies de desenvolupament. Finalment, els dos últims estudis mostren la primera implementació d'una nova prova de flexibilitat acomodativa que integra tant la prova llunyana i propera, amb canvis aleatoris d'estímul acomodatiu. Aquesta nova metodologia és una prova més ràpida que l'execució de les proves d'acomodació pròxima i llunyana i proporciona més informació que les proves de flexibilitat acomodativa per separat. Addicionalment, aquests dos estudis mostren que la capacitat predictiva en l'acomodació es insignificant i que la imprevisibilitat de l'estímul no afecta la dinàmica acomodativ