Integration and fusion of standard automated perimetry and optical coherence tomography data for improved automated glaucoma diagnostics

<p>Abstract</p> <p>Background</p> <p>The performance of glaucoma diagnostic systems could be conceivably improved by the integration of functional and structural test measurements that provide relevant and complementary information for reaching a diagnosis. The purpose of this study was to investigate the performance of data fusion methods and techniques for simple combination of Standard Automated Perimetry (SAP) and Optical Coherence Tomography (OCT) data for the diagnosis of glaucoma using Artificial Neural Networks (ANNs).</p> <p>Methods</p> <p>Humphrey 24-2 SITA standard SAP and StratusOCT tests were prospectively collected from a randomly selected population of 125 healthy persons and 135 patients with glaucomatous optic nerve heads and used as input for the ANNs. We tested commercially available standard parameters as well as novel ones (fused OCT and SAP data) that exploit the spatial relationship between visual field areas and sectors of the OCT peripapillary scan circle. We evaluated the performance of these SAP and OCT derived parameters both separately and in combination.</p> <p>Results</p> <p>The diagnostic accuracy from a combination of fused SAP and OCT data (95.39%) was higher than that of the best conventional parameters of either instrument, i.e. SAP Glaucoma Hemifield Test (p < 0.001) and OCT Retinal Nerve Fiber Layer Thickness ≥ 1 quadrant (p = 0.031). Fused OCT and combined fused OCT and SAP data provided similar Area under the Receiver Operating Characteristic Curve (AROC) values of 0.978 that were significantly larger (p = 0.047) compared to ANNs using SAP parameters alone (AROC = 0.945). On the other hand, ANNs based on the OCT parameters (AROC = 0.970) did not perform significantly worse than the ANNs based on the fused or combined forms of input data. The use of fused input increased the number of tests that were correctly classified by both SAP and OCT based ANNs.</p> <p>Conclusions</p> <p>Compared to the use of SAP parameters, input from the combination of fused OCT and SAP parameters, and from fused OCT data, significantly increased the performance of ANNs. Integrating parameters by including a priori relevant information through data fusion may improve ANN classification accuracy compared to currently available methods.</p

Retinal Nerve Fiber Layer Features Identified by Unsupervised Machine Learning on Optical Coherence Tomography Scans Predict Glaucoma Progression.

Purpose:To apply computational techniques to wide-angle swept-source optical coherence tomography (SS-OCT) images to identify novel, glaucoma-related structural features and improve detection of glaucoma and prediction of future glaucomatous progression. Methods:Wide-angle SS-OCT, OCT circumpapillary retinal nerve fiber layer (cpRNFL) circle scans spectral-domain (SD)-OCT, standard automated perimetry (SAP), and frequency doubling technology (FDT) visual field tests were completed every 3 months for 2 years from a cohort of 28 healthy participants (56 eyes) and 93 glaucoma participants (179 eyes). RNFL thickness maps were extracted from segmented SS-OCT images and an unsupervised machine learning approach based on principal component analysis (PCA) was used to identify novel structural features. Area under the receiver operating characteristic curve (AUC) was used to assess diagnostic accuracy of RNFL PCA for detecting glaucoma and progression compared to SAP, FDT, and cpRNFL measures. Results:The RNFL PCA features were significantly associated with mean deviation (MD) in both SAP (R2 = 0.49, P &lt; 0.0001) and FDT visual field testing (R2 = 0.48, P &lt; 0.0001), and with mean circumpapillary RNFL thickness (cpRNFLt) from SD-OCT (R2 = 0.58, P &lt; 0.0001). The identified features outperformed each of these measures in detecting glaucoma with an AUC of 0.95 for RNFL PCA compared to an 0.90 for mean cpRNFLt (P = 0.09), 0.86 for SAP MD (P = 0.034), and 0.83 for FDT MD (P = 0.021). Accuracy in predicting progression was also significantly higher for RNFL PCA compared to SAP MD, FDT MD, and mean cpRNFLt (P = 0.046, P = 0.007, and P = 0.044, respectively). Conclusions:A computational approach can identify structural features that improve glaucoma detection and progression prediction

Predicting visual function from the measurements of retinal nerve fiber layer structure

Purpose: To develop and validate a method for predicting visual function from retinal nerve fibre layer (RNFL) structure in glaucoma. Methods: RNFL thickness (RNFLT) measurements from GDxVCC scanning laser polarimetry (SLP) and visual field (VF) sensitivity from standard automated perimetry were made available from 535 eyes from three centres. In a training dataset, structure-function relationships were characterized using linear regression and a type of neural network: Radial Basis Function customised under a Bayesian framework (BRBF). These two models were used in a test dataset to 1) predict sensitivity values at individual VF locations from RNFLT measurements and 2) predict the spatial relationship between VF locations and positions at a peripapillary RNFLT measurement annulus. Predicted spatial relationships were compared with a published anatomical structure-function map. Results: Compared with linear regression, BRBF yielded a nearly two-fold improvement (P<0.001; paired t-test) in performance of predicting VF sensitivity in the test dataset (mean absolute prediction error of 2.9dB (standard deviation (SD) 3.7dB) versus 4.9dB (SD 4.0dB)). The predicted spatial structure-function relationship accorded better (P<0.001; paired t-test) with anatomical prior knowledge when the BRBF was compared with the linear regression (median absolute angular difference of 15° versus 62°). Conclusions: The BRBF generates clinically useful relationships that relate topographical maps of RNFL measurement to VF locations and allows the VF sensitivity to be predicted from structural measurements. This method may allow clinicians to evaluate structural and functional measures in the same domain. It could also be generalized to use other structural measures

Machine Learning Techniques, Detection and Prediction of Glaucoma– A Systematic Review

Globally, glaucoma is the most common factor in both permanent blindness and impairment. However, the majority of patients are unaware they have the condition, and clinical practise continues to face difficulties in detecting glaucoma progression using current technology. An expert ophthalmologist examines the retinal portion of the eye to see how the glaucoma is progressing. This method is quite time-consuming, and doing it manually takes more time. Therefore, using deep learning and machine learning techniques, this problem can be resolved by automatically diagnosing glaucoma. This systematic review involved a comprehensive analysis of various automated glaucoma prediction and detection techniques. More than 100 articles on Machine learning (ML) techniques with understandable graph and tabular column are reviewed considering summery, method, objective, performance, advantages and disadvantages. In the ML techniques such as support vector machine (SVM), and K-means. Fuzzy c-means clustering algorithm are widely used in glaucoma detection and prediction. Through the systematic review, the most accurate technique to detect and predict glaucoma can be determined which can be utilized for future betterment

Simultaneous modelling and clustering of visual field data

This thesis was submitted for the award of Doctor of Philosophy and was awarded by Brunel University LondonIn the health-informatics and bio-medical domains, clinicians produce an enormous amount of data which can be complex and high in dimensionality. This scenario includes visual field data, which are used for managing the second leading cause of blindness in the world: glaucoma. Visual field data are the most common type of data collected to diagnose glaucoma in patients, and usually the data consist of 54 or 76 variables (which are referred to as visual field locations). Due to the large number of variables, the six nerve fiber bundles (6NFB), which is a collection of visual field locations in groups, are the standard clusters used in visual field data to represent the physiological traits of the retina. However, with regard to classification accuracy of the data, this research proposes a technique to find other significant spatial clusters of visual field with higher classification accuracy than the 6NFB. This thesis presents a novel clustering technique, namely, Simultaneous Modelling and Clustering (SMC). SMC performs clustering on data based on classification accuracy using heuristic search techniques. The method searches a collection of significant clusters of visual field locations that indicate visual field loss progression. The aim of this research is two-fold. Firstly, SMC algorithms are developed and tested on data to investigate the effectiveness and efficiency of the method using optimisation and classification methods. Secondly, a significant clustering arrangement of visual field, which highly interrelated visual field locations to represent progression of visual field loss with high classification accuracy, is searched to complement the 6NFB in diagnosis of glaucoma. A new clustering arrangement of visual field locations can be used by medical practitioners together with the 6NFB to complement each other in diagnosis of glaucoma in patients. This research conducts extensive experiment work on both visual field and simulated data to evaluate the proposed method. The results obtained suggest the proposed method appears to be an effective and efficient method in clustering visual field data and 3 improving classification accuracy. The key contributions of this work are the novel model-based clustering of visual field data, effective and efficient algorithms for SMC, practical knowledge of visual field data in the diagnosis of glaucoma and the presentation a generic framework for modelling and clustering which is highly applicable to many other dataset/model combinations

Deep learning-based improvement for the outcomes of glaucoma clinical trials

Glaucoma is the leading cause of irreversible blindness worldwide. It is a progressive optic neuropathy in which retinal ganglion cell (RGC) axon loss, probably as a consequence of damage at the optic disc, causes a loss of vision, predominantly affecting the mid-peripheral visual field (VF). Glaucoma results in a decrease in vision-related quality of life and, therefore, early detection and evaluation of disease progression rates is crucial in order to assess the risk of functional impairment and to establish sound treatment strategies. The aim of my research is to improve glaucoma diagnosis by enhancing state of the art analyses of glaucoma clinical trial outcomes using advanced analytical methods. This knowledge would also help better design and analyse clinical trials, providing evidence for re-evaluating existing medications, facilitating diagnosis and suggesting novel disease management. To facilitate my objective methodology, this thesis provides the following contributions: (i) I developed deep learning-based super-resolution (SR) techniques for optical coherence tomography (OCT) image enhancement and demonstrated that using super-resolved images improves the statistical power of clinical trials, (ii) I developed a deep learning algorithm for segmentation of retinal OCT images, showing that the methodology consistently produces more accurate segmentations than state-of-the-art networks, (iii) I developed a deep learning framework for refining the relationship between structural and functional measurements and demonstrated that the mapping is significantly improved over previous techniques, iv) I developed a probabilistic method and demonstrated that glaucomatous disc haemorrhages are influenced by a possible systemic factor that makes both eyes bleed simultaneously. v) I recalculated VF slopes, using the retinal never fiber layer thickness (RNFLT) from the super-resolved OCT as a Bayesian prior and demonstrated that use of VF rates with the Bayesian prior as the outcome measure leads to a reduction in the sample size required to distinguish treatment arms in a clinical trial

Extending Bayesian network models for mining and classification of glaucoma

This thesis was submitted for the degree of Doctor of Philosophy and awarded by Brunel University.Glaucoma is a degenerative disease that damages the nerve fiber layer in the retina of the eye. Its mechanisms are not fully known and there is no fully-effective strategy to prevent visual impairment and blindness. However, if treatment is carried out at an early stage, it is possible to slow glaucomatous progression and improve the quality of life of sufferers. Despite the great amount of heterogeneous data that has become available for monitoring glaucoma, the performance of tests for early diagnosis are still insufficient, due to the complexity of disease progression and the diffculties in obtaining sufficient measurements. This research aims to assess and extend Bayesian Network (BN) models to investigate the nature of the disease and its progression, as well as improve early diagnosis performance. The exibility of BNs and their ability to integrate with clinician expertise make them a suitable tool to effectively exploit the available data. After presenting the problem, a series of BN models for cross-sectional data classification and integration are assessed; novel techniques are then proposed for classification and modelling of glaucoma progression. The results are validated against literature, direct expert knowledge and other Artificial Intelligence techniques, indicating that BNs and their proposed extensions improve glaucoma diagnosis performance and enable new insights into the disease process

An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Objectivation of Visual Perception

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte