Enhanced visualization of the retinal vasculature using depth information in OCT

This version of the article has been accepted for publication, after peer review and is subject to Springer Nature’s AM terms of use, but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections. The Version of Record is available online at: https://doi.org/10.1007/s11517-017-1660-8[Abstract]: Retinal vessel tree extraction is a crucial step for analyzing the microcirculation, a frequently needed process in the study of relevant diseases. To date, this has normally been done by using 2D image capture paradigms, offering a restricted visualization of the real layout of the retinal vasculature. In this work, we propose a new approach that automatically segments and reconstructs the 3D retinal vessel tree by combining near-infrared reflectance retinography information with Optical Coherence Tomography (OCT) sections. Our proposal identifies the vessels, estimates their calibers, and obtains the depth at all the positions of the entire vessel tree, thereby enabling the reconstruction of the 3D layout of the complete arteriovenous tree for subsequent analysis. The method was tested using 991 OCT images combined with their corresponding near-infrared reflectance retinography. The different stages of the methodology were validated using the opinion of an expert as a reference. The tests offered accurate results, showing coherent reconstructions of the 3D vasculature that can be analyzed in the diagnosis of relevant diseases affecting the retinal microcirculation, such as hypertension or diabetes, among others.This work is supported by the Instituto de Salud Carlos III, Government of Spain and FEDER funds of the European Union through the PI14/02161 and the DTS15/00153 research projects and by the Ministerio de Economía y Competitividad, Government of Spain through the DPI2015-69948-R research project. Also, this work has received financial support from the European Union (European Regional Development Fund - ERDF) and the Xunta de Galicia, Centro singular de investigación de Galicia accreditation 2016-2019, Ref. ED431G/01; and Grupos de Referencia Competitiva, Ref. ED431C 2016-047.Xunta de Galicia; ED431G/01Xunta de Galicia; ED431C 2016-04

Temporal registration of vessels in retinal images

Master'sMASTER OF SCIENC

Meta-image navigation augmenters for GPS denied mountain navigation of small UAS

We present a novel approach to use mountain drainage patterns for GPS-Denied navigation of small unmanned aerial systems (UAS) such as the ScanEagle, utilizing a down-looking fixed focus monocular imager. Our proposal allows extension of missions to GPS-denied mountain areas, with no assumption of human-made geographic objects. We leverage the analogy between mountain drainage patterns, human arteriograms, and human fingerprints, to match local drainage patterns to Graphics Processing Unit (GPU) rendered parallax occlusion maps of geo-registered radar returns (GRRR). Details of our actual GPU algorithm is beyond the subject of this paper, and is planned as a future paper. The matching occurs in real-time, while GRRR data is loaded on-board the aircraft pre-mission, so as not to require a scanning aperture radar during the mission. For recognition purposes, we represent a given mountain area with a set of spatially distributed mountain minutiae, i.e., details found in the drainage patterns, so that conventional minutiae-based fingerprint matching approaches can be used to match real-time camera image against template images in the training set. We use medical arteriography processing techniques to extract the patterns. The minutiae-based representation of mountains is achieved by first exposing mountain ridges and valleys with a series of filters and then extracting mountain minutiae from these ridges/valleys. Our results are experimentally validated on actual terrain data and show the effectiveness of minutiae-based mountain representation method. Furthermore, we study how to select landmarks for UAS navigation based on the proposed mountain representation and give a set of examples to show its feasibility. This research was in part funded by Rockwell Collins Inc

Augmented UAS navigation in GPS denied terrain environments using synthetic vision

GPS is a critical sensor for Unmanned Aircraft Systems (UASs) navigation due to its accu racy, global coverage, and small hardware footprint. However, GPS is subject to interruption or denial due to signal blockage or RF interference. In such a case, position, velocity and altitude (PVA) performance from other inertial and air data sensor is not sufficient for UAS platforms to continue their primary missions, especially for small UASs. Recently, image-based navigation has been developed to address GPS outages for UASs, since most of these platforms already include a camera as standard equipage. This thesis develops a novel, automated UAS navigation augmentation scheme, which utilizes publicly available open source geo-referenced vector map data, in conjunction with real-time optical imagery from on-board monocular camera to augment UAS navigation in GPS denied terrain environments. The main idea is to analyze and use terrain drainage patterns for GPS-denied navigation of small UASs, such as ScanEagle, utilizing a down-looking fixed monocular imager. We leverage the analogy between terrain drainage patterns and human fingerprints, to match local drainage patterns to GPU (Graphics Processing Unit) rendered parallax occlusion maps of geo-registered radar returns (GRRR). The matching occurs in real-time. GRRR is assumed to be loaded on-board the aircraft pre-mission, so as not to require a scanning aperture radar during the mission. Once a successful match is made, using a known lens model a final PVA solution can be obtained from the extrinsic matrix of the camera [1]. Our approach allows extension of UAS missions to GPS denied terrain areas, with no assumption of human-made geographic objects. We study the influence of granularity of terrain drainage patterns on performance of our minutiae-based terrain matching approach. Based on experimental observations, we conclude that our approach delivers a satisfactory performance. We identify the conditions to achieve the desired performance for the input images based on UAS flight altitudes

Automatic system for personal authentication using the retinal vessel tree as biometric pattern

[Resumen] La autenticación fiable de personas es un servicio cuya demanda aumenta en muchos campos, no sólo en entornos policiales o militares sino también en aplicaciones civiles tales como el control de acceso a zonas restringidas o la gestión de transacciones nancieras. Los sistemas de autenticación tradicionales están basados en el conocimiento (una palabra clave o un PIN ) o en la posesión (una tarjeta, o una llave). Dichos sistemas no son su cientemente ables en numerosos entornos, debido a su incapacidad común para diferenciar entre un usuario verdaderamente autorizado y otro que fraudulentamente haya adquirido el privilegio. Una solución para estos problemas se encuentra en las tecnologías de autenticación basadas en biometría. Un sistema biométrico es un sistema de reconocimiento de patrones que establece la autenticidad de los individuos caracterizándolos por medio de alguna característica física o de comportamiento. Existen muchas tecnologías de autenticación, algunas de ellas ya implementadas en paquetes comerciales. Las técnicas biométricas más comunes son la huella digital, probablemente la característica más antigua usada en biometría, iris, cara, geometría de la mano y, en cuanto a las características de comportamiento, reconocimiento de voz y rma. Hoy en día, la mayoría de los esfuerzos en los sistemas biométricos van encaminados al diseño de entornos más xi xii seguros donde sea más difícil, o virtualmente imposible, crear una copia de las propiedades utilizadas en el sistema para discriminar entre usuarios autorizados y no autorizados. En este contexto, el patrón de vasos sanguíneos en la retina se presenta como una característica biométrica relativamente joven pero muy interesante debido a sus propiedades inherentes. La más importante es que se trata de un patrón único para cada individuo. Además, al ser una característica interna es casi imposible crear una copia falsa. Por último, otra propiedad interesante es que el patrón no cambia signi cativamente a lo largo del tiempo excepto en casos de algunas patologías serias y no muy comunes. Por todo ello, el patrón de retina puede ser considerado un rasgo biométrico válido para la autenticación personal ya que es único, invariante en el tiempo y casi imposible de imitar. Por otra parte, el mayor incoveniente en el uso del patrón de vasos de la retina como característica biométrica radica en la etapa de adquisición todav ía percibida por el usuario como invasiva e incómoda. Hoy en día, existen mecanismos para obtener imágenes digitales de manera instantánea a través de cámaras no invasivas pero estos avances requieren a su vez una mayor tolerancia a variaciones en la calidad de la imagen adquirida y, por tanto, métodos computacionales más elaborados que sean capaces de procesar la información en entornos más heterogéneos. En esta tesis se presenta un nuevo sistema de autenticación automático usando el árbol retiniano como característica biométrica. El objetivo es diseñar y desarrollar un patrón biométrico robusto y compacto que sea fácilmente manejable y almacenable en dispositivos móviles de hoy en día como tarjetas con chip. La plantilla biométrica desarrollada a partir del árbol retiniano consiste en sus puntos característicos (bifurcaciones y cruces entre vasos) de forma que no sea necesario el almacenamiento y procesado de todo el árbol para realizar la autenticación

Automatic computation of the arteriovenous ratio and assessment of its effectiveness as a prognostic indicator in hypertension

[Resumen] La retina es la única parte del cuerpo humano en donde se pueden observar los vasos sanguíneos directamente de una forma no invasiva mediante un examen de fondo de ojo. De esta manera, la imagen de la retina mediante las técnicas de procesamiento de imágenes se convirtió en un campo de clave para el diagnóstico precoz de varias enfermedades sistémicas que provocan alteraciones visibles en dicha imagen. Así, alteraciones en el ancho de los vasos retinianos se asocian con patologías tales como diabetes o hipertensión. De hecho, el estrechamiento de las arterias constituye un indicio precoz de la hipertensión arterial sistémica, siendo una característica del grado I de la retinopatía hipertensiva de acuerdo con la clasificación de Keith-Wagener-Barker. En este sentido, se han realizado esfuerzos para desarrollar programas asistidos por ordenador para medir con precisión los cambios en el ancho de los vasos a través del índice arteriovenoso (IAV), es decir, la relación entre los calibres de las arterias y las venas. Sin embargo, aunque estos sistemas se han usado en muchos estudios con fines de investigación, su aplicabilidad en la práctica clínica diaria es todavía discutida. En este trabajo, se propone una nueva metodología para el cálculo del IAV con el fin de estratificar el riesgo cardiovascular de los hipertensos. Por un lado, se ha desarrollado un método completamente automático para estimar el IAV en una imagen de fondo de ojo de un paciente. Por otro lado, se propone un sistema para monitorizar el IAV del paciente a lo largo del tiempo. Para este fin, las mediciones del IAV en las diferentes imágenes adquiridas sobre el mismo ojo del paciente en diferentes fechas se estiman usando el mismo conjunto de vasos medidos en las mismas áreas. Por lo tanto, la mediciones obtenidos de esta manera son comparables y precisas, debido a que son independientes en el conjunto de vasos seleccionados para el cálculo. Las dos técnicas se han integrado en SIRIUS, un sistema web destinado a incluir diferentes servicios en el campo del análisis de la imagen retiniana. El sistema incluye también gestión de pacientes y revisiones, lo que facilita el análisis de las lesiones retinianas causadas por diferentes patologías y su evolución después de un determinado tratamiento. Además al ser una aplicación distribuída a través de la web, proporciona un entorno de colaboración entre diferentes médicos, investigadores y centros.[Resumo] A retina é a única parte do corpo humano onde se poden observar os vasos sanguíneos directamente dunha maneira non invasiva mediante un examen do fondo do ollo. Desta maneira, a imaxe da retina mediante as técnicas de procesamento de imáxenes converteuse nun campo chave para o diagnóstico precoz de varias enfermidades sistémicas que provocan alteracións visibles en dita imaxe. Así, cambios no ancho dos vasos retinianos asócianse con patoloxías tales como a diabetes ou a hipertensión. De feito, o estreitamento das arterias constitúe un indicio prematuro da hipertensión arterial sistémica, sendo unha característica do grado I da retinopatía hipertensiva dacordo coa clasificación de Keith- Wagener-Barker. Neste sentido, fixerónse moitos esforzos para desenvolver programas asistidos por ordenador para medir con precisión os cambios no ancho dos vasos a través do índice arteriovenoso (IAV), é dicir, a relación entre os calibres das arterias e das veas. Nembargantes, aínda que estes sistemas foron usados en moitos estudios con fins investigadores, a sua aplicabilidade na práctica clínica diaria aínda é discutida. Neste traballo, proponse unha nova metodoloxía para o cálculo do IAV co fin de estratificar o risco cardiovascular dos hipertensos. Por un lado, desenvolveuse un método completamente automático para estimar o IAV nunha imaxe de fondo de ollo dun doente. Por outra banda, proponse un sistema para monitorizar o IAV dun doente a lo longo do tempo. Para isto, as medicións do IAV nas diferentes imaxes adquiridas sobre o mesmo ollo do doente en diferentes datas fanse usando o mesmo conxunto de vasos medidos nas mesmas áreas. Polo tanto, as medicións obtidas desta maneira son comparables e precisas, debido a que son independentes do conxunto de vasos seleccionados para o cálculo. As dúas técnicas foron integradas no SIRIUS, un sistema web destinado a incluir diferentes servicios no campo da análise da imaxe retiniana. O sistema inclúe tamén xestión de doentes e revisións, facilitando a análise e estudo das lesións retinianas causadas por diferentes patoloxías e a súa evolución despois dun determinado tratamento. Ademais ao ser unha aplicación distribuída a través da web, proporciona un entorno de colaboración entre diferentes médicos, investigadores e centros.[Abstract] Retina is the only part in the human body where blood vessels can be directly observed in a non-invasive way through an eye fundus examination. In this manner, the retinal imaging assisted by image processing techniques became a key field for the early diagnosis of several systemic diseases which cause visible alterations in the fundus image. Thus, changes in the retinal vessel widths are associated with pathologies such as diabetes or hypertension. In fact, arteriolar narrowing constitutes an early sign of systemic hypertension, being a feature for the grade I of hypertension retinopathy according to Keith-Wagener-Barker classification. In this sense, some efforts have been made to develop computer-assisted programs to measure accurately abnormalities in the vessel widths through the arteriovenous ratio (AVR), that is, the relation between arteriolar and venular vessel widths. However, although these systems have been used in many studies for research purposes, their applicability to daily clinical practice is yet discussed. In this work, a new methodology for the AVR computation is proposed in order to stratify the cardiovascular risk of hypertension. On one hand, a fully automatic method to estimate the AVR in a sample patient's image is developed. On the other hand, an AVR monitoring system to compute the patient's AVR over time was implemented. To this end, the AVR measurements computed in the different patient's images acquired from the same eye at different dates, uses the same set of vessels measured at the same areas. Thus, the measurements achieved in this manner are comparable and precise due to they are independent on the set of vessels selected for the calculus. The two approaches have been integrated in SIRIUS, a web-based system aimed to include different services in the field of retinal image analysis. It includes patient and checkup management, making easier to analyze the retinal lesions caused by different pathologies and their evolution after a specific treatment. Moreover, being a application distributed via the web, it provides a collaborative environment among different physicians, researchers and medical centers

Computational assessment of the retinal vascular tortuosity integrating domain-related information

[Abstract] The retinal vascular tortuosity presents a valuable potential as a clinical biomarker of many relevant vascular and systemic diseases. Commonly, the existent approaches face the tortuosity quantification by means of fully mathematical representations of the vessel segments. However, the specialists, based on their diagnostic experience, commonly analyze additional domain-related information that is not represented in these mathematical metrics of reference. In this work, we propose a novel computational tortuosity metric that outperforms the mathematical metrics of reference also incorporating anatomical properties of the fundus image such as the distinction between arteries and veins, the distance to the optic disc, the distance to the fovea, and the vessel caliber. The evaluation of its prognostic performance shows that the integration of the anatomical factors provides an accurate tortuosity assessment that is more adjusted to the specialists’ perception.Instituto de Salud Carlos II; DTS18/00136Ministerio de Ciencia, Innovación y Universidades; DPI2015-69948-RMinisterio de Ciencia, Innovación y Universidades; RTI2018-095894-B-I00Xunta de Galicia; ED431G/01Xunta de Galicia; ED431C 2016-04