Automated quantification of retinal vessel morphometry in the UK Biobank Cohort

The following topics are dealt with: feature extraction; learning (artificial intelligence); image classification; image segmentation; computer vision; object detection; feedforward neural nets; image colour analysis; image representation; medical image processing

Automatic computation of the arteriovenous ratio and assessment of its effectiveness as a prognostic indicator in hypertension

[Resumen] La retina es la única parte del cuerpo humano en donde se pueden observar los vasos sanguíneos directamente de una forma no invasiva mediante un examen de fondo de ojo. De esta manera, la imagen de la retina mediante las técnicas de procesamiento de imágenes se convirtió en un campo de clave para el diagnóstico precoz de varias enfermedades sistémicas que provocan alteraciones visibles en dicha imagen. Así, alteraciones en el ancho de los vasos retinianos se asocian con patologías tales como diabetes o hipertensión. De hecho, el estrechamiento de las arterias constituye un indicio precoz de la hipertensión arterial sistémica, siendo una característica del grado I de la retinopatía hipertensiva de acuerdo con la clasificación de Keith-Wagener-Barker. En este sentido, se han realizado esfuerzos para desarrollar programas asistidos por ordenador para medir con precisión los cambios en el ancho de los vasos a través del índice arteriovenoso (IAV), es decir, la relación entre los calibres de las arterias y las venas. Sin embargo, aunque estos sistemas se han usado en muchos estudios con fines de investigación, su aplicabilidad en la práctica clínica diaria es todavía discutida. En este trabajo, se propone una nueva metodología para el cálculo del IAV con el fin de estratificar el riesgo cardiovascular de los hipertensos. Por un lado, se ha desarrollado un método completamente automático para estimar el IAV en una imagen de fondo de ojo de un paciente. Por otro lado, se propone un sistema para monitorizar el IAV del paciente a lo largo del tiempo. Para este fin, las mediciones del IAV en las diferentes imágenes adquiridas sobre el mismo ojo del paciente en diferentes fechas se estiman usando el mismo conjunto de vasos medidos en las mismas áreas. Por lo tanto, la mediciones obtenidos de esta manera son comparables y precisas, debido a que son independientes en el conjunto de vasos seleccionados para el cálculo. Las dos técnicas se han integrado en SIRIUS, un sistema web destinado a incluir diferentes servicios en el campo del análisis de la imagen retiniana. El sistema incluye también gestión de pacientes y revisiones, lo que facilita el análisis de las lesiones retinianas causadas por diferentes patologías y su evolución después de un determinado tratamiento. Además al ser una aplicación distribuída a través de la web, proporciona un entorno de colaboración entre diferentes médicos, investigadores y centros.[Resumo] A retina é a única parte do corpo humano onde se poden observar os vasos sanguíneos directamente dunha maneira non invasiva mediante un examen do fondo do ollo. Desta maneira, a imaxe da retina mediante as técnicas de procesamento de imáxenes converteuse nun campo chave para o diagnóstico precoz de varias enfermidades sistémicas que provocan alteracións visibles en dita imaxe. Así, cambios no ancho dos vasos retinianos asócianse con patoloxías tales como a diabetes ou a hipertensión. De feito, o estreitamento das arterias constitúe un indicio prematuro da hipertensión arterial sistémica, sendo unha característica do grado I da retinopatía hipertensiva dacordo coa clasificación de Keith- Wagener-Barker. Neste sentido, fixerónse moitos esforzos para desenvolver programas asistidos por ordenador para medir con precisión os cambios no ancho dos vasos a través do índice arteriovenoso (IAV), é dicir, a relación entre os calibres das arterias e das veas. Nembargantes, aínda que estes sistemas foron usados en moitos estudios con fins investigadores, a sua aplicabilidade na práctica clínica diaria aínda é discutida. Neste traballo, proponse unha nova metodoloxía para o cálculo do IAV co fin de estratificar o risco cardiovascular dos hipertensos. Por un lado, desenvolveuse un método completamente automático para estimar o IAV nunha imaxe de fondo de ollo dun doente. Por outra banda, proponse un sistema para monitorizar o IAV dun doente a lo longo do tempo. Para isto, as medicións do IAV nas diferentes imaxes adquiridas sobre o mesmo ollo do doente en diferentes datas fanse usando o mesmo conxunto de vasos medidos nas mesmas áreas. Polo tanto, as medicións obtidas desta maneira son comparables e precisas, debido a que son independentes do conxunto de vasos seleccionados para o cálculo. As dúas técnicas foron integradas no SIRIUS, un sistema web destinado a incluir diferentes servicios no campo da análise da imaxe retiniana. O sistema inclúe tamén xestión de doentes e revisións, facilitando a análise e estudo das lesións retinianas causadas por diferentes patoloxías e a súa evolución despois dun determinado tratamento. Ademais ao ser unha aplicación distribuída a través da web, proporciona un entorno de colaboración entre diferentes médicos, investigadores e centros.[Abstract] Retina is the only part in the human body where blood vessels can be directly observed in a non-invasive way through an eye fundus examination. In this manner, the retinal imaging assisted by image processing techniques became a key field for the early diagnosis of several systemic diseases which cause visible alterations in the fundus image. Thus, changes in the retinal vessel widths are associated with pathologies such as diabetes or hypertension. In fact, arteriolar narrowing constitutes an early sign of systemic hypertension, being a feature for the grade I of hypertension retinopathy according to Keith-Wagener-Barker classification. In this sense, some efforts have been made to develop computer-assisted programs to measure accurately abnormalities in the vessel widths through the arteriovenous ratio (AVR), that is, the relation between arteriolar and venular vessel widths. However, although these systems have been used in many studies for research purposes, their applicability to daily clinical practice is yet discussed. In this work, a new methodology for the AVR computation is proposed in order to stratify the cardiovascular risk of hypertension. On one hand, a fully automatic method to estimate the AVR in a sample patient's image is developed. On the other hand, an AVR monitoring system to compute the patient's AVR over time was implemented. To this end, the AVR measurements computed in the different patient's images acquired from the same eye at different dates, uses the same set of vessels measured at the same areas. Thus, the measurements achieved in this manner are comparable and precise due to they are independent on the set of vessels selected for the calculus. The two approaches have been integrated in SIRIUS, a web-based system aimed to include different services in the field of retinal image analysis. It includes patient and checkup management, making easier to analyze the retinal lesions caused by different pathologies and their evolution after a specific treatment. Moreover, being a application distributed via the web, it provides a collaborative environment among different physicians, researchers and medical centers

Computational assessment of the retinal vascular tortuosity integrating domain-related information

[Abstract] The retinal vascular tortuosity presents a valuable potential as a clinical biomarker of many relevant vascular and systemic diseases. Commonly, the existent approaches face the tortuosity quantification by means of fully mathematical representations of the vessel segments. However, the specialists, based on their diagnostic experience, commonly analyze additional domain-related information that is not represented in these mathematical metrics of reference. In this work, we propose a novel computational tortuosity metric that outperforms the mathematical metrics of reference also incorporating anatomical properties of the fundus image such as the distinction between arteries and veins, the distance to the optic disc, the distance to the fovea, and the vessel caliber. The evaluation of its prognostic performance shows that the integration of the anatomical factors provides an accurate tortuosity assessment that is more adjusted to the specialists’ perception.Instituto de Salud Carlos II; DTS18/00136Ministerio de Ciencia, Innovación y Universidades; DPI2015-69948-RMinisterio de Ciencia, Innovación y Universidades; RTI2018-095894-B-I00Xunta de Galicia; ED431G/01Xunta de Galicia; ED431C 2016-04

Assessment of the repeatability in an automatic methodology for hyperemia grading in the bulbar conjunctiva

When the vessels of the bulbar conjunctiva get congested with blood, a characteristic red hue appears in the area. This symptom is known as hyperemia, and can be an early indicator of certain pathologies. Therefore, a prompt diagnosis is desirable in order to minimize both medical and economic repercussions. A fully automatic methodology for hyperemia grading in the bulbar conjunctiva was developed, by means of image processing and machine learning techniques. As there is a wide range of illumination, contrast, and focus issues in the images that specialists use to perform the grading, a repeatability analysis is necessary. Thus, the validation of each step of the methodology was performed, analyzing how variations in the images are translated to the results, and comparing them to the optometrist's measurements. Our results prove the robustness of our methodology to various conditions. Moreover, the differences in the automatic outputs are similar to the optometrist's ones

Fundus image analysis for automatic screening of ophthalmic pathologies

En los ultimos años el número de casos de ceguera se ha reducido significativamente. A pesar de este hecho, la Organización Mundial de la Salud estima que un 80% de los casos de pérdida de visión (285 millones en 2010) pueden ser evitados si se diagnostican en sus estadios más tempranos y son tratados de forma efectiva. Para cumplir esta propuesta se pretende que los servicios de atención primaria incluyan un seguimiento oftalmológico de sus pacientes así como fomentar campañas de cribado en centros proclives a reunir personas de alto riesgo. Sin embargo, estas soluciones exigen una alta carga de trabajo de personal experto entrenado en el análisis de los patrones anómalos propios de cada enfermedad. Por lo tanto, el desarrollo de algoritmos para la creación de sistemas de cribado automáticos juga un papel vital en este campo. La presente tesis persigue la identificacion automática del daño retiniano provocado por dos de las patologías más comunes en la sociedad actual: la retinopatía diabética (RD) y la degenaración macular asociada a la edad (DMAE). Concretamente, el objetivo final de este trabajo es el desarrollo de métodos novedosos basados en la extracción de características de la imagen de fondo de ojo y clasificación para discernir entre tejido sano y patológico. Además, en este documento se proponen algoritmos de pre-procesado con el objetivo de normalizar la alta variabilidad existente en las bases de datos publicas de imagen de fondo de ojo y eliminar la contribución de ciertas estructuras retinianas que afectan negativamente en la detección del daño retiniano. A diferencia de la mayoría de los trabajos existentes en el estado del arte sobre detección de patologías en imagen de fondo de ojo, los métodos propuestos a lo largo de este manuscrito evitan la necesidad de segmentación de las lesiones o la generación de un mapa de candidatos antes de la fase de clasificación. En este trabajo, Local binary patterns, perfiles granulométricos y la dimensión fractal se aplican de manera local para extraer información de textura, morfología y tortuosidad de la imagen de fondo de ojo. Posteriormente, esta información se combina de diversos modos formando vectores de características con los que se entrenan avanzados métodos de clasificación formulados para discriminar de manera óptima entre exudados, microaneurismas, hemorragias y tejido sano. Mediante diversos experimentos, se valida la habilidad del sistema propuesto para identificar los signos más comunes de la RD y DMAE. Para ello se emplean bases de datos públicas con un alto grado de variabilidad sin exlcuir ninguna imagen. Además, la presente tesis también cubre aspectos básicos del paradigma de deep learning. Concretamente, se presenta un novedoso método basado en redes neuronales convolucionales (CNNs). La técnica de transferencia de conocimiento se aplica mediante el fine-tuning de las arquitecturas de CNNs más importantes en el estado del arte. La detección y localización de exudados mediante redes neuronales se lleva a cabo en los dos últimos experimentos de esta tesis doctoral. Cabe destacar que los resultados obtenidos mediante la extracción de características "manual" y posterior clasificación se comparan de forma objetiva con las predicciones obtenidas por el mejor modelo basado en CNNs. Los prometedores resultados obtenidos en esta tesis y el bajo coste y portabilidad de las cámaras de adquisión de imagen de retina podrían facilitar la incorporación de los algoritmos desarrollados en este trabajo en un sistema de cribado automático que ayude a los especialistas en la detección de patrones anomálos característicos de las dos enfermedades bajo estudio: RD y DMAE.In last years, the number of blindness cases has been significantly reduced. Despite this promising news, the World Health Organisation estimates that 80% of visual impairment (285 million cases in 2010) could be avoided if diagnosed and treated early. To accomplish this purpose, eye care services need to be established in primary health and screening campaigns should be a common task in centres with people at risk. However, these solutions entail a high workload for trained experts in the analysis of the anomalous patterns of each eye disease. Therefore, the development of algorithms for automatic screening system plays a vital role in this field. This thesis focuses on the automatic identification of the retinal damage provoked by two of the most common pathologies in the current society: diabetic retinopathy (DR) and age-related macular degeneration (AMD). Specifically, the final goal of this work is to develop novel methods, based on fundus image description and classification, to characterise the healthy and abnormal tissue in the retina background. In addition, pre-processing algorithms are proposed with the aim of normalising the high variability of fundus images and removing the contribution of some retinal structures that could hinder in the retinal damage detection. In contrast to the most of the state-of-the-art works in damage detection using fundus images, the methods proposed throughout this manuscript avoid the necessity of lesion segmentation or the candidate map generation before the classification stage. Local binary patterns, granulometric profiles and fractal dimension are locally computed to extract texture, morphological and roughness information from retinal images. Different combinations of this information feed advanced classification algorithms formulated to optimally discriminate exudates, microaneurysms, haemorrhages and healthy tissues. Through several experiments, the ability of the proposed system to identify DR and AMD signs is validated using different public databases with a large degree of variability and without image exclusion. Moreover, this thesis covers the basics of the deep learning paradigm. In particular, a novel approach based on convolutional neural networks is explored. The transfer learning technique is applied to fine-tune the most important state-of-the-art CNN architectures. Exudate detection and localisation tasks using neural networks are carried out in the last two experiments of this thesis. An objective comparison between the hand-crafted feature extraction and classification process and the prediction models based on CNNs is established. The promising results of this PhD thesis and the affordable cost and portability of retinal cameras could facilitate the further incorporation of the developed algorithms in a computer-aided diagnosis (CAD) system to help specialists in the accurate detection of anomalous patterns characteristic of the two diseases under study: DR and AMD.En els últims anys el nombre de casos de ceguera s'ha reduït significativament. A pesar d'este fet, l'Organització Mundial de la Salut estima que un 80% dels casos de pèrdua de visió (285 milions en 2010) poden ser evitats si es diagnostiquen en els seus estadis més primerencs i són tractats de forma efectiva. Per a complir esta proposta es pretén que els servicis d'atenció primària incloguen un seguiment oftalmològic dels seus pacients així com fomentar campanyes de garbellament en centres regentats per persones d'alt risc. No obstant això, estes solucions exigixen una alta càrrega de treball de personal expert entrenat en l'anàlisi dels patrons anòmals propis de cada malaltia. Per tant, el desenrotllament d'algoritmes per a la creació de sistemes de garbellament automàtics juga un paper vital en este camp. La present tesi perseguix la identificació automàtica del dany retiniano provocat per dos de les patologies més comunes en la societat actual: la retinopatia diabètica (RD) i la degenaración macular associada a l'edat (DMAE) . Concretament, l'objectiu final d'este treball és el desenrotllament de mètodes novedodos basats en l'extracció de característiques de la imatge de fons d'ull i classificació per a discernir entre teixit sa i patològic. A més, en este document es proposen algoritmes de pre- processat amb l'objectiu de normalitzar l'alta variabilitat existent en les bases de dades publiques d'imatge de fons d'ull i eliminar la contribució de certes estructures retinianas que afecten negativament en la detecció del dany retiniano. A diferència de la majoria dels treballs existents en l'estat de l'art sobre detecció de patologies en imatge de fons d'ull, els mètodes proposats al llarg d'este manuscrit eviten la necessitat de segmentació de les lesions o la generació d'un mapa de candidats abans de la fase de classificació. En este treball, Local binary patterns, perfils granulometrics i la dimensió fractal s'apliquen de manera local per a extraure informació de textura, morfologia i tortuositat de la imatge de fons d'ull. Posteriorment, esta informació es combina de diversos modes formant vectors de característiques amb els que s'entrenen avançats mètodes de classificació formulats per a discriminar de manera òptima entre exsudats, microaneurismes, hemorràgies i teixit sa. Per mitjà de diversos experiments, es valida l'habilitat del sistema proposat per a identificar els signes més comuns de la RD i DMAE. Per a això s'empren bases de dades públiques amb un alt grau de variabilitat sense exlcuir cap imatge. A més, la present tesi també cobrix aspectes bàsics del paradigma de deep learning. Concretament, es presenta un nou mètode basat en xarxes neuronals convolucionales (CNNs) . La tècnica de transferencia de coneixement s'aplica per mitjà del fine-tuning de les arquitectures de CNNs més importants en l'estat de l'art. La detecció i localització d'exudats per mitjà de xarxes neuronals es du a terme en els dos últims experiments d'esta tesi doctoral. Cal destacar que els resultats obtinguts per mitjà de l'extracció de característiques "manual" i posterior classificació es comparen de forma objectiva amb les prediccions obtingudes pel millor model basat en CNNs. Els prometedors resultats obtinguts en esta tesi i el baix cost i portabilitat de les cambres d'adquisión d'imatge de retina podrien facilitar la incorporació dels algoritmes desenrotllats en este treball en un sistema de garbellament automàtic que ajude als especialistes en la detecció de patrons anomálos característics de les dos malalties baix estudi: RD i DMAE.Colomer Granero, A. (2018). Fundus image analysis for automatic screening of ophthalmic pathologies [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/99745TESI

Structural integrity of aortic scaffolds decellularized by sonication decellularization system

Sonication decellularization technique has shown effectiveness to remove all the cellular components by the disruption of the cell membranes and removal of the cell debris to prepare the bioscaffolds. However, it is important to confirm whether this technique does not have a detrimental effect on elastin and collagen in bioscaffolds. The objectives of this study are to evaluate the structural integrity of bioscaffolds using histological staining and quantitatively collagen and elastin measurement. Aortic tissues were sonicated in 0.1% SDS for 10 hours at the frequency of 170 kHz with the power output of 15W and washed in Phosphate Buffer Solution (PBS) for 5 days. Then the sonicated aortic tissues were evaluated by Hematoxylin & Eosin (H&E) staining for cell removal analysis, Verhoeff-van Gieson (VVG) staining for visualizing elastin and Picrosirius Red (PSR) staining for visualizing collagen. The collagen and elastic fibres were semi-quantified by ImageJ software. The results showed that sonication decellularization system can remove all the cellular components while maintaining the structural integrity of elastin and collagen on bioscaffolds. This study indicates that sonication decellularization system could remove all cellular components and maintain the structure of the extracellular matrix

Retinal Vascular Measurement Tools for Diagnostic Feature Extraction

The contributions of this work are in the development of new and state of the art algorithms for retinal image analysis including optic disc detection, tortuosity estimation, and cross-over abnormality detection. The retina is one of the only areas of the human body that blood vessels can be visualized noninvasively. Retinal imaging has become a standard in the ophthalmologist’s office because it is an easy and inexpensive way to monitor not just eye health, but also systemic vascular diseases. Changes to the retinal vasculature can be the early signs of diseases such as diabetic and hypertensive retinopathy, of which early detection can save vision, money, and improve overall health for the patient. When looking at the retinal vasculature, ophthalmologists generally rely on a qualitative assessment which can make comparisons over time or between different ophthalmologists difficult. Computer aided systems are now able to quantify what the ophthalmologist is qualitatively measuring in what they consider to be the most important features of the vasculature. These include, but are not limited to, tortuosity, arteriolar narrowing, cross-over abnormalities, and artery-vein (AV) ratio. The University of Padova has created a semi-automatic system for detecting and quantifying retinal vessels starting from optic disc detection, vessel segmentation, width estimation, tortuosity calculation, AV classification, and AV ratio. We propose a new method for optic disc detection that converts the retinal image into a graph and exploits vessel enhancement methods to calculate edge weights in finding the shortest path between pairs of points on the periphery of the image. The line segment with the maximum number of shortest paths is considered the optic disc location. The method was tested on three publicly available datasets: DRIVE, DIARETDB1, and Messidor consisting of 40, 89, and 1200 images and achieved an accuracy of 100, 98.88, and 99.42% respectively. The second contribution is a new algorithm for calculating abnormalities at AV crossing points. In retinal images, Gunn’s sign appears as a tapering of the vein at a crossing point, while Salus’s sign presents as an S-shaped curving. This work presents a method for the automatic quantification of these two signs once a crossover has been detected; combining segmentation, artery vein classification, and morphological feature extraction techniques to calculate vein widths and angles entering and exiting the crossover. Results on two datasets show separation between the two classes and that we can reliably detect and quantify these signs under the right conditions. The last contribution in tortuosity consists of two parts. A comparative study was performed on several of the most popular methods for tortuosity estimation on a new vessel dataset. Results show that several methods have good Cohen’s kappa agreement with both graders, while the tortuosity density metric has the highest single metric average agreement across vessel type and grader. The second is a new way to enhance curvature in segmented vessels based on a difference of Gabor filters to create a curvature enhanced image. The proposed method was tested on the RET-TORT database using several methods to calculate tortuosity, and had best Pearson’s correlation of .94 for arteries and .882 for veins, outperforming single mathematical formulations on the data. This held true after testing the method on the propose dataset as well, having higher correlation values across grader and vessel type compared with other tortuosity metrics. Summary of Results: The optic disc detection method was tested on three publicly available datasets: DRIVE, DIARETDB1, and Messidor consisting of 40, 89, and 1200 images and achieved an accuracy of 100, 98.88, and 99.42% respectively. The AV nicking quantification method was tested on a small dataset of 10 crossing provided by doctors at Papageorgiou Hospital, Aristotle University of Thessaloniki, Thessaloniki, Greece. Results showed separation between the normal and abnormal classes for both the Gunn and Salus sign. The method was then tested on a larger, publicly available dataset which showed good separation for the Gunn sign. The proposed tortuosity method was tested on the RET-TORT database using several methods to calculate tortuosity, and had best Pearson’s correlation of .94 for arteries and .882 for veins, outperforming single mathematical formulations on the data. It was then tested on the dataset proposed in this thesis, further corroborating the effectiveness of the method