A Colour Wheel to Rule them All: Analysing Colour & Geometry in Medical Microscopy

Personalized medicine is a rapidly growing field in healthcare that aims to customize medical treatments and preventive measures based on each patient’s unique characteristics, such as their genes, environment, and lifestyle factors. This approach acknowledges that people with the same medical condition may respond differently to therapies and seeks to optimize patient outcomes while minimizing the risk of adverse effects. To achieve these goals, personalized medicine relies on advanced technologies, such as genomics, proteomics, metabolomics, and medical imaging. Digital histopathology, a crucial aspect of medical imaging, provides clinicians with valuable insights into tissue structure and function at the cellular and molecular levels. By analyzing small tissue samples obtained through minimally invasive techniques, such as biopsy or aspirate, doctors can gather extensive data to evaluate potential diagnoses and clinical decisions. However, digital analysis of histology images presents unique challenges, including the loss of 3D information and stain variability, which is further complicated by sample variability. Limited access to data exacerbates these challenges, making it difficult to develop accurate computational models for research and clinical use in digital histology. Deep learning (DL) algorithms have shown significant potential for improving the accuracy of Computer-Aided Diagnosis (CAD) and personalized treatment models, particularly in medical microscopy. However, factors such as limited generability, lack of interpretability, and bias sometimes hinder their clinical impact. Furthermore, the inherent variability of histology images complicates the development of robust DL methods. Thus, this thesis focuses on developing new tools to address these issues. Our essential objective is to create transparent, accessible, and efficient methods based on classical principles from various disciplines, including histology, medical imaging, mathematics, and art, to tackle microscopy image registration and colour analysis successfully. These methods can contribute significantly to the advancement of personalized medicine, particularly in studying the tumour microenvironment for diagnosis and therapy research. First, we introduce a novel automatic method for colour analysis and non-rigid histology registration, enabling the study of heterogeneity morphology in tumour biopsies. This method achieves accurate tissue cut registration, drastically reducing landmark distance and excellent border overlap. Second, we introduce ABANICCO, a novel colour analysis method that combines geometric analysis, colour theory, fuzzy colour spaces, and multi-label systems for automatically classifying pixels into a set of conventional colour categories. ABANICCO outperforms benchmark methods in accuracy and simplicity. It is computationally straightforward, making it useful in scenarios involving changing objects, limited data, unclear boundaries, or when users lack prior knowledge of the image or colour theory. Moreover, results can be modified to match each particular task. Third, we apply the acquired knowledge to create a novel pipeline of rigid histology registration and ABANICCO colour analysis for the in-depth study of triple-negative breast cancer biopsies. The resulting heterogeneity map and tumour score provide valuable insights into the composition and behaviour of the tumour, informing clinical decision-making and guiding treatment strategies. Finally, we consolidate the developed ideas into an efficient pipeline for tissue reconstruction and multi-modality data integration on Tuberculosis infection data. This enables accurate element distribution analysis to understand better interactions between bacteria, host cells, and the immune system during the course of infection. The methods proposed in this thesis represent a transparent approach to computational pathology, addressing the needs of medical microscopy registration and colour analysis while bridging the gap between clinical practice and computational research. Moreover, our contributions can help develop and train better, more robust DL methods.En una época en la que la medicina personalizada está revolucionando la asistencia sanitaria, cada vez es más importante adaptar los tratamientos y las medidas preventivas a la composición genética, el entorno y el estilo de vida de cada paciente. Mediante el empleo de tecnologías avanzadas, como la genómica, la proteómica, la metabolómica y la imagen médica, la medicina personalizada se esfuerza por racionalizar el tratamiento para mejorar los resultados y reducir los efectos secundarios. La microscopía médica, un aspecto crucial de la medicina personalizada, permite a los médicos recopilar y analizar grandes cantidades de datos a partir de pequeñas muestras de tejido. Esto es especialmente relevante en oncología, donde las terapias contra el cáncer se pueden optimizar en función de la apariencia tisular específica de cada tumor. La patología computacional, un subcampo de la visión por ordenador, trata de crear algoritmos para el análisis digital de biopsias. Sin embargo, antes de que un ordenador pueda analizar imágenes de microscopía médica, hay que seguir varios pasos para conseguir las imágenes de las muestras. La primera etapa consiste en recoger y preparar una muestra de tejido del paciente. Para que esta pueda observarse fácilmente al microscopio, se corta en secciones ultrafinas. Sin embargo, este delicado procedimiento no está exento de dificultades. Los frágiles tejidos pueden distorsionarse, desgarrarse o agujerearse, poniendo en peligro la integridad general de la muestra. Una vez que el tejido está debidamente preparado, suele tratarse con tintes de colores característicos. Estos tintes acentúan diferentes tipos de células y tejidos con colores específicos, lo que facilita a los profesionales médicos la identificación de características particulares. Sin embargo, esta mejora en visualización tiene un alto coste. En ocasiones, los tintes pueden dificultar el análisis informático de las imágenes al mezclarse de forma inadecuada, traspasarse al fondo o alterar el contraste entre los distintos elementos. El último paso del proceso consiste en digitalizar la muestra. Se toman imágenes de alta resolución del tejido con distintos aumentos, lo que permite su análisis por ordenador. Esta etapa también tiene sus obstáculos. Factores como una calibración incorrecta de la cámara o unas condiciones de iluminación inadecuadas pueden distorsionar o hacer borrosas las imágenes. Además, las imágenes de porta completo obtenidas so de tamaño considerable, complicando aún más el análisis. En general, si bien la preparación, la tinción y la digitalización de las muestras de microscopía médica son fundamentales para el análisis digital, cada uno de estos pasos puede introducir retos adicionales que deben abordarse para garantizar un análisis preciso. Además, convertir un volumen de tejido completo en unas pocas secciones teñidas reduce drásticamente la información 3D disponible e introduce una gran incertidumbre. Las soluciones de aprendizaje profundo (deep learning, DL) son muy prometedoras en el ámbito de la medicina personalizada, pero su impacto clínico a veces se ve obstaculizado por factores como la limitada generalizabilidad, el sobreajuste, la opacidad y la falta de interpretabilidad, además de las preocupaciones éticas y en algunos casos, los incentivos privados. Por otro lado, la variabilidad de las imágenes histológicas complica el desarrollo de métodos robustos de DL. Para superar estos retos, esta tesis presenta una serie de métodos altamente robustos e interpretables basados en principios clásicos de histología, imagen médica, matemáticas y arte, para alinear secciones de microscopía y analizar sus colores. Nuestra primera contribución es ABANICCO, un innovador método de análisis de color que ofrece una segmentación de colores objectiva y no supervisada y permite su posterior refinamiento mediante herramientas fáciles de usar. Se ha demostrado que la precisión y la eficacia de ABANICCO son superiores a las de los métodos existentes de clasificación y segmentación del color, e incluso destaca en la detección y segmentación de objetos completos. ABANICCO puede aplicarse a imágenes de microscopía para detectar áreas teñidas para la cuantificación de biopsias, un aspecto crucial de la investigación de cáncer. La segunda contribución es un método automático y no supervisado de segmentación de tejidos que identifica y elimina el fondo y los artefactos de las imágenes de microscopía, mejorando así el rendimiento de técnicas más sofisticadas de análisis de imagen. Este método es robusto frente a diversas imágenes, tinciones y protocolos de adquisición, y no requiere entrenamiento. La tercera contribución consiste en el desarrollo de métodos novedosos para registrar imágenes histopatológicas de forma eficaz, logrando el equilibrio adecuado entre un registro preciso y la preservación de la morfología local, en función de la aplicación prevista. Como cuarta contribución, los tres métodos mencionados se combinan para crear procedimientos eficientes para la integración completa de datos volumétricos, creando visualizaciones altamente interpretables de toda la información presente en secciones consecutivas de biopsia de tejidos. Esta integración de datos puede tener una gran repercusión en el diagnóstico y el tratamiento de diversas enfermedades, en particular el cáncer de mama, al permitir la detección precoz, la realización de pruebas clínicas precisas, la selección eficaz de tratamientos y la mejora en la comunicación el compromiso con los pacientes. Por último, aplicamos nuestros hallazgos a la integración multimodal de datos y la reconstrucción de tejidos para el análisis preciso de la distribución de elementos químicos en tuberculosis, lo que arroja luz sobre las complejas interacciones entre las bacterias, las células huésped y el sistema inmunitario durante la infección tuberculosa. Este método también aborda problemas como el daño por adquisición, típico de muchas modalidades de imagen. En resumen, esta tesis muestra la aplicación de métodos clásicos de visión por ordenador en el registro de microscopía médica y el análisis de color para abordar los retos únicos de este campo, haciendo hincapié en la visualización eficaz y fácil de datos complejos. Aspiramos a seguir perfeccionando nuestro trabajo con una amplia validación técnica y un mejor análisis de los datos. Los métodos presentados en esta tesis se caracterizan por su claridad, accesibilidad, visualización eficaz de los datos, objetividad y transparencia. Estas características los hacen perfectos para tender puentes robustos entre los investigadores de inteligencia artificial y los clínicos e impulsar así la patología computacional en la práctica y la investigación médicas.Programa de Doctorado en Ciencia y Tecnología Biomédica por la Universidad Carlos III de MadridPresidenta: María Jesús Ledesma Carbayo.- Secretario: Gonzalo Ricardo Ríos Muñoz.- Vocal: Estíbaliz Gómez de Marisca

Mirror mirror on the wall... an unobtrusive intelligent multisensory mirror for well-being status self-assessment and visualization

A person’s well-being status is reflected by their face through a combination of facial expressions and physical signs. The SEMEOTICONS project translates the semeiotic code of the human face into measurements and computational descriptors that are automatically extracted from images, videos and 3D scans of the face. SEMEOTICONS developed a multisensory platform in the form of a smart mirror to identify signs related to cardio-metabolic risk. The aim was to enable users to self-monitor their well-being status over time and guide them to improve their lifestyle. Significant scientific and technological challenges have been addressed to build the multisensory mirror, from touchless data acquisition, to real-time processing and integration of multimodal data

Computer aided method for 3D assessment of the lower limb alignment for orthopedic surgery planning

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2017Os membros inferiores são responsáveis por fornecer suporte à totalidade do corpo humano e são essenciais nas mais variadas tarefas como estar de pé, andar e correr. Por vezes, e devido a diversos motivos, podem existir defeitos ou deformações nos membros inferiores que têm um impacto direto na qualidade de vida de uma pessoa, quer por se ver afetado o lado estético pessoal ou por condicionar significativamente a mobilidade. Uma característica da estrutura do membro inferior que é diretamente afetada por estas deformações é o seu alinhamento, isto é, a posição relativa dos ossos e articulações que compõem o membro. Graças à evolução da medicina moderna, corrigir estas deformações é agora uma prática bastante comum no campo da cirurgia ortopédica. No entanto, antes de qualquer cirurgia corretiva e até de qualquer planeamento que esta exija, a deformação tem de ser corretamente analisada, o que é feito através da chamada avaliação do alinhamento do membro inferior. Atualmente, num contexto clínico, esta avaliação é feita manualmente num espaço de trabalho bi-dimensional, normalmente utilizando apenas imagens de raios-X da perna inteira no plano anatómico frontal. Uma revisão ao estado da arte no que toca a métodos de planeamento cirúrgico dedicados ao membro inferior permite concluir que de facto existe software capaz de realizar este planeamento, mas que, no entanto, para além de terem custos elevadíssimos associados, nenhum utilizada modelos 3D como fonte de informação, o que traria imensos benefícios, especialmente ao nível da informação acerca da rotação e da inclinação dos ossos. Existem no entanto algum software a um nível mais experimental que utiliza modelos 3D para realizar a avaliação do alinhamento do membro inferior, sendo que nenhum deles passou ainda a estar disponível comercialmente. Numa perspetiva de implementar um método automático baseado em computador para realizar o planeamento pré-cirurgico da cirurgia de correção para ser utilizado em contexto clínico, foi proposto um projeto para o desenvolvimento de um novo software capaz de efetuar a avaliação do alinhamento do membro inferior em modelos 3D dos doentes. O projeto foi dividido em quatro etapas distintas que se desenrolaram ao longo de um estágio de sete meses. Na primeira etapa, o objetivo consistiu em gerar diversos modelos 3D dos membros inferiores de diferentes pacientes. Para tal, recorreu-se ao software de segmentação de imagens médicas Mimics 14.0 e utilizaram-se imagens de tomografia computorizada dos pacientes. Após o processo de segmentação, obtiveram-se os modelos 3D cuja qualidade teve de ser assegurada através de um processo de remeshing e cuja correta orientação espacial teve de ser também assegurada, já que a avaliação do alinhamento é sensível à orientação da perna. Para tal, utilizou-se o software de renderização 3D Geomagic Studio 14. Optou-se ainda por separar os modelos dos ossos nas suas porções proximal e distal, de modo a reduzir futuramente os tempos de computação. Findo todo este processo, assegurou-se que diferentes utilizadores poderiam gerar estes modelos sem grande variabilidade ou erro no resultado final através da comparação dos modelos obtidos de um mesmo paciente por três utilizadores distintos, sendo que os modelos obtidos apresentavam volumes com diferenças inferiores a 1% relativamente ao valor médio e com um baixo desvio padrão. Numa segunda etapa, os ângulos e medidas consideradas necessárias para uma avaliação adequada foram definidos, apresentando os valores esperados para estas medidas de acordo com a literatura. Assim, foi possível definir também os pontos anatómicos que são necessários para a definição destes mesmos ângulos e medidas e que portanto têm de ser encontrados pelo software. Na terceira etapa, fez-se então o desenvolvimento propriamente dito do software. Encontravam-se já disponíveis alguns métodos automáticos desenvolvidos no contexto projeto, contudo, estes métodos exigiam que o utilizador conhecesse as ferramentas do Geomagic de modo a obter algumas informações, e que depois fosse capaz de utilizar estas informações para editar os scripts de modo a que estes funcionassem para cada paciente em específico. Para além disso, apenas pontos muito específicos podiam ser encontrados. Nesse sentido, isto é, de modo a que todo o processo de encontrar os pontos anatómicos relevantes pudesse ser feito diretamente pelo utilizador, no programa, e sem exigir quaisquer conhecimentos de programação, um conjunto de técnicas foi implementado, dando ao programa uma grande componente gráfica. Para os diferentes pontos, foi necessário recorrer a diferentes metodologias, algumas desenvolvidas propositadamente para o efeito e implementadas em linguagem de programação Python "pura", e algumas adaptadas de outras já existentes e disponíveis no próprio Geomagic. Foi ainda assegurado que existiam métodos alternativos caso os métodos padrão não fossem os mais adequados devido a uma estrutura diferente da esperada dos próprios modelos 3D. De todo este processo resultou um programa que usa os modelos 3D gerados e, da maneira mais automática possível e com uma interface do utilizador fácil de usar, fornece todos os ângulos e medidas, efetuando assim a dita avaliação do alinhamento do membro inferior em 3D. Uma análise ponderada aos resultados obtidos permitiu identificar quais os pontos anatómicos que estarão a ser obtidos de maneira menos ideal e por isso a levar a alguns resultados não tão bons como o esperado. A dependência criada da seleção e limitação de certas áreas nas quais ocorre uma iteração que permite encontrar certos pontos é possivelmente a maior falha do programa desenvolvido que se torna assim demasiado sensível ao input do utilizador. Note-se, contudo, que os próprios testes apresentam algumas falhas que podem influenciar os resultados obtidos, tal como não ter sido definido um roteiro de teste que obrigasse a uma utilização uniforme por parte de todos os utilizadores, e também os diferentes níveis de experiência com o programa por parte dos utilizadores de teste. No entanto, a maioria das medidas obtidas apresenta valores constantes ao longo de diversas utilizações, igualando os valores que seriam obtidos manualmente, mas com o potencial de os obter em metade do tempo. Pode concluir-se então que, no momento, a avaliação do alinhamento 3D é possível utilizando o software desenvolvido. É possível ainda apontar algumas limitações e fazer algumas sugestões de modo a que estas sejas ultrapassadas. Algumas limitações partiram do facto da experiência a programar em Python ser bastante limitada, e outras partiram do software utilizado para fazer o desenvolvimento. Por exemplo, o método que teria sido o mais indicado para encontrar um certo número de pontos na Tibia não foi possível de implementar devido a um bug interno do software. Existe ainda muita coisa que pode ser feita no que toca ao software desenvolvido e ao objectivo final de desenvolver um método de planeamento pré-operativo: em primeiro lugar, é necessário realizar mais testes, de modo a aumentar o tamanho da amostra e o intervalo de confiança dos testes; em segundo lugar, eliminar a dependência do Geomagic para utilizar o programa seria o ideal; finalmente, de modo a completar o plano inicial, deve ser implementada a possibilidade de visualizar o resultado da cirurgia nos modelos 3D.The lower limbs are responsible for supporting the body and are essential for several tasks such as standing, walking and running. Sometimes, and due to various reasons, defects or deformities can be found on the lower limbs and this has an impact on a person’s quality-of-life. One characteristic of the structure of the lower limb that is affected by these deformities is its alignment, i.e. the relative positions of the bones and joints that it includes. Thanks to the evolution of modern medicine, fixing these deformities is now a common practice in the orthopedics' surgical field. Before any corrective surgery and its respective planning, the deformity needs to be properly analyzed, which is accomplished by the assessment of the alignment of the whole lower limb. Currently, in clinical setting, this assessment is carried out manually in the two-dimensional space, normally using wholeleg X-ray images of the anatomical frontal plane, but complex deformities can not be assessed properly in a 2D image. In a desire to create an automatic computer-based method for the preoperative planning of deformity correction and knee surgery, a project consisting of developing a new software for assessing the lower limb alignment based on 3D models was proposed. The project was comprised of four stages: In the first stage, 3D models of different patients’ lower limbs were generated using both segmentation and 3D rendering software, and it was ensured that these models could be generated by any user without significant variability/error in the final outcome; In the second stage, the exact angles and measures needed for a proper assessment were defined, as well as the anatomic landmarks required to calculate them that should then be found by the software; During the third stage, the software development took place, from which resulted a program that uses the generated 3D models and, in the most automatic way possible and with an easy-to-use interface, returns all the needed angles and measures; The final stage of the project was to ensure that the program is reliable and consistent in its results in both intraobserver and interobserver domain, and that it composes an improvement when compared with the manual procedure, while also ensuring that the results obtained by using the program match those obtained manually. A lot can still be done and improved regarding the developed software and the ultimate goal of fully developing a preoperative planning method, but, so far, the 3D alignment assessment that results from the program has been considered to perform its task properly and in an improved way when compared to the traditional technique, even though some limitations can be observed

Wize Mirror - a smart, multisensory cardio-metabolic risk monitoring system

In the recent years personal health monitoring systems have been gaining popularity, both as a result of the pull from the general population, keen to improve well-being and early detection of possibly serious health conditions and the push from the industry eager to translate the current significant progress in computer vision and machine learning into commercial products. One of such systems is the Wize Mirror, built as a result of the FP7 funded SEMEOTICONS (SEMEiotic Oriented Technology for Individuals CardiOmetabolic risk self-assessmeNt and Self-monitoring) project. The project aims to translate the semeiotic code of the human face into computational descriptors and measures, automatically extracted from videos, multispectral images, and 3D scans of the face. The multisensory platform, being developed as the result of that project, in the form of a smart mirror, looks for signs related to cardio-metabolic risks. The goal is to enable users to self-monitor their well-being status over time and improve their life-style via tailored user guidance. This paper is focused on the description of the part of that system, utilising computer vision and machine learning techniques to perform 3D morphological analysis of the face and recognition of psycho-somatic status both linked with cardio-metabolic risks. The paper describes the concepts, methods and the developed implementations as well as reports on the results obtained on both real and synthetic datasets

Accurate Segmentation of CT Pelvic Organs via Incremental Cascade Learning and Regression-based Deformable Models

Accurate segmentation of male pelvic organs from computed tomography (CT) images is important in image guided radiotherapy (IGRT) of prostate cancer. The efficacy of radiation treatment highly depends on the segmentation accuracy of planning and treatment CT images. Clinically manual delineation is still generally performed in most hospitals. However, it is time consuming and suffers large inter-operator variability due to the low tissue contrast of CT images. To reduce the manual efforts and improve the consistency of segmentation, it is desirable to develop an automatic method for rapid and accurate segmentation of pelvic organs from planning and treatment CT images. This dissertation marries machine learning and medical image analysis for addressing two fundamental yet challenging segmentation problems in image guided radiotherapy of prostate cancer. Planning-CT Segmentation. Deformable models are popular methods for planning-CT segmentation. However, they are well known to be sensitive to initialization and ineffective in segmenting organs with complex shapes. To address these limitations, this dissertation investigates a novel deformable model named regression-based deformable model (RDM). Instead of locally deforming the shape model, in RDM the deformation at each model point is explicitly estimated from local image appearance and used to guide deformable segmentation. As the estimated deformation can be long-distance and is spatially adaptive to each model point, RDM is insensitive to initialization and more flexible than conventional deformable models. These properties render it very suitable for CT pelvic organ segmentation, where initialization is difficult to get and organs may have complex shapes. Treatment-CT Segmentation. Most existing methods have two limitations when they are applied to treatment-CT segmentation. First, they have a limited accuracy because they overlook the availability of patient-specific data in the IGRT workflow. Second, they are time consuming and may take minutes or even longer for segmentation. To improve both accuracy and efficiency, this dissertation combines incremental learning with anatomical landmark detection for fast localization of the prostate in treatment CT images. Specifically, cascade classifiers are learned from a population to automatically detect several anatomical landmarks in the image. Based on these landmarks, the prostate is quickly localized by aligning and then fusing previous segmented prostate shapes of the same patient. To improve the performance of landmark detection, a novel learning scheme named "incremental learning with selective memory" is proposed to personalize the population-based cascade classifiers to the patient under treatment. Extensive experiments on a large dataset show that the proposed method achieves comparable accuracy to the state of the art methods while substantially reducing runtime from minutes to just 4 seconds.Doctor of Philosoph

A deep learning algorithm for contour detection in synthetic 2D biplanar X-ray images of the scapula: towards improved 3D reconstruction of the scapula

Three-dimensional (3D) reconstruction from X-ray images using statistical shape models (SSM) provides a cost-effective way of increasing the diagnostic utility of two-dimensional (2D) X-ray images, especially in low-resource settings. The landmark-constrained model fitting approach is one way to obtain patient-specific models from a statistical model. This approach requires an accurate selection of corresponding features, usually landmarks, from the bi-planar X-ray images. However, X-ray images are 2D representations of 3D anatomy with super-positioned structures, which confounds this approach. The literature shows that detection and use of contours to locate corresponding landmarks within biplanar X-ray images can address this limitation. The aim of this research project was to train and validate a deep learning algorithm for detection the contour of a scapula in synthetic 2D bi-planar Xray images. Synthetic bi-planar X-ray images were obtained from scapula mesh samples with annotated landmarks generated from a validated SSM obtained from the Division of Biomedical Engineering, University of Cape Town. This was followed by the training of two convolutional neural network models as the first objective of the project; the first model was trained to predict the lateral (LAT) scapula image given the anterior-posterior (AP) image. The second model was trained to predict the AP image given the LAT image. The trained models had an average Dice coefficient value of 0.926 and 0.964 for the predicted LAT and AP images, respectively. However, the trained models did not generalise to the segmented real X-ray images of the scapula. The second objective was to perform landmark-constrained model fitting using the corresponding landmarks embedded in the predicted images. To achieve this objective, the 2D landmark locations were transformed into 3D coordinates using the direct linear transformation. The 3D point localization yielded average errors of (0.35, 0.64, 0.72) mm in the X, Y and Z directions, respectively, and a combined coordinate error of 1.16 mm. The reconstructed landmarks were used to reconstruct meshes that had average surface-to-surface distances of 3.22 mm and 1.72 mm for 3 and 6 landmarks, respectively. The third objective was to reconstruct the scapula mesh using matching points on the scapula contour in the bi-planar images. The average surface-to-surface distances of the reconstructed meshes with 8 matching contour points and 6 corresponding landmarks of the same meshes were 1.40 and 1.91 mm, respectively. In summary, the deep learning models were able to learn the mapping between the bi-planar images of the scapula. Increasing the number of corresponding landmarks from the bi-planar images resulted into better 3D reconstructions. However, obtaining these corresponding landmarks was non-trivial, necessitating the use of matching points selected from the scapulae contours. The results from the latter approach signal a need to explore contour matching methods to obtain more corresponding points in order to improve the scapula 3D reconstruction using landmark-constrained model fitting