Data efficient deep learning for medical image analysis: A survey

The rapid evolution of deep learning has significantly advanced the field of medical image analysis. However, despite these achievements, the further enhancement of deep learning models for medical image analysis faces a significant challenge due to the scarcity of large, well-annotated datasets. To address this issue, recent years have witnessed a growing emphasis on the development of data-efficient deep learning methods. This paper conducts a thorough review of data-efficient deep learning methods for medical image analysis. To this end, we categorize these methods based on the level of supervision they rely on, encompassing categories such as no supervision, inexact supervision, incomplete supervision, inaccurate supervision, and only limited supervision. We further divide these categories into finer subcategories. For example, we categorize inexact supervision into multiple instance learning and learning with weak annotations. Similarly, we categorize incomplete supervision into semi-supervised learning, active learning, and domain-adaptive learning and so on. Furthermore, we systematically summarize commonly used datasets for data efficient deep learning in medical image analysis and investigate future research directions to conclude this survey.Comment: Under Revie

A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks

Transformer is a deep neural network that employs a self-attention mechanism to comprehend the contextual relationships within sequential data. Unlike conventional neural networks or updated versions of Recurrent Neural Networks (RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in handling long dependencies between input sequence elements and enable parallel processing. As a result, transformer-based models have attracted substantial interest among researchers in the field of artificial intelligence. This can be attributed to their immense potential and remarkable achievements, not only in Natural Language Processing (NLP) tasks but also in a wide range of domains, including computer vision, audio and speech processing, healthcare, and the Internet of Things (IoT). Although several survey papers have been published highlighting the transformer's contributions in specific fields, architectural differences, or performance evaluations, there is still a significant absence of a comprehensive survey paper encompassing its major applications across various domains. Therefore, we undertook the task of filling this gap by conducting an extensive survey of proposed transformer models from 2017 to 2022. Our survey encompasses the identification of the top five application domains for transformer-based models, namely: NLP, Computer Vision, Multi-Modality, Audio and Speech Processing, and Signal Processing. We analyze the impact of highly influential transformer-based models in these domains and subsequently classify them based on their respective tasks using a proposed taxonomy. Our aim is to shed light on the existing potential and future possibilities of transformers for enthusiastic researchers, thus contributing to the broader understanding of this groundbreaking technology

Intraoperative, Quantitative, and Non-Contact Blood Volume Flow Measurement via Indocyanine Green Fluorescence Angiography

In vielen Fällen unterziehen sich Patienten einer Revaskularisationsoperation wenn sie an einer zerebrovaskulären Erkrankung leiden, die eine Hypoperfusion des Gehirns verursacht. Dieser chirurgische Eingriff wird häufig als offene Operation durchgeführt und hat das Ziel, die Gefäßfunktion, insbesondere den Blutfluss, wiederherzustellen. Hierzu wird eine Anastomose (Verbindung von Arterien) angelegt, um den Fluss zu einem hypoperfundierten Gehirnareal zu erhöhen. In ungefähr 10% der Eingriffe treten nach der Operation Komplikationen auf, die zum Teil auf eine unzureichende Durchflusssteigerung zurückgeführt werden. Daher sollte der Blutfluss intraoperativ überprüft werden, um die Qualität des Eingriffs im Operationssaal zu beurteilen und schnell eingreifen zu können. Damit könnte ein negativer Ausgang für den Patienten verhindert werden. Der derzeitige Stand der Technik in der intraoperativen und quantitativen Blutflussmessung ist die Nutzung der Ultraschall-Transitzeit-Durchflusssonde. Sie gibt einen quantitativen Flusswert an, muss jedoch das Gefäß umschließen. Dies ist einerseits umständlich für den Chirurgen und andererseits birgt es das Risiko von Kontaminationen, Gefäßquetschungen und der Gefäßruptur. Eine alternative Methode ist die Indocyaningrün (ICG) Fluoreszenzangiographie (FA), welche eine kamerabasierte Methode ist. Sie ist der Stand der Technik in der hochauflösenden anatomischen Visualisierung des Situs und kann zusätzlich dem Chirurgen eine qualitative funktionelle Darstellung der Gefäße im Sichtfeld liefern. Der Stand der Wissenschaft zur Quantifizierung des Blutflusses mittels ICG-FA konnten bisher keine verlässlichen Fluss- werte liefern. Die vorliegende Arbeit analysiert und verbessert die Eignung von ICG FA zu Bereitstellung von verlässlichen und quantitativen Blutflusswerten, indem 1. geklärt wird, wie akkurat die Messung durchgeführt werden kann. 2. Methoden zur Verbesserung der Genauigkeit entwickelt werden. 3. die Existenz eines systematischen Fehlers abgeleitet wird. 4. eine Methode zur Kompensation des systematischen Fehlers entwickelt wird. 5. ein Algorithmus zur Verarbeitung der eingehenden Videodaten für eine Ausgabe eines Durchflusswertes bereitgestellt wird. 6. die Validierung der vorgeschlagenen Methoden und des Arbeitsablaufs in einer ex vivo und in vivo Studie durchgeführt wird. Die in dieser Arbeit vorgeschlagene Messung basiert auf dem systemic mean transit time theorem für Systeme mit einem Eingang und einem Ausgang. Um den Fluss zu berechnen müssen die Transitzeit eines ICG-Bolus für eine zu bestimmenden Strecke und die Querschnittsfläche des Gefäßes ermittelt werden. Es wurden Methoden entwickelt, um den Blutvolumenstrom zu messen und um Fehlerquellen bei dieser Messung der einzelnen Parameter zu identifizieren, quantifizieren und reduzieren. Die statistischen Fehler bei der Messung der Transitstrecke und der Transitzeit des ICG- Bolus sowie der Querschnittsfläche des Gefäßes werden in der Forschung oft vernachlässigt. In dieser Arbeit wurden die Fehler mit Hilfe von in silico Modellen quantifiziert. Es zeigte sich, dass der Fehler zu groß für eine zuverlässige Blutflussmessung ist und daher Methoden zu seiner Reduzierung benötigt werden. Um den Fehler bei der Längenmessung deutlich zu reduzieren, wurde eine Methode vorgestellt, welche die diskrete Mittellinie wieder in eine kontinuierliche überführt. Dabei wird der Fehler in der Längenmessung signifikant reduziert und der Fehler von der räumlichen Orientierung der Struktur entkoppelt. In ähnlicher Weise wurde eine Methode vorgestellt, welche die gemessenen diskreten Indikatorverdünnungskurven (IDCs) ebenso in kontinuierliche überführt, um den Fehler in der Laufzeitmessung des ICG-Bolus zu reduzieren. Der propagierte statistische Fehler der Blutflussmessung wurde auf einen akzeptablen und praktikablen Wert von 20 % bis 30 % reduziert. Die Präsenz eines systematischen Fehlers bei der optischen Messung des Blutflusses wurde identifiziert und aus der Definition des Volumenflusses theoretisch abgeleitet. Folgend wird eine Methode zur Kompensation des Fehlers vorgestellt. Im ersten Schritt wird eine Fluid-Strömungssimulation genutzt, um die räumlich-zeitliche Konzentration des ICG in einem Blutgefäß zu berechnen. Anschließend wird die Konzentration an ein neu entwickeltes Fluoreszenz-Monte-Carlo-Multizylinder (FMCMC) Modell übergeben, das die Ausbreitung von Photonen in einem Gefäß simuliert. Dabei wird der Ort der Fluoreszenzereignisse der emittierten Photonen ermittelt und der systematische Fehler bestimmt. Dies ermöglicht die Kompensation des systematischen Fehlers. Es zeigte sich, dass dieser Fehler unabhängig von dem Volumenfluss ist, solange die Strömung laminar ist, aber abhängig vom Durchmesser des Gefäßes und dem Zeitpunkt der Messung. Die Abhängigkeit vom Durchmesser ist reduziert bei Messungen zu einem früheren Zeitpunkt. Daher ist es vorteilhaft, die erste Ankunft des ICG-Bolus zur Bestimmung der Transitzeit zu verwenden, um den Einfluss des Durchmessers auf den Fehler zu verringern und somit die Messung robuster durchzuführen. Um die Genauigkeit der Messung in einem Experiment zu beweisen, wurde ein ex vivo Experiment unter Verwendung von Schweineblut und Kaninchen Aorten konzipiert und durchgeführt. Es zeigte sich, dass der durch den vorgeschlagenen Algorithmus ermittelte Fluss mit der Referenzmessung (einem industriellem Durchflussmesser) übereinstimmt. Die statistische Streuung der gemessenen Flussdaten durch den Algorithmus stimmte mit der zuvor ermittelten statistischen Fehlerspanne überein, was den in silico Ansatz validiert. Es wurde eine retrospektive in vivo Studie an Menschen durchgeführt, die sich einer extrakraniellen-zu-intrakraniellen (EC-IC) Bypass Operation unterzogen hatten. Die Analyse der FA-Daten ergab eine gute Übereinstimmung mit der klinischen Referenzmethode, jedoch mit dem großen Vorteil, dass kein Kontakt zum Gewebe erforderlich war. Zusätzlich wurde gezeigt, dass simultan Flusswerte für mehrere Gefäße im Sichtfeld der Kamera gemessen werden können. Die vorgestellten Ergebnisse sind ein Proof of Concept für die Eignung der vorgestellten intraoperativen, quantitativen und optischen Messung des Blutvolumenstroms mittels ICG FA. Diese Arbeit ebnet den Weg für den klinischen Einsatz dieser Methode in Ergänzung zum aktuellen klinischen Stand der Technik. Sie könnte zukünftig dem Chirurgen eine neuartige Messung des Blutvolumenstroms zur Verfügung stellen und dabei potentiell das Risiko einer Komplikation reduzieren und damit das Wohl der Patienten verbessern

Improving stroke risk prediction and individualised treatment in carotid atherosclerosis

Background: Unstable carotid atherosclerosis causes stroke, but methods to identify patients and lesions at risk are lacking. Currently, this risk estimation is based on measurements of stenosis and neurological symptoms, which determines the therapy of either medical treatment with or without carotid endarterectomy. The efficacy of this therapy is low and higher accuracy of diagnosis and therapy is warranted. Imaging of carotid plaque morphology using software for visualisation of plaque components may improve assessment of plaque phenotype and stroke risk. These studies aimed firstly to investigate if, and if yes, how, the carotid plaque morphology with image analysis of CTA associated with on-going biology in the corresponding specimen. Secondly, if risk stratification in clinical risk scores can be linked to the aforementioned associations. Finally, if the on-going biological processes can be specifically predicted out of the CTA imaging analysis. Methods: Plaque features were analysed in pre-operative CTA with dedicated software. In study I and II, the plaques were stratified according to quantified high and low of each feature, profiled with microarrays, followed by bioinformatic analyses. Immunohistochemistry was performed to evaluate the findings in plaques. In study III, patient phenotype, according to clinical stroke risk scores of CAR and ABCD2 stratified the cohorts of high vs low scores which were subsequently profiled with microarrays, followed by bioinformatic analyses and correlation analyses of plaque morphology in CTA. In study IV, the microarray transcriptomes were individually coupled to morphological data from the CTA analysis, developing models with machine intelligence to predict the gene expression from a CTA image. The models were then tested in unseen patients. Results: In study I, stabilising markers and processes related to SMCs and ECM organisation were associated with highly calcified plaques, while inflammatory and lipid related processes were repressed. PRG4, a novel marker for atherosclerosis, was identified as the most up-regulated gene in highly calcified plaques. Study II showed that carotid lesions with large lipid rich necrotic core, intraplaque haemorrhage or plaque burden were characterized by molecular signatures coupled with inflammation and extracellular matrix degradation, typically linked with instability. Symptomatology associated with large lipid rich necrotic core and plaque burden. Cross-validated prediction model for symptoms, showed that plaque morphology by CTA alone was superior to stenosis degree. Study III revealed that a high clinical risk score in CAR and ABCD2, reflect a plaque phenotype linked to immune response and coagulation, where the novel ABCB5, was one of the most up-regulated genes. The high risk scores correlated with the plaque components matrix and calcification but no positive association with stenosis degree. Study IV resulted in 414 robustly predicted transcripts from the CTA image analysis, of which pathway analysis showed biological processes associated with typical pathophysiology of atherosclerosis and plaque instability. The model testing demonstrated a good correlation between predicted and observed transcript expression levels and pathway analysis revealed a unique dominant mechanism for each individual. Conclusions: Biological processes in carotid plaques associated to vulnerability, can be linked to plaque morphology analysed with CTA image analysis. Patient phenotype classified with clinical risk scores associates to plaque phenotype and morphology in CTA. The biological processes in the atherosclerotic plaque can be predicted with plaque morphology CTA analysis in this small pilot study, providing a possibility to precision medicine after validation in larger scale studie

Blood

This book examines both the fluid and cellular components of blood. After the introductory section, the second section presents updates on various topics in hemodynamics. Chapters in this section discuss anemia, 4D flow MRI in cardiology, cardiovascular complications of robot-assisted laparoscopic pelvic surgery, altered perfusion in multiple sclerosis, and hemodynamic laminar shear stress in oxidative homeostasis. The third section focuses on thalassemia with chapters on diagnosis and screening for thalassemia, high blood pressure in beta-thalassemia, and hepatitis C infection in thalassemia patients