93 research outputs found
Data efficient deep learning for medical image analysis: A survey
The rapid evolution of deep learning has significantly advanced the field of
medical image analysis. However, despite these achievements, the further
enhancement of deep learning models for medical image analysis faces a
significant challenge due to the scarcity of large, well-annotated datasets. To
address this issue, recent years have witnessed a growing emphasis on the
development of data-efficient deep learning methods. This paper conducts a
thorough review of data-efficient deep learning methods for medical image
analysis. To this end, we categorize these methods based on the level of
supervision they rely on, encompassing categories such as no supervision,
inexact supervision, incomplete supervision, inaccurate supervision, and only
limited supervision. We further divide these categories into finer
subcategories. For example, we categorize inexact supervision into multiple
instance learning and learning with weak annotations. Similarly, we categorize
incomplete supervision into semi-supervised learning, active learning, and
domain-adaptive learning and so on. Furthermore, we systematically summarize
commonly used datasets for data efficient deep learning in medical image
analysis and investigate future research directions to conclude this survey.Comment: Under Revie
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
Transformer is a deep neural network that employs a self-attention mechanism
to comprehend the contextual relationships within sequential data. Unlike
conventional neural networks or updated versions of Recurrent Neural Networks
(RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in
handling long dependencies between input sequence elements and enable parallel
processing. As a result, transformer-based models have attracted substantial
interest among researchers in the field of artificial intelligence. This can be
attributed to their immense potential and remarkable achievements, not only in
Natural Language Processing (NLP) tasks but also in a wide range of domains,
including computer vision, audio and speech processing, healthcare, and the
Internet of Things (IoT). Although several survey papers have been published
highlighting the transformer's contributions in specific fields, architectural
differences, or performance evaluations, there is still a significant absence
of a comprehensive survey paper encompassing its major applications across
various domains. Therefore, we undertook the task of filling this gap by
conducting an extensive survey of proposed transformer models from 2017 to
2022. Our survey encompasses the identification of the top five application
domains for transformer-based models, namely: NLP, Computer Vision,
Multi-Modality, Audio and Speech Processing, and Signal Processing. We analyze
the impact of highly influential transformer-based models in these domains and
subsequently classify them based on their respective tasks using a proposed
taxonomy. Our aim is to shed light on the existing potential and future
possibilities of transformers for enthusiastic researchers, thus contributing
to the broader understanding of this groundbreaking technology
Intraoperative, Quantitative, and Non-Contact Blood Volume Flow Measurement via Indocyanine Green Fluorescence Angiography
In vielen Fällen unterziehen sich Patienten einer Revaskularisationsoperation wenn sie an einer zerebrovaskulären Erkrankung leiden, die eine Hypoperfusion des Gehirns verursacht. Dieser chirurgische Eingriff wird häufig als offene Operation durchgeführt und hat das Ziel, die Gefäßfunktion, insbesondere den Blutfluss, wiederherzustellen. Hierzu wird eine Anastomose (Verbindung von Arterien) angelegt, um den Fluss zu einem hypoperfundierten Gehirnareal zu erhöhen. In ungefähr 10% der Eingriffe treten nach der Operation Komplikationen auf, die zum Teil auf eine unzureichende Durchflusssteigerung zurückgeführt werden. Daher sollte der Blutfluss intraoperativ überprüft werden, um die Qualität des Eingriffs im Operationssaal zu beurteilen und schnell eingreifen zu können. Damit könnte ein negativer Ausgang für den Patienten verhindert werden.
Der derzeitige Stand der Technik in der intraoperativen und quantitativen Blutflussmessung ist die Nutzung der Ultraschall-Transitzeit-Durchflusssonde. Sie gibt einen quantitativen Flusswert an, muss jedoch das Gefäß umschließen. Dies ist einerseits umständlich für den Chirurgen und andererseits birgt es das Risiko von Kontaminationen, Gefäßquetschungen und der Gefäßruptur.
Eine alternative Methode ist die Indocyaningrün (ICG) Fluoreszenzangiographie (FA), welche eine kamerabasierte Methode ist. Sie ist der Stand der Technik in der hochauflösenden anatomischen Visualisierung des Situs und kann zusätzlich dem Chirurgen eine qualitative funktionelle Darstellung der Gefäße im Sichtfeld liefern. Der Stand der Wissenschaft zur Quantifizierung des Blutflusses mittels ICG-FA konnten bisher keine verlässlichen Fluss- werte liefern.
Die vorliegende Arbeit analysiert und verbessert die Eignung von ICG FA zu Bereitstellung von verlässlichen und quantitativen Blutflusswerten, indem
1. geklärt wird, wie akkurat die Messung durchgeführt werden kann.
2. Methoden zur Verbesserung der Genauigkeit entwickelt werden.
3. die Existenz eines systematischen Fehlers abgeleitet wird.
4. eine Methode zur Kompensation des systematischen Fehlers entwickelt wird.
5. ein Algorithmus zur Verarbeitung der eingehenden Videodaten für eine Ausgabe eines
Durchflusswertes bereitgestellt wird.
6. die Validierung der vorgeschlagenen Methoden und des Arbeitsablaufs in einer ex vivo
und in vivo Studie durchgeführt wird.
Die in dieser Arbeit vorgeschlagene Messung basiert auf dem systemic mean transit time theorem für Systeme mit einem Eingang und einem Ausgang. Um den Fluss zu berechnen müssen die Transitzeit eines ICG-Bolus für eine zu bestimmenden Strecke und die Querschnittsfläche des Gefäßes ermittelt werden. Es wurden Methoden entwickelt, um den Blutvolumenstrom zu messen und um Fehlerquellen bei dieser Messung der einzelnen Parameter zu identifizieren, quantifizieren und reduzieren.
Die statistischen Fehler bei der Messung der Transitstrecke und der Transitzeit des ICG- Bolus sowie der Querschnittsfläche des Gefäßes werden in der Forschung oft vernachlässigt. In dieser Arbeit wurden die Fehler mit Hilfe von in silico Modellen quantifiziert. Es zeigte sich, dass der Fehler zu groß für eine zuverlässige Blutflussmessung ist und daher Methoden zu seiner Reduzierung benötigt werden.
Um den Fehler bei der Längenmessung deutlich zu reduzieren, wurde eine Methode vorgestellt, welche die diskrete Mittellinie wieder in eine kontinuierliche überführt. Dabei wird der Fehler in der Längenmessung signifikant reduziert und der Fehler von der räumlichen Orientierung der Struktur entkoppelt. In ähnlicher Weise wurde eine Methode vorgestellt, welche die gemessenen diskreten Indikatorverdünnungskurven (IDCs) ebenso in kontinuierliche überführt, um den Fehler in der Laufzeitmessung des ICG-Bolus zu reduzieren. Der propagierte statistische Fehler der Blutflussmessung wurde auf einen akzeptablen und praktikablen Wert von 20 % bis 30 % reduziert.
Die Präsenz eines systematischen Fehlers bei der optischen Messung des Blutflusses wurde identifiziert und aus der Definition des Volumenflusses theoretisch abgeleitet. Folgend wird eine Methode zur Kompensation des Fehlers vorgestellt. Im ersten Schritt wird eine Fluid-Strömungssimulation genutzt, um die räumlich-zeitliche Konzentration des ICG in einem Blutgefäß zu berechnen. Anschließend wird die Konzentration an ein neu entwickeltes Fluoreszenz-Monte-Carlo-Multizylinder (FMCMC) Modell übergeben, das die Ausbreitung von Photonen in einem Gefäß simuliert. Dabei wird der Ort der Fluoreszenzereignisse der emittierten Photonen ermittelt und der systematische Fehler bestimmt. Dies ermöglicht die Kompensation des systematischen Fehlers. Es zeigte sich, dass dieser Fehler unabhängig von dem Volumenfluss ist, solange die Strömung laminar ist, aber abhängig vom Durchmesser des Gefäßes und dem Zeitpunkt der Messung. Die Abhängigkeit vom Durchmesser ist reduziert bei Messungen zu einem früheren Zeitpunkt. Daher ist es vorteilhaft, die erste Ankunft des ICG-Bolus zur Bestimmung der Transitzeit zu verwenden, um den Einfluss des Durchmessers auf den Fehler zu verringern und somit die Messung robuster durchzuführen.
Um die Genauigkeit der Messung in einem Experiment zu beweisen, wurde ein ex vivo Experiment unter Verwendung von Schweineblut und Kaninchen Aorten konzipiert und durchgeführt. Es zeigte sich, dass der durch den vorgeschlagenen Algorithmus ermittelte Fluss mit der Referenzmessung (einem industriellem Durchflussmesser) übereinstimmt. Die statistische Streuung der gemessenen Flussdaten durch den Algorithmus stimmte mit der zuvor ermittelten statistischen Fehlerspanne überein, was den in silico Ansatz validiert.
Es wurde eine retrospektive in vivo Studie an Menschen durchgeführt, die sich einer extrakraniellen-zu-intrakraniellen (EC-IC) Bypass Operation unterzogen hatten. Die Analyse der FA-Daten ergab eine gute Übereinstimmung mit der klinischen Referenzmethode, jedoch mit dem großen Vorteil, dass kein Kontakt zum Gewebe erforderlich war. Zusätzlich wurde gezeigt, dass simultan Flusswerte für mehrere Gefäße im Sichtfeld der Kamera gemessen werden können.
Die vorgestellten Ergebnisse sind ein Proof of Concept für die Eignung der vorgestellten intraoperativen, quantitativen und optischen Messung des Blutvolumenstroms mittels ICG FA. Diese Arbeit ebnet den Weg für den klinischen Einsatz dieser Methode in Ergänzung zum aktuellen klinischen Stand der Technik. Sie könnte zukünftig dem Chirurgen eine neuartige Messung des Blutvolumenstroms zur Verfügung stellen und dabei potentiell das Risiko einer Komplikation reduzieren und damit das Wohl der Patienten verbessern
Improving stroke risk prediction and individualised treatment in carotid atherosclerosis
Background: Unstable carotid atherosclerosis causes stroke, but methods to identify patients and
lesions at risk are lacking. Currently, this risk estimation is based on measurements of stenosis and
neurological symptoms, which determines the therapy of either medical treatment with or without
carotid endarterectomy. The efficacy of this therapy is low and higher accuracy of diagnosis and
therapy is warranted. Imaging of carotid plaque morphology using software for visualisation of
plaque components may improve assessment of plaque phenotype and stroke risk. These studies
aimed firstly to investigate if, and if yes, how, the carotid plaque morphology with image analysis of
CTA associated with on-going biology in the corresponding specimen. Secondly, if risk
stratification in clinical risk scores can be linked to the aforementioned associations. Finally, if the
on-going biological processes can be specifically predicted out of the CTA imaging analysis.
Methods: Plaque features were analysed in pre-operative CTA with dedicated software. In study
I and II, the plaques were stratified according to quantified high and low of each feature, profiled
with microarrays, followed by bioinformatic analyses. Immunohistochemistry was performed to
evaluate the findings in plaques. In study III, patient phenotype, according to clinical stroke risk
scores of CAR and ABCD2 stratified the cohorts of high vs low scores which were subsequently
profiled with microarrays, followed by bioinformatic analyses and correlation analyses of plaque
morphology in CTA. In study IV, the microarray transcriptomes were individually coupled to
morphological data from the CTA analysis, developing models with machine intelligence to predict
the gene expression from a CTA image. The models were then tested in unseen patients.
Results: In study I, stabilising markers and processes related to SMCs and ECM organisation were
associated with highly calcified plaques, while inflammatory and lipid related processes were
repressed. PRG4, a novel marker for atherosclerosis, was identified as the most up-regulated gene
in highly calcified plaques. Study II showed that carotid lesions with large lipid rich necrotic core,
intraplaque haemorrhage or plaque burden were characterized by molecular signatures coupled
with inflammation and extracellular matrix degradation, typically linked with instability.
Symptomatology associated with large lipid rich necrotic core and plaque burden. Cross-validated
prediction model for symptoms, showed that plaque morphology by CTA alone was superior to
stenosis degree. Study III revealed that a high clinical risk score in CAR and ABCD2, reflect a
plaque phenotype linked to immune response and coagulation, where the novel ABCB5, was one
of the most up-regulated genes. The high risk scores correlated with the plaque components matrix
and calcification but no positive association with stenosis degree. Study IV resulted in 414 robustly
predicted transcripts from the CTA image analysis, of which pathway analysis showed biological
processes associated with typical pathophysiology of atherosclerosis and plaque instability. The
model testing demonstrated a good correlation between predicted and observed transcript
expression levels and pathway analysis revealed a unique dominant mechanism for each individual.
Conclusions: Biological processes in carotid plaques associated to vulnerability, can be linked to
plaque morphology analysed with CTA image analysis. Patient phenotype classified with clinical
risk scores associates to plaque phenotype and morphology in CTA. The biological processes in
the atherosclerotic plaque can be predicted with plaque morphology CTA analysis in this small
pilot study, providing a possibility to precision medicine after validation in larger scale studie
Blood
This book examines both the fluid and cellular components of blood. After the introductory section, the second section presents updates on various topics in hemodynamics. Chapters in this section discuss anemia, 4D flow MRI in cardiology, cardiovascular complications of robot-assisted laparoscopic pelvic surgery, altered perfusion in multiple sclerosis, and hemodynamic laminar shear stress in oxidative homeostasis. The third section focuses on thalassemia with chapters on diagnosis and screening for thalassemia, high blood pressure in beta-thalassemia, and hepatitis C infection in thalassemia patients
- …