74 research outputs found
Going Deep in Medical Image Analysis: Concepts, Methods, Challenges and Future Directions
Medical Image Analysis is currently experiencing a paradigm shift due to Deep
Learning. This technology has recently attracted so much interest of the
Medical Imaging community that it led to a specialized conference in `Medical
Imaging with Deep Learning' in the year 2018. This article surveys the recent
developments in this direction, and provides a critical review of the related
major aspects. We organize the reviewed literature according to the underlying
Pattern Recognition tasks, and further sub-categorize it following a taxonomy
based on human anatomy. This article does not assume prior knowledge of Deep
Learning and makes a significant contribution in explaining the core Deep
Learning concepts to the non-experts in the Medical community. Unique to this
study is the Computer Vision/Machine Learning perspective taken on the advances
of Deep Learning in Medical Imaging. This enables us to single out `lack of
appropriately annotated large-scale datasets' as the core challenge (among
other challenges) in this research direction. We draw on the insights from the
sister research fields of Computer Vision, Pattern Recognition and Machine
Learning etc.; where the techniques of dealing with such challenges have
already matured, to provide promising directions for the Medical Imaging
community to fully harness Deep Learning in the future
Classification of Hyperspectral Colon Cancer Images Using Convolutional Neural Networks
Hyperspectral images are 3-D images, which contain data in hundreds of spectral bands as opposed to 2-D images, which contain data in at most 3 bands (red, green, and blue). Hyperspectral imagery was initially developed for remote sensing; however, recently, researchers have started to see its potential in medical diagnosis and cancer detection. Hyperspectral images provide massive amounts of data about the objects they are studying, and this causes challenges during information processing. Machine learning tools, such as convolutional neural networks (CNNs), are known to be successful in extracting features and classifying traditional 2-D images. This thesis proposes CNN architectures for processing hyperspectral data for colon cancer detection. Using data taken from a limited number of colon tissue samples, this thesis shows that the proposed CNN architecture can classify cancerous and noncancerous tissue samples utilizing hyperspectral information. The obtained results are compared to grayscale images of the same tissue samples, looking both at grayscales of the individual hyperspectral bands and panchromatic grayscale images in which the spectral bands are merged together. The CNN using the hyperspectral data shows advantages over the grayscale data, with a 5.6% improvement in accuracy and a 0.037 improvement in F1 score over the individual band grayscale images and a 21.7% improvement in accuracy and a 0.178 improvement in F1 score over the panchromatic grayscale images. The results are also compared to a K-nearest neighbor (KNN) classifier and a logistic regression (LR) classifier using the hyperspectral data, and the CNN shows advantages over both. The CNN has a 17.9% improvement in accuracy and a 0.141 improvement in F1 score over the KNN classifier and a 5% improvement in accuracy and a 0.061 improvement in F1 score over the LR classifier
Challenges and Opportunities of End-to-End Learning in Medical Image Classification
Das Paradigma des End-to-End Lernens hat in den letzten Jahren die Bilderkennung revolutioniert, aber die klinische Anwendung hinkt hinterher. Bildbasierte computergestützte Diagnosesysteme basieren immer noch weitgehend auf hochtechnischen und domänen-spezifischen Pipelines, die aus unabhängigen regelbasierten Modellen bestehen, welche die Teilaufgaben der Bildklassifikation wiederspiegeln: Lokalisation von auffälligen Regionen, Merkmalsextraktion und Entscheidungsfindung. Das Versprechen einer überlegenen Entscheidungsfindung beim End-to-End Lernen ergibt sich daraus, dass domänenspezifische Zwangsbedingungen von begrenzter Komplexität entfernt werden und stattdessen alle Systemkomponenten gleichzeitig, direkt anhand der Rohdaten, und im Hinblick auf die letztendliche Aufgabe optimiert werden. Die Gründe dafür, dass diese Vorteile noch nicht den Weg in die Klinik gefunden haben, d.h. die Herausforderungen, die sich bei der Entwicklung Deep Learning-basierter Diagnosesysteme stellen, sind vielfältig: Die Tatsache, dass die Generalisierungsfähigkeit von Lernalgorithmen davon abhängt, wie gut die verfügbaren Trainingsdaten die tatsächliche zugrundeliegende Datenverteilung abbilden, erweist sich in medizinische Anwendungen als tiefgreifendes Problem. Annotierte Datensätze in diesem Bereich sind notorisch klein, da für die Annotation eine kostspielige Beurteilung durch Experten erforderlich ist und die Zusammenlegung kleinerer Datensätze oft durch Datenschutzauflagen und Patientenrechte erschwert wird. Darüber hinaus weisen medizinische Datensätze drastisch unterschiedliche Eigenschaften im Bezug auf Bildmodalitäten, Bildgebungsprotokolle oder Anisotropien auf, und die oft mehrdeutige Evidenz in medizinischen Bildern kann sich auf inkonsistente oder fehlerhafte Trainingsannotationen übertragen. Während die Verschiebung von Datenverteilungen zwischen Forschungsumgebung und Realität zu einer verminderten Modellrobustheit führt und deshalb gegenwärtig als das Haupthindernis für die klinische Anwendung von Lernalgorithmen angesehen wird, wird dieser Graben oft noch durch Störfaktoren wie Hardwarelimitationen oder Granularität von gegebenen Annotation erweitert, die zu Diskrepanzen zwischen der modellierten Aufgabe und der zugrunde liegenden klinischen Fragestellung führen.
Diese Arbeit untersucht das Potenzial des End-to-End-Lernens in klinischen Diagnosesystemen und präsentiert Beiträge zu einigen der wichtigsten Herausforderungen, die derzeit eine breite klinische Anwendung verhindern.
Zunächst wird der letzten Teil der Klassifikations-Pipeline untersucht, die Kategorisierung in klinische Pathologien. Wir demonstrieren, wie das Ersetzen des gegenwärtigen klinischen Standards regelbasierter Entscheidungen durch eine groß angelegte Merkmalsextraktion gefolgt von lernbasierten Klassifikatoren die Brustkrebsklassifikation im MRT signifikant verbessert und eine Leistung auf menschlichem Level erzielt. Dieser Ansatz wird weiter anhand von kardiologischer Diagnose gezeigt. Zweitens ersetzen wir, dem Paradigma des End-to-End Lernens folgend, das biophysikalische Modell, das für die Bildnormalisierung in der MRT angewandt wird, sowie die Extraktion handgefertigter Merkmale, durch eine designierte CNN-Architektur und liefern eine eingehende Analyse, die das verborgene Potenzial der gelernten Bildnormalisierung und einen Komplementärwert der gelernten Merkmale gegenüber den handgefertigten Merkmalen aufdeckt. Während dieser Ansatz auf markierten Regionen arbeitet und daher auf manuelle Annotation angewiesen ist, beziehen wir im dritten Teil die Aufgabe der Lokalisierung dieser Regionen in den Lernprozess ein, um eine echte End-to-End-Diagnose baserend auf den Rohbildern zu ermöglichen. Dabei identifizieren wir eine weitgehend vernachlässigte Zwangslage zwischen dem Streben nach der Auswertung von Modellen auf klinisch relevanten Skalen auf der einen Seite, und der Optimierung für effizientes Training unter Datenknappheit auf der anderen Seite. Wir präsentieren ein Deep Learning Modell, das zur Auflösung dieses Kompromisses beiträgt, liefern umfangreiche Experimente auf drei medizinischen Datensätzen sowie eine Serie von Toy-Experimenten, die das Verhalten bei begrenzten Trainingsdaten im Detail untersuchen, und publiziren ein umfassendes Framework, das unter anderem die ersten 3D-Implementierungen gängiger Objekterkennungsmodelle umfasst.
Wir identifizieren weitere Hebelpunkte in bestehenden End-to-End-Lernsystemen, bei denen Domänenwissen als Zwangsbedingung dienen kann, um die Robustheit von Modellen in der medizinischen Bildanalyse zu erhöhen, die letztendlich dazu beitragen sollen, den Weg für die Anwendung in der klinischen Praxis zu ebnen. Zu diesem Zweck gehen wir die Herausforderung fehlerhafter Trainingsannotationen an, indem wir die Klassifizierungskompnente in der End-to-End-Objekterkennung durch Regression ersetzen, was es ermöglicht, Modelle direkt auf der kontinuierlichen Skala der zugrunde liegenden pathologischen Prozesse zu trainieren und so die Robustheit der Modelle gegenüber fehlerhaften Trainingsannotationen zu erhöhen. Weiter adressieren wir die Herausforderung der Input-Heterogenitäten, mit denen trainierte Modelle konfrontiert sind, wenn sie an verschiedenen klinischen Orten eingesetzt werden, indem wir eine modellbasierte Domänenanpassung vorschlagen, die es ermöglicht, die ursprüngliche Trainingsdomäne aus veränderten Inputs wiederherzustellen und damit eine robuste Generalisierung zu gewährleisten. Schließlich befassen wir uns mit dem höchst unsystematischen, aufwendigen und subjektiven Trial-and-Error-Prozess zum Finden von robusten Hyperparametern für einen gegebene Aufgabe, indem wir Domänenwissen in ein Set systematischer Regeln überführen, die eine automatisierte und robuste Konfiguration von Deep Learning Modellen auf einer Vielzahl von medizinischen Datensetzen ermöglichen.
Zusammenfassend zeigt die hier vorgestellte Arbeit das enorme Potenzial von End-to-End Lernalgorithmen im Vergleich zum klinischen Standard mehrteiliger und hochtechnisierter Diagnose-Pipelines auf, und präsentiert Lösungsansätze zu einigen der wichtigsten Herausforderungen für eine breite Anwendung unter realen Bedienungen wie Datenknappheit, Diskrepanz zwischen der vom Modell behandelten Aufgabe und der zugrunde liegenden klinischen Fragestellung, Mehrdeutigkeiten in Trainingsannotationen, oder Verschiebung von Datendomänen zwischen klinischen Standorten. Diese Beiträge können als Teil des übergreifende Zieles der Automatisierung von medizinischer Bildklassifikation gesehen werden - ein integraler Bestandteil des Wandels, der erforderlich ist, um die Zukunft des Gesundheitswesens zu gestalten
Convolutional Neural Networks for Early Diagnosing of Breast Cancer
Title from PDF of title page, viewed December 22, 2022Dissertation advisors: An-Lin Cheng and Jenifer AllsworthVitaIncludes bibliographical references (pages 72-84)Dissertation (Ph.D.)--Department of Mathematics, Department of Biomedical and Health Informatics, University of Missouri--Kansas City, 2022Due to the high demand for mammograms, radiologists are swamped with many patients' mammograms. Radiologists' workload has increased dramatically over the last 15 years during on-call hours. This rise is due to an increase in the number of computed tomography (CT). Previous research published in the early 2000s found a 22% increase in radiology examinations during on-call hours in the United States over four years. The shortage of radiologists has recently worsened due to the COVID-19 pandemic. Based on their training and experience, radiologists classify mammography images as benign or malignant. Automating this diagnostic process with a machine learning algorithm may improve diagnosis speed and accuracy. This research aims to propose an effective automated algorithm system that lessens the workload of radiologists while improving speed and accuracy.
This study uses Convolution Neural Networks (CNN) to assist radiologists in classifying lesions by incorporating repeated imaging. In addition, longitudinal electronic health record (EHR) data prior to diagnosis will augment the ML algorithm to improve its accuracy. This study takes a novel approach to the fusion model because only a few models have been developed to integrate both clinical and imaging data for diagnostic purposes, and few of them have included both EHR and longitudinal imaging data. Therefore, this study compared various multi-modal fusion and single models that can use pixel-based data (image) and EHR data from a large urban medical center.Introduction -- Foundation -- Research method (CNN) -- Result43 -- Combination of imaging data and EHR in CNN -- Conclusion and future wor
The landscape of combination therapies against glioblastoma:From promises to challenges
We demonstrate in this thesis how new targets can be identified and highlight the challenges that lie in front of us when trying to translate these steps toward the clinic. We conclude that the blood-brain barrier, PD/PK of drugs, and therapy resistance are still major challenges and explain the limited improvement in treatment options for patients with GBM. First, GBM is a diffuse glioma located in the brain where the blood-brain barrier prevents the crossing of drugs and thereby limits the efficacy of treatment. Second, inter- and intratumoral heterogeneity have been observed in GBM leading to different cellular subpopulations with distinctive genetic profiles. Hence, treating these subpopulations with targeted drugs allows until now still survival of certain subpopulations that are not sensitive to this treatment. Lastly, therapy resistance is often seen in GBM patients and is probably related to intratumoral heterogeneity, but the intrinsic molecular mechanism is still not fully understood. Together they lead to the inevitable recurrence of the tumor
Recommended from our members
Noninvasive assessment and classification of human skin burns using images of Caucasian and African patients
YesBurns are one of the obnoxious injuries subjecting thousands to loss of life and physical defacement each year. Both high income and Third World countries face major evaluation challenges including but not limited to inadequate workforce, poor diagnostic facilities, inefficient diagnosis and high operational cost. As such, there is need to develop an automatic machine learning algorithm to noninvasively identify skin burns. This will operate with little or no human intervention, thereby acting as an affordable substitute to human expertise. We leverage the weights of pretrained deep neural networks for image description and, subsequently, the extracted image features are fed into the support vector machine for classification. To the best of our knowledge, this is the first study that investigates black African skins. Interestingly, the proposed algorithm achieves state-of-the-art classification accuracy on both Caucasian and African datasets
- …