Preliminary investigation of the clinical usefulness of super-high-resolution LCDs with 9 and 15 mega-sub-pixels: Observation studies with phantoms

金沢大学附属病院放射線部Our purpose in this study was to evaluate the preliminary clinical efficacy of soft-copy reading of digital mammography, for a 15-mega-sub-pixel (MsP) and a 9-MsP super-high-resolution liquid-crystal display (SHR-LCD) by use of an independent sub-pixel driving technology. We performed three kinds of phantom observation studies by six radiological technologists. Detectability of a contrast-detail phantom and simulated small objects (SSOs) resembling microcalcifications (MCLs), and shape discrimination ability of SSOs with round and square shapes, were examined and compared with a 5-MP conventional LCD (5-MP LCD). In each study, four types of display magnification ratio were used. The detectability and the shape discrimination ability of the 15-MsP SHR-LCD were highest among the three LCDs of most of the display magnification ratios. The 9-MsP SHR-LCD indicated a higher or equal performance as compared with the 5-MP LCD in the SSO detection and shape studies. The results of our study demonstrated that the SHR-LCDs had good potential to detect MCLs and to evaluate the shape in high-resolution digital mammography. © 2009 Japanese Society of Radiological Technology and Japan Society of Medical Physics

Morphological quantitation software in breast MRI: application to neoadjuvant chemotherapy patients

The work in this thesis examines the use of texture analysis techniques and shape descriptors to analyse MR images of the breast and their application as a potential quantitative tool for prognostic indication.Textural information is undoubtedly very heavily used in a radiologist’s decision making process. However, subtle variations in texture are often missed, thus by quantitatively analysing MR images the textural properties that would otherwise be impossible to discern by simply visually inspecting the image can be obtained. Texture analysis is commonly used in image classification of aerial and satellite photography, studies have also focussed on utilising texture in MRI especially in the brain. Recent research has focussed on other organs such as the breast wherein lesion morphology is known to be an important diagnostic and prognostic indicator. Recent work suggests benefits in assessing lesion texture in dynamic contrast-enhanced (DCE) images, especially with regards to changes during the initial enhancement and subsequent washout phases. The commonest form of analysis is the spatial grey-level dependence matrix method, but there is no direct evidence concerning the most appropriate pixel separation and number of grey levels to utilise in the required co-occurrence matrix calculations. The aim of this work is to systematically assess the efficacy of DCE-MRI based textural analysis in predicting response to chemotherapy in a cohort of breast cancer patients. In addition an attempt was made to use shape parameters in order to assess tumour surface irregularity, and as a predictor of response to chemotherapy.In further work this study aimed to texture map DCE MR images of breast patients utilising the co-occurrence method but on a pixel by pixel basis in order to determine threshold values for normal, benign and malignant tissue and ultimately creating functionality within the in house developed software to highlight hotspots outlining areas of interest (possible lesions). Benign and normal data was taken from MRI screening data and malignant data from patients referred with known malignancies.This work has highlighted that textural differences between groups (based on response, nodal status, triple negative and biopsy grade groupings) are apparent and appear to be most evident 1-3 minutes post-contrast administration. Whilst the large number of statistical tests undertaken necessitates a degree of caution in interpreting the results, the fact that significant differences for certain texture parameters and groupings are consistently observed is encouraging.With regards to shape analysis this thesis has highlighted that some differences between groups were seen in shape descriptors but that shape may be limited as a prognostic indicator. Using textural analysis gave a higher proportion of significant differences whilst shape analysis results showed inconsistency across time points.With regards to the mapping this work successfully analysed the texture maps for each case and established lesion detection is possible. The study successfully highlighted hotspots in the breast patients data post texture mapping, and has demonstrated the relationship between sensitivity and false positive rate via hotspot thresholding

X-ray Phase-Contrast Tomography: Underlying Physics and Developments for Breast Imaging

X-ray phase-contrast tomography is a powerful tool to dramatically increase the visibility of features exhibiting a faint attenuation contrast within bulk samples, as is generally the case of light (low-Z) materials. For this reason, the application to clinical tasks aiming at imaging soft tissues, as e.g., breast imaging, has always been a driving force in the development of this field. In this context, the SYRMA-3D project, which constitutes the framework of the present work, aims to develop and implement the first breast computed tomography system relying on the propagation-based phase-contrast technique at the Elettra synchrotron facility (Trieste, Italy). This thesis finds itself in the \u2018last mile\u2019 towards the in-vivo implementation, and the obtained results add some of the missing pieces in the realization of the project. The first part of the work introduces a homogeneous mathematical framework describing propagation-based phase contrast from the sample-induced X-ray refraction, to detection, processing and tomographic reconstruction. The original results reported in the following chapters include the implementation of a pre-processing procedure dedicated for a novel photon-counting CdTe detector; a study, supported by a rigorous theoretical model, on signal and noise dependence on physical parameters such as propagation distance and detector pixel size; hardware and software developments for improving signal-to-noise ratio and reducing the scan time; and, finally, a clinically-oriented study based on comparisons with clinical mammographic and histological images. The last part of the thesis attempts to widen the experimental horizon: first, a quantitative image comparison of the synchrotron-based setup and a clinically available breast-CT scanner is presented and then a practical laboratory implementation is detailed, introducing a monochromatic propagation-based micro-tomography setup making use on a high-power rotating anode source

Texture and Colour in Image Analysis

Research in colour and texture has experienced major changes in the last few years. This book presents some recent advances in the field, specifically in the theory and applications of colour texture analysis. This volume also features benchmarks, comparative evaluations and reviews

Challenges and Opportunities of End-to-End Learning in Medical Image Classification

Das Paradigma des End-to-End Lernens hat in den letzten Jahren die Bilderkennung revolutioniert, aber die klinische Anwendung hinkt hinterher. Bildbasierte computergestützte Diagnosesysteme basieren immer noch weitgehend auf hochtechnischen und domänen-spezifischen Pipelines, die aus unabhängigen regelbasierten Modellen bestehen, welche die Teilaufgaben der Bildklassifikation wiederspiegeln: Lokalisation von auffälligen Regionen, Merkmalsextraktion und Entscheidungsfindung. Das Versprechen einer überlegenen Entscheidungsfindung beim End-to-End Lernen ergibt sich daraus, dass domänenspezifische Zwangsbedingungen von begrenzter Komplexität entfernt werden und stattdessen alle Systemkomponenten gleichzeitig, direkt anhand der Rohdaten, und im Hinblick auf die letztendliche Aufgabe optimiert werden. Die Gründe dafür, dass diese Vorteile noch nicht den Weg in die Klinik gefunden haben, d.h. die Herausforderungen, die sich bei der Entwicklung Deep Learning-basierter Diagnosesysteme stellen, sind vielfältig: Die Tatsache, dass die Generalisierungsfähigkeit von Lernalgorithmen davon abhängt, wie gut die verfügbaren Trainingsdaten die tatsächliche zugrundeliegende Datenverteilung abbilden, erweist sich in medizinische Anwendungen als tiefgreifendes Problem. Annotierte Datensätze in diesem Bereich sind notorisch klein, da für die Annotation eine kostspielige Beurteilung durch Experten erforderlich ist und die Zusammenlegung kleinerer Datensätze oft durch Datenschutzauflagen und Patientenrechte erschwert wird. Darüber hinaus weisen medizinische Datensätze drastisch unterschiedliche Eigenschaften im Bezug auf Bildmodalitäten, Bildgebungsprotokolle oder Anisotropien auf, und die oft mehrdeutige Evidenz in medizinischen Bildern kann sich auf inkonsistente oder fehlerhafte Trainingsannotationen übertragen. Während die Verschiebung von Datenverteilungen zwischen Forschungsumgebung und Realität zu einer verminderten Modellrobustheit führt und deshalb gegenwärtig als das Haupthindernis für die klinische Anwendung von Lernalgorithmen angesehen wird, wird dieser Graben oft noch durch Störfaktoren wie Hardwarelimitationen oder Granularität von gegebenen Annotation erweitert, die zu Diskrepanzen zwischen der modellierten Aufgabe und der zugrunde liegenden klinischen Fragestellung führen. Diese Arbeit untersucht das Potenzial des End-to-End-Lernens in klinischen Diagnosesystemen und präsentiert Beiträge zu einigen der wichtigsten Herausforderungen, die derzeit eine breite klinische Anwendung verhindern. Zunächst wird der letzten Teil der Klassifikations-Pipeline untersucht, die Kategorisierung in klinische Pathologien. Wir demonstrieren, wie das Ersetzen des gegenwärtigen klinischen Standards regelbasierter Entscheidungen durch eine groß angelegte Merkmalsextraktion gefolgt von lernbasierten Klassifikatoren die Brustkrebsklassifikation im MRT signifikant verbessert und eine Leistung auf menschlichem Level erzielt. Dieser Ansatz wird weiter anhand von kardiologischer Diagnose gezeigt. Zweitens ersetzen wir, dem Paradigma des End-to-End Lernens folgend, das biophysikalische Modell, das für die Bildnormalisierung in der MRT angewandt wird, sowie die Extraktion handgefertigter Merkmale, durch eine designierte CNN-Architektur und liefern eine eingehende Analyse, die das verborgene Potenzial der gelernten Bildnormalisierung und einen Komplementärwert der gelernten Merkmale gegenüber den handgefertigten Merkmalen aufdeckt. Während dieser Ansatz auf markierten Regionen arbeitet und daher auf manuelle Annotation angewiesen ist, beziehen wir im dritten Teil die Aufgabe der Lokalisierung dieser Regionen in den Lernprozess ein, um eine echte End-to-End-Diagnose baserend auf den Rohbildern zu ermöglichen. Dabei identifizieren wir eine weitgehend vernachlässigte Zwangslage zwischen dem Streben nach der Auswertung von Modellen auf klinisch relevanten Skalen auf der einen Seite, und der Optimierung für effizientes Training unter Datenknappheit auf der anderen Seite. Wir präsentieren ein Deep Learning Modell, das zur Auflösung dieses Kompromisses beiträgt, liefern umfangreiche Experimente auf drei medizinischen Datensätzen sowie eine Serie von Toy-Experimenten, die das Verhalten bei begrenzten Trainingsdaten im Detail untersuchen, und publiziren ein umfassendes Framework, das unter anderem die ersten 3D-Implementierungen gängiger Objekterkennungsmodelle umfasst. Wir identifizieren weitere Hebelpunkte in bestehenden End-to-End-Lernsystemen, bei denen Domänenwissen als Zwangsbedingung dienen kann, um die Robustheit von Modellen in der medizinischen Bildanalyse zu erhöhen, die letztendlich dazu beitragen sollen, den Weg für die Anwendung in der klinischen Praxis zu ebnen. Zu diesem Zweck gehen wir die Herausforderung fehlerhafter Trainingsannotationen an, indem wir die Klassifizierungskompnente in der End-to-End-Objekterkennung durch Regression ersetzen, was es ermöglicht, Modelle direkt auf der kontinuierlichen Skala der zugrunde liegenden pathologischen Prozesse zu trainieren und so die Robustheit der Modelle gegenüber fehlerhaften Trainingsannotationen zu erhöhen. Weiter adressieren wir die Herausforderung der Input-Heterogenitäten, mit denen trainierte Modelle konfrontiert sind, wenn sie an verschiedenen klinischen Orten eingesetzt werden, indem wir eine modellbasierte Domänenanpassung vorschlagen, die es ermöglicht, die ursprüngliche Trainingsdomäne aus veränderten Inputs wiederherzustellen und damit eine robuste Generalisierung zu gewährleisten. Schließlich befassen wir uns mit dem höchst unsystematischen, aufwendigen und subjektiven Trial-and-Error-Prozess zum Finden von robusten Hyperparametern für einen gegebene Aufgabe, indem wir Domänenwissen in ein Set systematischer Regeln überführen, die eine automatisierte und robuste Konfiguration von Deep Learning Modellen auf einer Vielzahl von medizinischen Datensetzen ermöglichen. Zusammenfassend zeigt die hier vorgestellte Arbeit das enorme Potenzial von End-to-End Lernalgorithmen im Vergleich zum klinischen Standard mehrteiliger und hochtechnisierter Diagnose-Pipelines auf, und präsentiert Lösungsansätze zu einigen der wichtigsten Herausforderungen für eine breite Anwendung unter realen Bedienungen wie Datenknappheit, Diskrepanz zwischen der vom Modell behandelten Aufgabe und der zugrunde liegenden klinischen Fragestellung, Mehrdeutigkeiten in Trainingsannotationen, oder Verschiebung von Datendomänen zwischen klinischen Standorten. Diese Beiträge können als Teil des übergreifende Zieles der Automatisierung von medizinischer Bildklassifikation gesehen werden - ein integraler Bestandteil des Wandels, der erforderlich ist, um die Zukunft des Gesundheitswesens zu gestalten

Proceedings of the International Workshop on Medical Ultrasound Tomography: 1.- 3. Nov. 2017, Speyer, Germany

Ultrasound Tomography is an emerging technology for medical imaging that is quickly approaching its clinical utility. Research groups around the globe are engaged in research spanning from theory to practical applications. The International Workshop on Medical Ultrasound Tomography (1.-3. November 2017, Speyer, Germany) brought together scientists to exchange their knowledge and discuss new ideas and results in order to boost the research in Ultrasound Tomography

Characterising pattern asymmetry in pigmented skin lesions

Abstract. In clinical diagnosis of pigmented skin lesions asymmetric pigmentation is often indicative of melanoma. This paper describes a method and measures for characterizing lesion symmetry. The estimate of mirror symmetry is computed first for a number of axes at different degrees of rotation with respect to the lesion centre. The statistics of these estimates are the used to assess the overall symmetry. The method is applied to three different lesion representations showing the overall pigmentation, the pigmentation pattern, and the pattern of dermal melanin. The best measure is a 100% sensitive and 96% specific indicator of melanoma on a test set of 33 lesions, with a separate training set consisting of 66 lesions

Advancing fluorescent contrast agent recovery methods for surgical guidance applications

Fluorescence-guided surgery (FGS) utilizes fluorescent contrast agents and specialized optical instruments to assist surgeons in intraoperatively identifying tissue-specific characteristics, such as perfusion, malignancy, and molecular function. In doing so, FGS represents a powerful surgical navigation tool for solving clinical challenges not easily addressed by other conventional imaging methods. With growing translational efforts, major hurdles within the FGS field include: insufficient tools for understanding contrast agent uptake behaviors, the inability to image tissue beyond a couple millimeters, and lastly, performance limitations of currently-approved contrast agents in accurately and rapidly labeling disease. The developments presented within this thesis aim to address such shortcomings. Current preclinical fluorescence imaging tools often sacrifice either 3D scale or spatial resolution. To address this gap in high-resolution, whole-body preclinical imaging tools available, the crux of this work lays on the development of a hyperspectral cryo-imaging system and image-processing techniques to accurately recapitulate high-resolution, 3D biodistributions in whole-animal experiments. Specifically, the goal is to correct each cryo-imaging dataset such that it becomes a useful reporter for whole-body biodistributions in relevant disease models. To investigate potential benefits of seeing deeper during FGS, we investigated short-wave infrared imaging (SWIR) for recovering fluorescence beyond the conventional top few millimeters. Through phantom, preclinical, and clinical SWIR imaging, we were able to 1) validate the capability of SWIR imaging with conventional NIR-I fluorophores, 2) demonstrate the translational benefits of SWIR-ICG angiography in a large animal model, and 3) detect micro-dose levels of an EGFR-targeted NIR-I probe during a Phase 0 clinical trial. Lastly, we evaluated contrast agent performances for FGS glioma resection and breast cancer margin assessment. To evaluate glioma-labeling performance of untargeted contrast agents, 3D agent biodistributions were compared voxel-by-voxel to gold-standard Gd-MRI and pathology slides. Finally, building on expertise in dual-probe ratiometric imaging at Dartmouth, a 10-pt clinical pilot study was carried out to assess the technique’s efficacy for rapid margin assessment. In summary, this thesis serves to advance FGS by introducing novel fluorescence imaging devices, techniques, and agents which overcome challenges in understanding whole-body agent biodistributions, recovering agent distributions at greater depths, and verifying agents’ performance for specific FGS applications