GraphEcho: Graph-Driven Unsupervised Domain Adaptation for Echocardiogram Video Segmentation

Echocardiogram video segmentation plays an important role in cardiac disease diagnosis. This paper studies the unsupervised domain adaption (UDA) for echocardiogram video segmentation, where the goal is to generalize the model trained on the source domain to other unlabelled target domains. Existing UDA segmentation methods are not suitable for this task because they do not model local information and the cyclical consistency of heartbeat. In this paper, we introduce a newly collected CardiacUDA dataset and a novel GraphEcho method for cardiac structure segmentation. Our GraphEcho comprises two innovative modules, the Spatial-wise Cross-domain Graph Matching (SCGM) and the Temporal Cycle Consistency (TCC) module, which utilize prior knowledge of echocardiogram videos, i.e., consistent cardiac structure across patients and centers and the heartbeat cyclical consistency, respectively. These two modules can better align global and local features from source and target domains, improving UDA segmentation results. Experimental results showed that our GraphEcho outperforms existing state-of-the-art UDA segmentation methods. Our collected dataset and code will be publicly released upon acceptance. This work will lay a new and solid cornerstone for cardiac structure segmentation from echocardiogram videos. Code and dataset are available at: https://github.com/xmed-lab/GraphEchoComment: Accepted By ICCV 202

Interpretable Anomaly Detection in Echocardiograms with Dynamic Variational Trajectory Models

We propose a novel anomaly detection method for echocardiogram videos. The introduced method takes advantage of the periodic nature of the heart cycle to learn three variants of a variational latent trajectory model (TVAE). While the first two variants (TVAE-C and TVAE-R) model strict periodic movements of the heart, the third (TVAE-S) is more general and allows shifts in the spatial representation throughout the video. All models are trained on the healthy samples of a novel in-house dataset of infant echocardiogram videos consisting of multiple chamber views to learn a normative prior of the healthy population. During inference, maximum a posteriori (MAP) based anomaly detection is performed to detect out-of-distribution samples in our dataset. The proposed method reliably identifies severe congenital heart defects, such as Ebstein's Anomaly or Shone-complex. Moreover, it achieves superior performance over MAP-based anomaly detection with standard variational autoencoders when detecting pulmonary hypertension and right ventricular dilation. Finally, we demonstrate that the proposed method enables interpretable explanations of its output through heatmaps highlighting the regions corresponding to anomalous heart structures.Comment: accepted at IMLH workshop ICML 202

Echocardiography

The book "Echocardiography - New Techniques" brings worldwide contributions from highly acclaimed clinical and imaging science investigators, and representatives from academic medical centers. Each chapter is designed and written to be accessible to those with a basic knowledge of echocardiography. Additionally, the chapters are meant to be stimulating and educational to the experts and investigators in the field of echocardiography. This book is aimed primarily at cardiology fellows on their basic echocardiography rotation, fellows in general internal medicine, radiology and emergency medicine, and experts in the arena of echocardiography. Over the last few decades, the rate of technological advancements has developed dramatically, resulting in new techniques and improved echocardiographic imaging. The authors of this book focused on presenting the most advanced techniques useful in today's research and in daily clinical practice. These advanced techniques are utilized in the detection of different cardiac pathologies in patients, in contributing to their clinical decision, as well as follow-up and outcome predictions. In addition to the advanced techniques covered, this book expounds upon several special pathologies with respect to the functions of echocardiography

Assisted auscultation : creation and visualization of high dimensional feature spaces for the detection of mitral regurgitation

Thesis (M. Eng.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, June 2006."May 2006."Includes bibliographical references (p. 83-84).Cardiac auscultation, listening to the heart using a stethoscope, often constitutes the first step in detection of common heart problems. Unfortunately, primary care physicians, who perform this initial screening, often lack the experience to correctly evaluate what they hear. False referrals are frequent, costing hundreds of dollars and hours of time for many patients. We report on a system we have built to aid medical practitioners in diagnosing Mitral Regurgitation (MR) based on heart sounds. Our work builds on the "prototypical beat" introduced by Syed in [17] to extract two different feature sets characterizing systolic acoustic activity. One feature set is derived from current medical knowledge. The other is based on unsupervised learning of systolic shapes, using component Analysis. Our system employs self-organizing maps (SOMs) to depict the distribution of patients in each feature space as labels within a two-dimensional colored grid. A user screens new patients by viewing their projections onto the SOM, and determining whether they are closer in space, and thus more similar, to patients with or without MR. We evaluated our system on 46 patients. Using a combination of the two feature sets, SOM-based diagnosis classified patients with accuracy similar to that of a cardiologist.by Daniel Demeny Leeds.M.Eng

Automated assessment of echocardiographic image quality using deep convolutional neural networks

Myocardial ischemia tops the list of causes of death around the globe, but its diagnosis and early detection thrives on clinical echocardiography. Although echocardiography presents a huge advantage of a non-intrusive, low-cost point of care diagnosis, its image quality is inherently subjective with strong dependence on operators’ experience level and acquisition skill. In some countries, echo specialists are mandated to supplementary years of training to achieve ‘gold standard’ free-hand acquisition skill without which exacerbates the reliability of echocardiogram and increases possibility for misdiagnosis. These drawbacks pose significant challenges to adopting echocardiography as authoritative modalities for cardiac diagnosis. However, the prevailing and currently adopted solution is to manually carry out quality evaluation where an echocardiography specialist visually inspects several acquired images to make clinical decisions of its perceived quality and prognosis. This is a lengthening process and laced with variability of opinion consequently affection diagnostic responses. The goal of the research is to provide a multi-discipline, state-of-the-art solution that allows objective quality assessment of echocardiogram and to guarantee the reliability of clinical quantification processes. Computer graphic processing unit simulations, medical imaging analysis and deep convolutional neural network models were employed to achieve this goal. From a finite pool of echocardiographic patient datasets, 1650 random samples of echocardiogram cine-loops from different patients with age ranges from 17 and 85 years, who had undergone echocardiography between 2010 and 2020 were evaluated. We defined a set of pathological and anatomical criteria of image quality by which apical-four and parasternal long axis frames can be evaluated with feasibility for real-time optimization. The selected samples were annotated for multivariate model developments and validation of predicted quality score per frame. The outcome presents a robust artificial intelligence algorithm that indicate frames’ quality rating, real-time visualisation of element of quality and updates quality optimization in real-time. A prediction errors of 0.052, 0.062, 0.069, 0.056 for visibility, clarity, depth-gain, and foreshortening attributes were achieved, respectively. The model achieved a combined error rate of 3.6% with average prediction speed of 4.24 ms per frame. The novel method established a superior approach to two-dimensional image quality estimation, assessment, and clinical adequacy on acquisition of echocardiogram prior to quantification and diagnosis of myocardial infarction

Object detection and segmentation using discriminative learning

Object detection and segmentation algorithms need to use prior knowledge of objects' shape and appearance to guide solutions to correct ones. A promising way of obtaining prior knowledge is to learn it directly from expert annotations by using machine learning techniques. Previous approaches commonly use generative learning approaches to achieve this goal. In this dissertation, I propose a series of discriminative learning algorithms based on boosting principles to learn prior knowledge from image databases with expert annotations. The learned knowledge improves the performance of detection and segmentation, leading to fast and accurate solutions. For object detection, I present a learning procedure called a Probabilistic Boosting Network (PBN) suitable for real-time object detection and pose estimation. Based on the law of total probability, PBN integrates evidence from two building blocks, namely a multiclass classifier for pose estimation and a detection cascade for object detection. Both the classifier and detection cascade employ boosting. By inferring the pose parameter, I avoid the exhaustive scan over pose parameters, which hampers real-time detection. I implement PBN using a graph-structured network that alternates the two tasks of object detection and pose estimation in an effort to reject negative cases as quickly as possible. Compared with previous approaches, PBN has higher accuracy in object localization and pose estimation with noticeable reduced computation. For object segmentation, I cast deformable object segmentation as optimizing the conditional probability density function p(C|I), where I is an image and C is a vector of model parameters describing the object shape. I propose a regression approach to learn the density p(C|I) discriminatively based on boosting principles. The learned density p(C|I) possesses a desired unimodal, smooth shape, which can be used by optimization algorithms to efficiently estimate a solution. To handle the high-dimensional learning challenges, I propose a multi-level approach and a gradient-based sampling strategy to learn regression functions efficiently. I show that the regression approach consistently outperforms state-of-the-art methods on a variety of testing datasets. Finally, I present a comparative study on how to apply three discriminative learning approaches - classification, regression, and ranking - to deformable shape segmentation. I discuss how to extend the idea of the regression approach to build discriminative models using classification and ranking. I propose sampling strategies to collect training examples from a high-dimensional model space for the classification and the ranking approach. I also propose a ranking algorithm based on Rankboost to learn a discriminative model for segmentation. Experimental results on left ventricle and left atrium segmentation from ultrasound images and facial feature localization demonstrate that the discriminative models outperform generative models and energy minimization methods by a large margin

Design and evaluation of echocardiograms codification and transmission for Teleradiology systems

Las enfermedades cardiovasculares son la mayor causa de muerte en el mundo. Aunque la mayoría de muertes por cardiopatías se puede evitar, si las medidas preventivas no son las adecuadas el paciente puede fallecer. Es por esto, que el seguimiento y diagnóstico de pacientes con cardiopatías es muy importante. Numerosos son las pruebas médicas para el diagnostico y seguimiento de enfermedades cardiovasculares, siendo los ecocardiogramas una de las técnicas más ampliamente utilizada. Un ecocardiograma consiste en la adquisición de imágenes del corazón mediante ultrasonidos. Presenta varias ventajas con respecto otras pruebas de imagen: no es invasiva, no produce radiación ionizante y es barata. Por otra parte, los sistemas de telemedicina han crecido rápidamente ya que ofrecen beneficios de acceso a los servicios médicos, una reducción del coste y una mejora de la calidad de los servicios. La telemedicina proporciona servicios médicos a distancia. Estos servicios son de especial ayuda en casos de emergencia médica y para áreas aisladas donde los hospitales y centros de salud están alejados. Los sistemas de tele-cardiología pueden ser clasificados de acuerdo al tipo de pruebas. En esta Tesis nos hemos centrado en los sistemas de tele-ecocardiografia, ya que los ecocardiogramas son ampliamente usados y presentan el mayor reto al ser la prueba médica con mayor flujo de datos. Los mayores retos en los sistemas de tele-ecocardiografia son la compresión y la transmisión garantizando que el mismo diagnóstico es posible tanto en el ecocardiograma original como en el reproducido tras la compresión y transmisión. Los ecocardiogramas deben ser comprimidos tanto para su almacenamiento como para su transmisión ya que estos presentan un enorme flujo de datos que desbordaría el espacio de almacenamiento y no se podría transmitir eficientemente por las redes actuales. Sin embargo, la compresión produce pérdidas que pueden llevar a un diagnostico erróneo de los ecocardiogramas comprimidos. En el caso de que las pruebas ecocardiograficas quieran ser guardadas, una compresión clínica puede ser aplicada previa al almacenamiento. Esta compresión clínica consiste en guardar las partes del ecocardiograma que son importantes para el diagnóstico, es decir, ciertas imágenes y pequeños vídeos del corazón en movimiento que contienen de 1 a 3 ciclos cardiacos. Esta compresión clínica no puede ser aplicada en el caso de transmisión en tiempo real, ya que es el cardiólogo especialista quien debe realizar la compresión clínica y éste se encuentra en recepción, visualizando el echocardiograma transmitido. En cuanto a la transmisión, las redes sin cables presentan un mayor reto que las redes cableadas. Las redes sin cables tienen un ancho de banda limitado, son propensas a errores y son variantes en tiempo lo que puede resultar problemático cuando el ecocardiograma quiere ser transmitido en tiempo real. Además, las redes sin cables han experimentado un gran desarrollo gracias a que permiten un mejor acceso y movilidad, por lo que pueden ofrecer un mayor servicio que las redes cableadas. Dos tipos de sistemas se pueden distinguir acorde a los retos que presenta cada uno de ellos: los sistemas de almacenamiento y reenvió y los sistemas de tiempo real. Los sistemas de almacenamiento y reenvió consisten en la adquisición, almacenamiento y el posterior envió del ecocardiograma sin requerimientos temporales. Una compresión clínica puede ser llevada a cabo previa al almacenamiento. Además de la compresión clínica, una compresión con pérdidas es recomendada para reducir el espacio de almacenamiento y el tiempo de envío, pero sin perder l ainformación diagnóstica de la prueba. En cuanto a la transmisión, al no haber requerimientos temporales, la transmisión no presenta ninguna dificultad. Cualquier protocolo de transmisión fiable puede ser usado para no perder calidad en la imagen debido a la transmisión. Por lo tanto, para estos sistemas sólo nos hemos centrado en la codificación de los ecocardiogramas. Los sistemas de tiempo real consisten en la transmisión del ecocardiograma al mismo tiempo que éste es adquirido. Dado que el envío de video clínico es una de las aplicaciones con mayor demanda de ancho de banda, la compresión para la transmisión es requerida, pero manteniendo la calidad diagnóstica de la imagen. La transmisión en canales sin cables puede ser afectada por errores que distorsionan la calidad del ecocardiograma reconstruido en recepción. Por lo tanto, métodos de control de errores son requeridos para minimizar los errores de transmisión y el retardo introducido. Sin embargo, aunque el ecocardiograma sea visualizado con errores debido a la transmisión, esto no implica que el diagnóstico no sea posible. Dados los retos previamente descritos, las siguientes soluciones para la evaluación clínica, compresión y transmisión han sido propuestas: - Para garantizar que el ecocardiograma es visualizado sin perder información diagnóstica 2 tests han sido diseñados. El primer test define recomendaciones para la compresión de los ecocardiogramas. Consiste en dos fases para un ahorro en el tiempo de realización, pero sin perder por ello exactitud en el proceso de evaluación. Gracias a este test el ecocardiograma puede ser comprimido al máximo sin perder calidad diagnóstica y utilizando así más eficientemente los recursos. El segundo test define recomendaciones para la visualización del ecocardiograma. Este test define rangos de tiempo en los que el ecocardiograma puede ser visualizado con inferior calidad a la establecida en el primer test. Gracias a este test se puede saber si el ecocardiograma es visualizado sin pérdida de calidad diagnóstica cuando se introducen errores en la visualización, sin la necesidad de realizar una evaluación para cada video transmitido o diferentes condiciones de canal. Además, esta metodología puede ser aplicada para la evaluación de otras técnicas de diagnóstico por imagen. - Para la compresión de ecocardiogramas dos métodos de compresión han sido diseñados, uno para el almacenamiento y otro para la transmisión. Diferentes propuestas son diseñadas, ya que los ecocardiogramas para los dos propósitos tienen características diferentes. Para ambos propósitos un método de compresión en la que las facilidades que incorporan los dispositivos de segmentar la imagen y en la que las características de visualización de los ecocardiogramas han sido tenidas en cuenta ha sido diseñado. Para la compresión del ecocardiograma con el propósito de almacenarlo un formato de almacenamiento fácilmente integrable con DICOM basado en regiones y en el que el tipo de datos y la importancia clínica de cada región es tenido en cuenta ha sido diseñado. DICOM es el formato para el almacenamiento y transmisión de imágenes más ampliamente utilizado actualmente. El formato de compresión propuesto supone un ahorra de hasta el 75 % del espacio de almacenamiento con respecto a la compresión con JPEG 2000, actualmente soportado por DICOM, sin perder calidad diagnostica de la imagen. Los ratios de compresión para el formato propuesto dependen de la distribución de la imagen, pero para una base de datos de 105 ecocardiogramas correspondientes a 4 ecógrafos los ratios obtenidos están comprendidos entre 19 y 41. Para la compresión del ecocardiograma con el propósito de la transmisión en tiempo real un método de compresión basado en regiones en el que el tipo de dato y el modo de visualización han sido tenidos en cuenta se ha diseñado. Dos modos de visualización son distinguidos para la compresión de la región con mayor importancia clínica (ultrasonido), los modos de barrido y los modos 2-D. La evaluación clínica diseñada para las recomendaciones de compresión fue llevada a cabo por 3 cardiologos, 9 ecocardiogramas correspondientes a diferentes pacientes y 3 diferentes ecógrafos. Los ratios de transmisión recomendados fueron de 200 kbps para los modos 2-D y de 40 kbps para los modos de barrido. Si se comparan estos resultados con previas soluciones en la literatura un ahorro mínimo de entre 5 % y el 78 % es obtenido dependiendo del modo. - Para la transmisión en tiempo real de ecocardiogramas un protocolo extremo a extremo basada en el método de compresión por regiones ha sido diseñado. Este protocolo llamado ETP de las siglas en inglés Echocardiogram Transmssion Protocol está diseñado para la compresión y transmisión de las regiones por separado, pudiendo así ofrecer diferentes ratios de compresión y protección de errores para las diferentes regiones de acuerdo a su importancia diagnostica. Por lo tanto, con ETP el ratio de transmisión mínimo recomendado para el método de compresión propuesto puede ser utilizado, usando así eficientemente el ancho de banda y siendo menos sensible a los errores introducidos por la red. ETP puede ser usado en cualquier red, sin embargo, en el caso de que la red introduzca errores se ha diseñado un método de corrección de errores llamado SECM, de las siglas en inglés State Error Control Method. SECM se adapta a las condiciones de canal usando más protección cuando las condiciones empeoran y usando así el ancho de banda eficientemente. Además, la evaluación clínica diseñada para las recomendaciones de visualización ha sido llevada a cabo con la base de datos de la evaluación previa. De esta forma se puede saber si el ecocardiograma es visualizado sin pérdida diagnostica aunque se produzcan errores de transmisión. En esta tesis, por lo tanto, se ha ofrecido una solución para la transmisión en tiempo real y el almacenamiento de ecocardiogramas preservando la información diagnóstica y usando eficientemente los recursos (disco de almacenamiento y ratio de transmisión). Especial soporte se da para la transmisión en redes sin cables, dando soluciones a las limitaciones que estas introducen. Además, las soluciones propuestas han sido probadas y comparadas con otras técnicas con una red de acceso móvil WiMAX, demostrando que el ancho de banda es eficientemente utilizado y que el ecocardiograma es correctamente visualizado de acuerdo con las recomendaciones de visualización dadas por la evaluación clínica