Improving Deep Learning Image Recognition Performance Using Region of Interest Localization Networks

Deep Learning has been gaining momentum and achieving the state-of-the-art results on many visual recognition problems. The roots of this field can be traced back to the 1940s of the 20th century. The field has recently started delivering some interesting results on many image understanding problems. This is mainly due to the availability of powerful hardware that can accelerate the training process. In addition, the growth of the Internet and imaging devices such as mobile phones and cameras has contributed to the increase in the amount of data that can be used to train neural networks. All of these factors have contributed to the success of deep learning on large scale image understanding tasks. Many image understanding problems do not have large training data. This is especially true in many special purpose datasets such as medical images, astronomical images, and environmental images. These application do not have large training datasets because unlike natural images, users do not typically take these images and upload them to the web. In addition, some of these applications, such as medical imaging, have many restrictions on sharing the data in order to protect the privacy of the patients. Finally, the labeling process needed for training natural images can be done by any person, unlike special purpose datasets. For example, in medical imaging, the images must be labeled by medical or clinical experts in the field. This results in datasets that are normally much smaller than natural images datasets as these experts have limited time to invest in the creation of the training sets. Luckily, in many of these applications, the most discriminative features may be present in a small region of interest. In this work, we present a method of training deep learning models on problems with low number of training images. We will do that by localizing a region of interest in these images, which will help reduce the problem of overfitting. In this thesis, two localization architectures are introduced, namely: the naive localization network and the wide localization network (wide net). The latter has several advantages which we explain thoroughly. The first problem we will introduce is the Right whale recognition problem. The problem involves recognizing whales from aerial images by analyzing the callosities pattern on their heads. We will study how localizing the region of interest can be used to make deep learning work on such a small dataset. The second problem we will study is the estimation of the ejection fraction and left ventricle volume by analyzing cardiac MRI images. Automatically estimating the ejection fraction and volume of the heart can help in identifying and diagnosing several cardiac health issues. Similarly, this dataset contains only a small number of training subjects

Caractérisation de vortex intraventriculaires par échographie Doppler ultrarapide

Les maladies cardiaques sont une cause majeure de mortalité dans le monde (la première cause en Amérique du nord [192]), et la prise en charge de ses maladies entraîne des coûts élevés pour la société. La prévalence de l’insuffisance cardiaque augmente fortement avec l’âge, et, avec une population vieillissante, elle va demeurer une préoccupation croissante dans le futur, non seulement pour les pays industrialisés mais aussi pour ceux en développement. Ainsi il est important d’avoir une bonne compréhension de son mécanisme pour obtenir des diagnostics précoces et un meilleur prognostic pour les patients. Parmi les différentes formes d’insuffisance cardiaque, on trouve la dysfonction diastolique qui se traduit par une déficience du remplissage du ventricule. Pour une meilleure compréhension de ce mécanisme, de nombreuses études se sont intéressées au mouvement du sang dans le ventricule. On sait notamment qu’au début de la diastole le flux entrant prend la forme d’un anneau vortical (ou vortex ring). La formation d’un vortex ring par le flux sanguin après le passage d’une valve a été décrite pour la première fois en 1513 par Léonard de Vinci (Fig. 0.1). En effet après avoir moulé l’aorte dans du verre et ajouter des graines pour observer le flux se déplaçant dans son fantôme, il a décrit l’apparition du vortex au passage de la valve aortique. Ces travaux ont pu être confirmés 500 ans plus tard avec l’apparition de l’IRM [66]. Dans le ventricule, le même phénomène se produit après la valve mitrale, c’est ce qu’on appelle le vortex diastolique. Or, le mouvement d’un fluide (ici le sang) est directement relié a son environnement : la forme du ventricule, la forme de la valve, la rigidité des parois... L’intérêt est donc grandissant pour étudier de manière plus approfondie ce vortex diastolique qui pourrait apporter de précieuses informations sur la fonction diastolique. Les modalités d’imagerie permettant de le visualiser sont l’IRM et l’échographie. Cette thèse présente l’ensemble des travaux effectués pour permettre une meilleure caractérisation du vortex diastolique dans le ventricule gauche par imagerie ultrasonore Doppler. Pour suivre la dynamique de ce vortex dans le temps, il est important d’obtenir une bonne résolution temporelle. En effet, la diastole ventriculaire dure en moyenne 0.5 s pour un coeur humain au repos, une cadence élevée est donc essentielle pour suivre les différentes étapes de la diastole. La qualité des signaux Doppler est également primordiale pour obtenir une bonne estimation des vitesses du flux sanguin dans le ventricule. Pour étudier ce vortex, nous nous sommes intéressés à la mesure de sa vorticité en son centre v et à l’évolution de cette dernière dans le temps. Le travail se divise ainsi en trois parties, pour chaque un article a été rédigé : 1. Développement d’une séquence Doppler ultrarapide : La séquence se base sur l’utilisation d’ondes divergentes qui permettent d’atteindre une cadence d’image élevée. Associée à la vortographie, une méthode pour localiser le centre du vortex diastolique et en déduire sa vorticité, nous avons pu suivre la dynamique de la vorticité dans le temps. Cette séquence a permis d’établir une preuve de concept grâce à des acquisitions in vitro et in vivo sur des sujets humains volontaires. 2. Développement d’une séquence triplex : En se basant sur la séquence ultrarapide Doppler, on cherche ici à ajouter des informations supplémentaires, notamment sur le mouvement des parois. La séquence triplex permet non seulement de récupérer le mouvement sanguin avec une haute cadence d’images mais aussi le Doppler tissulaire. Au final, nous avons pu déduire les Doppler couleur, tissulaire, et spectral, en plus d’un Bmode de qualité grâce à la compensation de mouvement. On peut alors observer l’interdépendance entre la dynamique du vortex et celle des parois, en récupérant tous les indices nécessaires sur le même cycle cardiaque avec une acquisition unique. 3. Développement d’un filtre automatique : La quantification de la vorticité dépend directement des vitesses estimées par le Doppler. Or, en raison de leur faible amplitude, les signaux sanguins doivent être filtrés. En effet lors de l’acquisition les signaux sont en fait une addition des signaux sanguins et tissulaires. Le filtrage est une étape essentielle pour une estimation précise et non biaisée de la vitesse. La dernière partie de ce doctorat s’est donc concentrée sur la mise au point d’un filtre performant qui se base sur les dimensions spatiales et temporelles des acquisitions. On effectue ainsi un filtrage du tissu mais aussi du bruit. Une attention particulière a été portée à l’automatisation de ce filtre avec l’utilisation de critères d’information qui se basent sur la théorie de l’information.Heart disease is one of the leading causes of death in the world (first cause in North America [192]), and causes high health care costs for society. The prevalence of heart failure increases dramatically with age and, due to the ageing of the population, will remain a major concern in the future, not only for developed countries, but also for developing countries. It is therefore crucial to have a good understanding of its mechanism to obtain an early diagnosis and a better prognosis for patients. Diastolic dysfunction is one of the variations of heart failure and leads to insufficient filling of the ventricle. To better understand the dysfunction, several studies have examined the blood motion in the ventricle. It is known that at the beginning of diastole, the filling flow creates a vortex pattern known as a vortex ring. This development of the ring by blood flow after passage through a valve was first described in 1513 by Leonardo Da Vinci (Fig. 0.1). After molding a glass phantom in an aorta and adding seeds to visually observe the flow through the phantom, he could describe the vortex ring development of the blood coming out of the aortic valve. His work was confirmed 500 years later with the emergence of MRI [66]. The same pattern can be observed in the left ventricle when the flow emerges from the mitral valve, referred to as the diastolic vortex. The flow motion (in our case the blood) is directly related to its environment : shape of the ventricle, shape of the valve, stiffness of the walls... There is therefore a growing interest in further studies on this diastolic vortex that could lead to valuable information on diastolic function. The imaging modalities which can be used to visualize the vortex are MRI and ultrasound. This thesis presents the work carried out to allow a better characterization of the diastolic vortex in the left ventricle by Doppler ultrasound imaging. For temporal monitoring of vortex dynamics, a high temporal resolution is required, since the ventricular diastole is about 0.5 s on average for a resting human heart. The quality of Doppler signals is also of utmost importance to get an accurate estimate of the blood flow velocity in the ventricle. To study this vortex, we focused on evaluating the core vorticity evaluation and especially on its evolution in time. The work is divided in three parts, and for each of them an article has been written : 1. Ultrafast Doppler sequence : The sequence is based on diverging waves, which resulted in a high frame rate. In combination with vortography, a method to locate the vortex core and derive its vorticity, the vortex dynamics could be tracked over time. This ix sequence could establish a proof of concept based on in vitro and in vivo acquisitions on healthy human volunteers. 2. Triplex sequence : Based on the ultrafast sequence, we were interested in adding information on the wall motion. The triplex sequence is able to recover not only the blood motion with a high framerate but also tissue Doppler. In the end, we could derive color, tissue, and spectral Doppler, along with a high quality Bmode by using motion compensation. The interdependence between vortex and walls dynamics could be highlighted by acquiring all the required parameters over a single cardiac cycle. 3. Automatic clutter filter : Vorticity quantification depends directly on the estimation of Doppler velocity. However, due to their low amplitude, blood signals must be filtered. Indeed, acquired signals are actually an addition of tissue and blood signals. Filtering is a critical step for an unbiased and accurate velocity estimation. The last part of this doctoral thesis has focused on the design of an efficient filter that takes advantage of the temporal and spatial dimensions of the acquisitions. Thus the tissue alongside the noise is removed. Particular care was taken to automatize the filter by applying information criteria based on information theory