Temporal coherence-based self-supervised learning for laparoscopic workflow analysis

In order to provide the right type of assistance at the right time, computer-assisted surgery systems need context awareness. To achieve this, methods for surgical workflow analysis are crucial. Currently, convolutional neural networks provide the best performance for video-based workflow analysis tasks. For training such networks, large amounts of annotated data are necessary. However, collecting a sufficient amount of data is often costly, time-consuming, and not always feasible. In this paper, we address this problem by presenting and comparing different approaches for self-supervised pretraining of neural networks on unlabeled laparoscopic videos using temporal coherence. We evaluate our pretrained networks on Cholec80, a publicly available dataset for surgical phase segmentation, on which a maximum F1 score of 84.6 was reached. Furthermore, we were able to achieve an increase of the F1 score of up to 10 points when compared to a non-pretrained neural network.Comment: Accepted at the Workshop on Context-Aware Operating Theaters (OR 2.0), a MICCAI satellite even

Effect of perinatal adversity on structural connectivity of the developing brain

Globally, preterm birth (defined as birth at <37 weeks of gestation) affects around 11% of deliveries and it is closely associated with cerebral palsy, cognitive impairments and neuropsychiatric diseases in later life. Magnetic Resonance Imaging (MRI) has utility for measuring different properties of the brain during the lifespan. Specially, diffusion MRI has been used in the neonatal period to quantify the effect of preterm birth on white matter structure, which enables inference about brain development and injury. By combining information from both structural and diffusion MRI, is it possible to calculate structural connectivity of the brain. This involves calculating a model of the brain as a network to extract features of interest. The process starts by defining a series of nodes (anatomical regions) and edges (connections between two anatomical regions). Once the network is created, different types of analysis can be performed to find features of interest, thereby allowing group wise comparisons. The main frameworks/tools designed to construct the brain connectome have been developed and tested in the adult human brain. There are several differences between the adult and the neonatal brain: marked variation in head size and shape, maturational processes leading to changes in signal intensity profiles, relatively lower spatial resolution, and lower contrast between tissue classes in the T1 weighted image. All of these issues make the standard processes to construct the brain connectome very challenging to apply in the neonatal population. Several groups have studied the neonatal structural connectivity proposing several alternatives to overcome these limitations. The aim of this thesis was to optimise the different steps involved in connectome analysis for neonatal data. First, to provide accurate parcellation of the cortex a new atlas was created based on a control population of term infants; this was achieved by propagating the atlas from an adult atlas through intermediate childhood spatio-temporal atlases using image registration. After this the advanced anatomically-constrained tractography framework was adapted for the neonatal population, refined using software tools for skull-stripping, tissue segmentation and parcellation specially designed and tested for the neonatal brain. Finally, the method was used to test the effect of early nutrition, specifically breast milk exposure, on structural connectivity in preterm infants. We found that infants with higher exposure to breastmilk in the weeks after preterm birth had improved structural connectivity of developing networks and greater fractional anisotropy in major white matter fasciculi. These data also show that the benefits are dose dependent with higher exposure correlating with increased white matter connectivity. In conclusion, structural connectivity is a robust method to investigate the developing human brain. We propose an optimised framework for the neonatal brain, designed for our data and using tools developed for the neonatal brain, and apply it to test the effect of breastmilk exposure on preterm infants

Biométrie et modélisation de la croissance chez l'individu immature

http://www.evolhum.cnrs.fr/methodes-anthropobio/index.htm

Automatic recognition of low-level and high-level surgical tasks in the Operating Room from video images

The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.La besoin d'une meilleure intégration des nouveaux systèmes de chirurgie assistée par ordinateur dans les salles d'opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d'opérations avec différents capteurs, puis à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de systèmes de CAO sensibles au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d'abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d'un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l'œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l'apprentissage, mais aussi pour les futurs systèmes sensibles au contexte

Nouvelle génération d’AAV : un mélange de chimie organique et de vectorologie

Adeno-associated viruses or AAVs are used as vectors for therapeutic gene transfer in humans. Their efficacy has been demonstrated for the treatment of genetic diseases with five drugs currently on the market. However, improving their action is a priority today in order to reduce the doses injected and, consequently, to reduce the undesirable effects, the quantities to be produced and therefore the costs. The main techniques to optimize AAVs involve genetic engineering processes. In the framework of this thesis, we opted for an innovative approach, combining organic chemistry and vectorology, to design new chemically modified capsids. Thus, ligands were grafted by covalent coupling onto the AAV2 capsid in order to protect it from circulating antibodies and to guide it to liver cells. After an introductory part, this manuscript describes the synthesis of new molecules allowing to target the receptor to asialoglycoproteins, proteins present on the surface of hepatocytes, as well as the characterization and the study of the biological properties in vitro and in vivo of the chemically modified vectors. The ligands consist of a lysine bioconjugation anchor, a GalNAc-based liver receptor recognition motif, and a triethylene glycol spacer. The in-vivo study on mice, through various biomolecular and histological analyses, has highlighted the interest of modified capsids with a better transduction and a better gene expression in the liver compared to AAV2 for some of our ligands.Les virus adéno-associés ou AAV sont utilisés comme vecteurs pour le transfert de gènes thérapeutiques chez l’homme. Leur efficacité a été démontrée pour le traitement de maladies génétiques avec cinq médicaments actuellement sur le marché. Cependant, améliorer leur action est une priorité aujourd’hui nécessaire pour réduire les doses injectées et en conséquence, diminuer les effets indésirables, les quantités à produire et donc les coûts. Les principales techniques pour optimiser les AAV font intervenir des procédés de génie génétique. Dans le cadre de la thèse, nous avons opté pour une approche innovante, combinant la chimie organique et la vectorologie, pour concevoir de nouvelles capsides chimiquement modifiées. Ainsi, des ligands ont été greffés par couplage covalent sur la capside de l’AAV2 afin de le protéger des anticorps circulants et de le guider vers les cellules du foie. Après une partie introductive, ce manuscrit décrit la synthèse de nouvelles molécules permettant de cibler le récepteur aux asialoglycoprotéines, protéines présentes à la surface des hépatocytes, ainsi que la caractérisation et l’étude des propriétés biologiques in vitro et in vivo des vecteurs chimiquement modifiés. Les ligands sont formés d’une ancre permettant la bioconjugaison des lysines, d’un motif de reconnaissance des récepteurs du foie à base de GalNAc, le tout séparé par un espaceur triéthylène glycol. L’étude in-vivo sur des souris, à travers différentes analyses biomoléculaires et histologiques, a mis en évidence l’intérêt des capsides modifiés avec une meilleure transduction et une meilleure expression du gène dans le foie comparativement à l’AAV2 pour certains de nos ligands

Automatic recognition of low-level and high-level surgical tasks in the Operating Room from video images

The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.La besoin d'une meilleure intégration des nouveaux systèmes de chirurgie assistée par ordinateur dans les salles d'opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d'opérations avec différents capteurs, puis à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de systèmes de CAO sensibles au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d'abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d'un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l'œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l'apprentissage, mais aussi pour les futurs systèmes sensibles au contexte

Nouvelle génération d’AAV : un mélange de chimie organique et de vectorologie

Adeno-associated viruses or AAVs are used as vectors for therapeutic gene transfer in humans. Their efficacy has been demonstrated for the treatment of genetic diseases with five drugs currently on the market. However, improving their action is a priority today in order to reduce the doses injected and, consequently, to reduce the undesirable effects, the quantities to be produced and therefore the costs. The main techniques to optimize AAVs involve genetic engineering processes. In the framework of this thesis, we opted for an innovative approach, combining organic chemistry and vectorology, to design new chemically modified capsids. Thus, ligands were grafted by covalent coupling onto the AAV2 capsid in order to protect it from circulating antibodies and to guide it to liver cells. After an introductory part, this manuscript describes the synthesis of new molecules allowing to target the receptor to asialoglycoproteins, proteins present on the surface of hepatocytes, as well as the characterization and the study of the biological properties in vitro and in vivo of the chemically modified vectors. The ligands consist of a lysine bioconjugation anchor, a GalNAc-based liver receptor recognition motif, and a triethylene glycol spacer. The in-vivo study on mice, through various biomolecular and histological analyses, has highlighted the interest of modified capsids with a better transduction and a better gene expression in the liver compared to AAV2 for some of our ligands.Les virus adéno-associés ou AAV sont utilisés comme vecteurs pour le transfert de gènes thérapeutiques chez l’homme. Leur efficacité a été démontrée pour le traitement de maladies génétiques avec cinq médicaments actuellement sur le marché. Cependant, améliorer leur action est une priorité aujourd’hui nécessaire pour réduire les doses injectées et en conséquence, diminuer les effets indésirables, les quantités à produire et donc les coûts. Les principales techniques pour optimiser les AAV font intervenir des procédés de génie génétique. Dans le cadre de la thèse, nous avons opté pour une approche innovante, combinant la chimie organique et la vectorologie, pour concevoir de nouvelles capsides chimiquement modifiées. Ainsi, des ligands ont été greffés par couplage covalent sur la capside de l’AAV2 afin de le protéger des anticorps circulants et de le guider vers les cellules du foie. Après une partie introductive, ce manuscrit décrit la synthèse de nouvelles molécules permettant de cibler le récepteur aux asialoglycoprotéines, protéines présentes à la surface des hépatocytes, ainsi que la caractérisation et l’étude des propriétés biologiques in vitro et in vivo des vecteurs chimiquement modifiés. Les ligands sont formés d’une ancre permettant la bioconjugaison des lysines, d’un motif de reconnaissance des récepteurs du foie à base de GalNAc, le tout séparé par un espaceur triéthylène glycol. L’étude in-vivo sur des souris, à travers différentes analyses biomoléculaires et histologiques, a mis en évidence l’intérêt des capsides modifiés avec une meilleure transduction et une meilleure expression du gène dans le foie comparativement à l’AAV2 pour certains de nos ligands