Temporal coherence-based self-supervised learning for laparoscopic workflow analysis

In order to provide the right type of assistance at the right time, computer-assisted surgery systems need context awareness. To achieve this, methods for surgical workflow analysis are crucial. Currently, convolutional neural networks provide the best performance for video-based workflow analysis tasks. For training such networks, large amounts of annotated data are necessary. However, collecting a sufficient amount of data is often costly, time-consuming, and not always feasible. In this paper, we address this problem by presenting and comparing different approaches for self-supervised pretraining of neural networks on unlabeled laparoscopic videos using temporal coherence. We evaluate our pretrained networks on Cholec80, a publicly available dataset for surgical phase segmentation, on which a maximum F1 score of 84.6 was reached. Furthermore, we were able to achieve an increase of the F1 score of up to 10 points when compared to a non-pretrained neural network.Comment: Accepted at the Workshop on Context-Aware Operating Theaters (OR 2.0), a MICCAI satellite even

Effect of perinatal adversity on structural connectivity of the developing brain

Globally, preterm birth (defined as birth at <37 weeks of gestation) affects around 11% of deliveries and it is closely associated with cerebral palsy, cognitive impairments and neuropsychiatric diseases in later life. Magnetic Resonance Imaging (MRI) has utility for measuring different properties of the brain during the lifespan. Specially, diffusion MRI has been used in the neonatal period to quantify the effect of preterm birth on white matter structure, which enables inference about brain development and injury. By combining information from both structural and diffusion MRI, is it possible to calculate structural connectivity of the brain. This involves calculating a model of the brain as a network to extract features of interest. The process starts by defining a series of nodes (anatomical regions) and edges (connections between two anatomical regions). Once the network is created, different types of analysis can be performed to find features of interest, thereby allowing group wise comparisons. The main frameworks/tools designed to construct the brain connectome have been developed and tested in the adult human brain. There are several differences between the adult and the neonatal brain: marked variation in head size and shape, maturational processes leading to changes in signal intensity profiles, relatively lower spatial resolution, and lower contrast between tissue classes in the T1 weighted image. All of these issues make the standard processes to construct the brain connectome very challenging to apply in the neonatal population. Several groups have studied the neonatal structural connectivity proposing several alternatives to overcome these limitations. The aim of this thesis was to optimise the different steps involved in connectome analysis for neonatal data. First, to provide accurate parcellation of the cortex a new atlas was created based on a control population of term infants; this was achieved by propagating the atlas from an adult atlas through intermediate childhood spatio-temporal atlases using image registration. After this the advanced anatomically-constrained tractography framework was adapted for the neonatal population, refined using software tools for skull-stripping, tissue segmentation and parcellation specially designed and tested for the neonatal brain. Finally, the method was used to test the effect of early nutrition, specifically breast milk exposure, on structural connectivity in preterm infants. We found that infants with higher exposure to breastmilk in the weeks after preterm birth had improved structural connectivity of developing networks and greater fractional anisotropy in major white matter fasciculi. These data also show that the benefits are dose dependent with higher exposure correlating with increased white matter connectivity. In conclusion, structural connectivity is a robust method to investigate the developing human brain. We propose an optimised framework for the neonatal brain, designed for our data and using tools developed for the neonatal brain, and apply it to test the effect of breastmilk exposure on preterm infants

Automatic recognition of low-level and high-level surgical tasks in the Operating Room from video images

The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.La besoin d'une meilleure intégration des nouveaux systèmes de chirurgie assistée par ordinateur dans les salles d'opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d'opérations avec différents capteurs, puis à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de systèmes de CAO sensibles au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d'abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d'un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l'œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l'apprentissage, mais aussi pour les futurs systèmes sensibles au contexte

Automatic recognition of low-level and high-level surgical tasks in the Operating Room from video images

The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.La besoin d'une meilleure intégration des nouveaux systèmes de chirurgie assistée par ordinateur dans les salles d'opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d'opérations avec différents capteurs, puis à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de systèmes de CAO sensibles au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d'abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d'un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l'œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l'apprentissage, mais aussi pour les futurs systèmes sensibles au contexte

Surgical process modelling: a review.

International audiencePURPOSE: Surgery is continuously subject to technological and medical innovations that are transforming daily surgical routines. In order to gain a better understanding and description of surgeries, the field of surgical process modelling (SPM) has recently emerged. The challenge is to support surgery through the quantitative analysis and understanding of operating room activities. Related surgical process models can then be introduced into a new generation of computer-assisted surgery systems. METHODS: In this paper, we present a review of the literature dealing with SPM. This methodological review was obtained from a search using Google Scholar on the specific keywords: "surgical process analysis", "surgical process model" and "surgical workflow analysis". RESULTS: This paper gives an overview of current approaches in the field that study the procedural aspects of surgery. We propose a classification of the domain that helps to summarise and describe the most important components of each paper we have reviewed, i.e., acquisition, modelling, analysis, application and validation/evaluation. These five aspects are presented independently along with an exhaustive list of their possible instantiations taken from the studied publications. CONCLUSION: This review allows a greater understanding of the SPM field to be gained and introduces future related prospects

Biométrie radiologique de l'avant-bras et de la main, appliquée à l'estimation de l'âge des individus immatures

AIX-MARSEILLE2-BU Méd/Odontol. (130552103) / SudocPARIS-BIUP (751062107) / SudocSudocFranceF

Estimation du poids de naissance de fœtus de petit poids (≤2500g) et de gros poids (≥4 000g) à partir des données échographiques.

International audienc

Reconnaissance automatique des tâches chirurgicales bas-niveaux et haut-niveaux dans la salle d'opération à partir de vidéos

La besoin d une meilleure intégration des nouveaux systèmes de chirurgie assisté par ordinateur dans les salles d opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d opérations avec différents capteurs, puis de à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de système de CAO sensible au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l apprentissage, mais aussi pour les futurs systèmes sensibles au contexte.The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.RENNES1-BU Santé (352382103) / SudocSudocFranceF