215 research outputs found
Temporal coherence-based self-supervised learning for laparoscopic workflow analysis
In order to provide the right type of assistance at the right time,
computer-assisted surgery systems need context awareness. To achieve this,
methods for surgical workflow analysis are crucial. Currently, convolutional
neural networks provide the best performance for video-based workflow analysis
tasks. For training such networks, large amounts of annotated data are
necessary. However, collecting a sufficient amount of data is often costly,
time-consuming, and not always feasible. In this paper, we address this problem
by presenting and comparing different approaches for self-supervised
pretraining of neural networks on unlabeled laparoscopic videos using temporal
coherence. We evaluate our pretrained networks on Cholec80, a publicly
available dataset for surgical phase segmentation, on which a maximum F1 score
of 84.6 was reached. Furthermore, we were able to achieve an increase of the F1
score of up to 10 points when compared to a non-pretrained neural network.Comment: Accepted at the Workshop on Context-Aware Operating Theaters (OR
2.0), a MICCAI satellite even
Effect of perinatal adversity on structural connectivity of the developing brain
Globally, preterm birth (defined as birth at <37 weeks of gestation) affects
around 11% of deliveries and it is closely associated with cerebral palsy,
cognitive impairments and neuropsychiatric diseases in later life.
Magnetic Resonance Imaging (MRI) has utility for measuring different
properties of the brain during the lifespan. Specially, diffusion MRI has been
used in the neonatal period to quantify the effect of preterm birth on white
matter structure, which enables inference about brain development and
injury.
By combining information from both structural and diffusion MRI, is it possible
to calculate structural connectivity of the brain. This involves calculating a
model of the brain as a network to extract features of interest. The process
starts by defining a series of nodes (anatomical regions) and edges
(connections between two anatomical regions). Once the network is created,
different types of analysis can be performed to find features of interest,
thereby allowing group wise comparisons.
The main frameworks/tools designed to construct the brain connectome have
been developed and tested in the adult human brain. There are several
differences between the adult and the neonatal brain: marked variation in
head size and shape, maturational processes leading to changes in signal
intensity profiles, relatively lower spatial resolution, and lower contrast
between tissue classes in the T1 weighted image. All of these issues make
the standard processes to construct the brain connectome very challenging
to apply in the neonatal population. Several groups have studied the neonatal
structural connectivity proposing several alternatives to overcome these
limitations.
The aim of this thesis was to optimise the different steps involved in
connectome analysis for neonatal data. First, to provide accurate parcellation
of the cortex a new atlas was created based on a control population of term
infants; this was achieved by propagating the atlas from an adult atlas
through intermediate childhood spatio-temporal atlases using image
registration. After this the advanced anatomically-constrained tractography
framework was adapted for the neonatal population, refined using software
tools for skull-stripping, tissue segmentation and parcellation specially
designed and tested for the neonatal brain. Finally, the method was used to
test the effect of early nutrition, specifically breast milk exposure, on
structural connectivity in preterm infants. We found that infants with higher
exposure to breastmilk in the weeks after preterm birth had improved
structural connectivity of developing networks and greater fractional
anisotropy in major white matter fasciculi. These data also show that the
benefits are dose dependent with higher exposure correlating with increased
white matter connectivity.
In conclusion, structural connectivity is a robust method to investigate the
developing human brain. We propose an optimised framework for the
neonatal brain, designed for our data and using tools developed for the
neonatal brain, and apply it to test the effect of breastmilk exposure on
preterm infants
Automatic recognition of low-level and high-level surgical tasks in the Operating Room from video images
The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.La besoin d'une meilleure intégration des nouveaux systèmes de chirurgie assistée par ordinateur dans les salles d'opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d'opérations avec différents capteurs, puis à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de systèmes de CAO sensibles au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d'abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d'un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l'œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l'apprentissage, mais aussi pour les futurs systèmes sensibles au contexte
Automatic recognition of low-level and high-level surgical tasks in the Operating Room from video images
The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.La besoin d'une meilleure intégration des nouveaux systèmes de chirurgie assistée par ordinateur dans les salles d'opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d'opérations avec différents capteurs, puis à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de systèmes de CAO sensibles au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d'abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d'un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l'œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l'apprentissage, mais aussi pour les futurs systèmes sensibles au contexte
Surgical process modelling: a review.
International audiencePURPOSE: Surgery is continuously subject to technological and medical innovations that are transforming daily surgical routines. In order to gain a better understanding and description of surgeries, the field of surgical process modelling (SPM) has recently emerged. The challenge is to support surgery through the quantitative analysis and understanding of operating room activities. Related surgical process models can then be introduced into a new generation of computer-assisted surgery systems. METHODS: In this paper, we present a review of the literature dealing with SPM. This methodological review was obtained from a search using Google Scholar on the specific keywords: "surgical process analysis", "surgical process model" and "surgical workflow analysis". RESULTS: This paper gives an overview of current approaches in the field that study the procedural aspects of surgery. We propose a classification of the domain that helps to summarise and describe the most important components of each paper we have reviewed, i.e., acquisition, modelling, analysis, application and validation/evaluation. These five aspects are presented independently along with an exhaustive list of their possible instantiations taken from the studied publications. CONCLUSION: This review allows a greater understanding of the SPM field to be gained and introduces future related prospects
Biométrie radiologique de l'avant-bras et de la main, appliquée à l'estimation de l'âge des individus immatures
AIX-MARSEILLE2-BU Méd/Odontol. (130552103) / SudocPARIS-BIUP (751062107) / SudocSudocFranceF
Reconnaissance automatique des tâches chirurgicales bas-niveaux et haut-niveaux dans la salle d'opération à partir de vidéos
La besoin d une meilleure intégration des nouveaux systèmes de chirurgie assisté par ordinateur dans les salles d opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d opérations avec différents capteurs, puis de à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de système de CAO sensible au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l apprentissage, mais aussi pour les futurs systèmes sensibles au contexte.The need for a better integration of new Computer-Assisted-Surgical systems in the Operating Room (OR) has been recently emphasized. One necessity to achieve this objective is to retrieve data from the OR with different sensors, then to derive models from these data for creating Surgical Process Models (SPMs). Recently, the use of videos from cameras in the OR has demonstrated its efficiency for advancing the creation of situation-aware CAS systems. The purpose of this thesis was to present a new method for the automatic detection of high-level (i.e. surgical phases) and low-level surgical tasks (i.e. surgical activities) from microscope video images only. The first step consisted in the detection of high-level surgical tasks. The idea was to combine state-of-the-art computer vision techniques with time series analysis. Image-based classifiers were implemented for extracting visual cues, therefore characterizing each frame of the video, and time-series algorithms were then applied to model time-varying data. The second step consisted in the detection of low-level surgical tasks. Information concerning surgical tools and anatomical structures were detected through an image-based approach and combined with the information of the current phase within a knowledge-based recognition system. Validated on neurosurgical and eye procedures, we obtained recognition rates of around 94% for the recognition of high-level tasks and 64% for low-level tasks. These recognition frameworks might be helpful for automatic post-operative report generation, learning/teaching purposes, and for future context-aware surgical systems.RENNES1-BU Santé (352382103) / SudocSudocFranceF
Estimation du poids de naissance de fœtus de petit poids (≤2500g) et de gros poids (≥4 000g) à partir des données échographiques.
International audienc
- …