Multi-stage Multi-recursive-input Fully Convolutional Networks for Neuronal Boundary Detection

In the field of connectomics, neuroscientists seek to identify cortical connectivity comprehensively. Neuronal boundary detection from the Electron Microscopy (EM) images is often done to assist the automatic reconstruction of neuronal circuit. But the segmentation of EM images is a challenging problem, as it requires the detector to be able to detect both filament-like thin and blob-like thick membrane, while suppressing the ambiguous intracellular structure. In this paper, we propose multi-stage multi-recursive-input fully convolutional networks to address this problem. The multiple recursive inputs for one stage, i.e., the multiple side outputs with different receptive field sizes learned from the lower stage, provide multi-scale contextual boundary information for the consecutive learning. This design is biologically-plausible, as it likes a human visual system to compare different possible segmentation solutions to address the ambiguous boundary issue. Our multi-stage networks are trained end-to-end. It achieves promising results on two public available EM segmentation datasets, the mouse piriform cortex dataset and the ISBI 2012 EM dataset.Comment: Accepted by ICCV201

Anatomical Mirroring: Real-time User-specific Anatomy in Motion Using a Commodity Depth Camera

International audienceThis paper presents a mirror-like augmented reality (AR) system to display the internal anatomy of a user. Using a single Microsoft V2.0 Kinect, we animate in real-time a user-specific internal anatomy according to the user’s motion and we superimpose it onto the user’s color map. The user can visualize his anatomy moving as if he was able to look inside his own body in real-time. A new calibration procedure to set up and attach a user-specific anatomy to the Kinect body tracking skeleton is introduced. At calibration time, the bone lengths are estimated using a set of poses. By using Kinect data as input, the practical limitation of skin correspondance in prior work is overcome. The generic 3D anatomical model is attached to the internal anatomy registration skeleton, and warped on the depth image using a novel elastic deformer, subject to a closest-point registration force and anatomical constraints. The noise in Kinect outputs precludes any realistic human display. Therefore, a novel filter to reconstruct plausible motions based onfixed length bones as well as realistic angular degrees of freedom (DOFs) and limits is introduced to enforce anatomical plausibility. Anatomical constraints applied to the Kinect body tracking skeleton joints are used to maximize the physical plausibility of the anatomy motion, while minimizing the distance to the raw data. At run-time,a simulation loop is used to attract the bones towards the raw data, and skinning shaders efficiently drag the resulting anatomy to the user’s tracked motion.Our user-specific internal anatomy model is validated by comparing the skeleton with segmented MRI images. A user study is established to evaluate the believability of the animated anatomy

Performance evaluation of deep feature learning for RGB-D image/video classification

Deep Neural Networks for image/video classification have obtained much success in various computer vision applications. Existing deep learning algorithms are widely used on RGB images or video data. Meanwhile, with the development of low-cost RGB-D sensors (such as Microsoft Kinect and Xtion Pro-Live), high-quality RGB-D data can be easily acquired and used to enhance computer vision algorithms [14]. It would be interesting to investigate how deep learning can be employed for extracting and fusing features from RGB-D data. In this paper, after briefly reviewing the basic concepts of RGB-D information and four prevalent deep learning models (i.e., Deep Belief Networks (DBNs), Stacked Denoising Auto-Encoders (SDAE), Convolutional Neural Networks (CNNs) and Long Short-Term Memory (LSTM) Neural Networks), we conduct extensive experiments on five popular RGB-D datasets including three image datasets and two video datasets. We then present a detailed analysis about the comparison between the learned feature representations from the four deep learning models. In addition, a few suggestions on how to adjust hyper-parameters for learning deep neural networks are made in this paper. According to the extensive experimental results, we believe that this evaluation will provide insights and a deeper understanding of different deep learning algorithms for RGB-D feature extraction and fusion

Potentiale von Laserscannern zur Phänotypisierung von Pflanzen für den Einsatz im Hochdurchsatz-Screening

Die Züchtung hochertragreicher Pflanzen ist von essentieller Wichtigkeit für die Ernährung der Weltbevölkerung. Diese Züchtung geht einher mit einer genauen Analyse der Interaktion zwischen pflanzlichem Genom und Umwelteinflüssen, die gemeinsam den Phänotyp der Pflanze bilden. Phänotypisierung beschreibt den Vorgang der Vermessung, um die Größe von Pflanzen, Wachstum, Leistungsfähigkeit, Architektur und Zusammensetzung mit einer bestimmten Genauigkeit in verschiedenen Skalen mit verschiedenen Sensoren, vom Organ bis hin zum Bestand zu bestimmen. Ein neuer Sensor in diesem Feld ist der Laserscanner. Durch Laserscanning lässt sich die dreidimensionale Geometrie der Pflanzenoberfläche vermessen. Das Ergebnis ist eine punktweise Beschreibung der 3D-Koordinaten auf der Oberfläche. Im Rahmen dieser Arbeit wurde die Genauigkeit der Lasermessungen mit konventionellen Methoden zur Vermessung von Pflanzen verglichen. In verschiedenen Experimenten wurde die Anwendbarkeit des Sensors für die Verfolgung von Wachstum auf Pflanzen und Organebene gezeigt. Die Messung von Wachstum bedarf wiederholter Messungen in kurzen zeitlichen Abständen. Diese Messungen mit hohem Durchsatz erzeugen sehr große Datenmengen. Dabei ist die manuelle Auswertung zeit- und kostenintensiv. Durch Entwicklung einer Auswertemethode auf Grundlage von punktweisen Oberflächenmerkmalen und Support Vector Machines konnte die Segmentierung und Parametrisierung der Organe automatisiert werden. Dabei wurden verschiedene Auflösungen der Punktwolke getestet um eine sensorunabhängige Anwendbarkeit des Algorithmus zu gewährleisten. Das benutzte Lasertriangulations-verfahren beruht auf der Emittierung einer Laserlinie und der Aufnahme der Reflektion durch eine Kamera. Dies ermöglicht die Ableitung dreidimensionaler Informationen. Die Genauigkeit dieser Messung hängt unter anderem von der Interaktion des Laserstrahls mit dem pflanzlichen Gewebe ab. In verschiedenen Experimenten wurde die Interaktion mit Chlorophyll, das Eindringverhalten in die Epidermis, der Einfluss des physiologischen Stadiums, sowie die Interaktion mit Pflanzenkrankheiten (Mehltau) erörtert und quantifiziert. Das im Rahmen dieser Arbeit benutzte Lasermesssystem setzt sehr hohe Investitionskosten voraus. Daher wurden zwei alternative Low-Cost 3D-Messsysteme evaluiert. Diese Evaluierung erfolgte durch die Vermessung hochpräziser Testobjekte, sowie durch die Messung und Ableitung von phänotypischen Parametern an Getreide- und Rübenpflanzen. Es wurde deutlich, dass sich das investitionsintensive Messsystem je nach fokussiertem Parameter durch ein Low-Cost Systems ersetzen lässt. Diese Arbeit und die begleitenden Publikationen führen das Laserscanning als hochgenaues Werkzeug zur Ableitung phänotypischer Parameter bei Pflanzen ein. Die Anwendbarkeit als Ersatz zu konventionellen Messmethoden wurde gezeigt. Weiterhin wurden Methoden zur automatisierten Ableitung phänotypisch wichtiger Parameter entwickelt und evaluiert. Die Interaktion zwischen Laserstrahl und pflanzlicher Oberfläche wurde untersucht und quantifiziert. Abschließend wurden Low-Cost Systeme als Ersatz für das benutzte investitionsintensive Industriemesssystem untersucht. Laserscanning stellt ein effizientes, genaues und evaluiertes Messsystem dar, welches die Anforderungen zur Phänotypisierung von Pflanzen erfüllt und zur Bearbeitung phänotypischer Aufgaben benutzt werden kann.Potential of laserscanners for plant phenotyping for use in high-throughput screening Breeding of plants with high yield is essential for feeding future world population. Thus, breeding comes together with a detailed analysis of the interaction between plant genotype and environmental influences, which creates the plant phenotype. Phenotyping describes the act of measuring the plant to derive a measurement for size, growth, fitness, architecture and composition according to a specific accuracy at different scales with different sensors from the organ to the plot. A new sensor, the laserscanner, has been introduced in the field of plant phenotyping. Using laserscanning the three dimensional geometry of the plant surface can be measured. The result is a pointwise description of the 3D-coordinate of the surface. One part of this work is the comparison of the accuracy of the laserscanner with conventional measuring techniques. Applicability has been shown for tracking of growth on plant and organ level. Measuring of growth requires repeated measurements at short time intervals. This high throughput measuring generates huge amounts of data. Manual analysis is time intensive and costly. By developing an analysis method using pointwise surface features and support vector machines the process of segmentation and parameterization of plant organs could be automated. Different scan resolutions have been tested to proof a sensor independent usability. The technique of laser triangulation uses an emitted laser line and the recording of its reflection by a camera. This enables the derivation of three dimensional information (laser triangulation). The accuracy of this measurement is affected by the interaction between laser ray and plant tissue. Different experiments show and quantify the interaction with chlorophyll, the penetration of the laser into the epidermis layer, the influence of the physiological state of the plant as well as the interaction with plant diseases (mildew). The used laserscanning system requires high invocation cost. Therefore alternative low-cost methods have been evaluated. This evaluation was performed by measuring highly accurate test specimen, as well as measuring and derivation of phenotypic parameters from cereal and sugar beet plants. It was shown that an expensive measuring system could be replaced, depending on the focused parameter, by a low-cost system. This work and accompanying publications introduce the laserscanner as a highly accurate tool for the derivation of phenotypic parameters from plants. The applicability as a replacement for conventional measuring systems has been shown. Furthermore, methods for the automated derivation of phenotypic parameters have been developed and evaluated. The interaction between laser ray and plant tissue has been evaluated and quantified. Finally low-cost sensors have been analyzed as an alternative for the expensive industrial measuring system. Thus, laserscanning depicts an efficient, accurate and evaluated measuring system that meets the requirements of plant phenotyping to solve phenotypic tasks

Potentiale von Laserscannern zur Phänotypisierung von Pflanzen für den Einsatz im Hochdurchsatz-Screening

Die Züchtung hochertragreicher Pflanzen ist von essentieller Wichtigkeit für die Ernährung der Weltbevölkerung. Diese Züchtung geht einher mit einer genauen Analyse der Interaktion zwischen pflanzlichem Genom und Umwelteinflüssen, die gemeinsam den Phänotyp der Pflanze bilden. Phänotypisierung beschreibt den Vorgang der Vermessung, um die Größe von Pflanzen, Wachstum, Leistungsfähigkeit, Architektur und Zusammensetzung mit einer bestimmten Genauigkeit in verschiedenen Skalen mit verschiedenen Sensoren, vom Organ bis hin zum Bestand zu bestimmen. Ein neuer Sensor in diesem Feld ist der Laserscanner. Durch Laserscanning lässt sich die dreidimensionale Geometrie der Pflanzenoberfläche vermessen. Das Ergebnis ist eine punktweise Beschreibung der 3D-Koordinaten auf der Oberfläche. Im Rahmen dieser Arbeit wurde die Genauigkeit der Lasermessungen mit konventionellen Methoden zur Vermessung von Pflanzen verglichen. In verschiedenen Experimenten wurde die Anwendbarkeit des Sensors für die Verfolgung von Wachstum auf Pflanzen und Organebene gezeigt. Die Messung von Wachstum bedarf wiederholter Messungen in kurzen zeitlichen Abständen. Diese Messungen mit hohem Durchsatz erzeugen sehr große Datenmengen. Dabei ist die manuelle Auswertung zeit- und kostenintensiv. Durch Entwicklung einer Auswertemethode auf Grundlage von punktweisen Oberflächenmerkmalen und Support Vector Machines konnte die Segmentierung und Parametrisierung der Organe automatisiert werden. Dabei wurden verschiedene Auflösungen der Punktwolke getestet um eine sensorunabhängige Anwendbarkeit des Algorithmus zu gewährleisten. Das benutzte Lasertriangulations-verfahren beruht auf der Emittierung einer Laserlinie und der Aufnahme der Reflektion durch eine Kamera. Dies ermöglicht die Ableitung dreidimensionaler Informationen. Die Genauigkeit dieser Messung hängt unter anderem von der Interaktion des Laserstrahls mit dem pflanzlichen Gewebe ab. In verschiedenen Experimenten wurde die Interaktion mit Chlorophyll, das Eindringverhalten in die Epidermis, der Einfluss des physiologischen Stadiums, sowie die Interaktion mit Pflanzenkrankheiten (Mehltau) erörtert und quantifiziert. Das im Rahmen dieser Arbeit benutzte Lasermesssystem setzt sehr hohe Investitionskosten voraus. Daher wurden zwei alternative Low-Cost 3D-Messsysteme evaluiert. Diese Evaluierung erfolgte durch die Vermessung hochpräziser Testobjekte, sowie durch die Messung und Ableitung von phänotypischen Parametern an Getreide- und Rübenpflanzen. Es wurde deutlich, dass sich das investitionsintensive Messsystem je nach fokussiertem Parameter durch ein Low-Cost Systems ersetzen lässt. Diese Arbeit und die begleitenden Publikationen führen das Laserscanning als hochgenaues Werkzeug zur Ableitung phänotypischer Parameter bei Pflanzen ein. Die Anwendbarkeit als Ersatz zu konventionellen Messmethoden wurde gezeigt. Weiterhin wurden Methoden zur automatisierten Ableitung phänotypisch wichtiger Parameter entwickelt und evaluiert. Die Interaktion zwischen Laserstrahl und pflanzlicher Oberfläche wurde untersucht und quantifiziert. Abschließend wurden Low-Cost Systeme als Ersatz für das benutzte investitionsintensive Industriemesssystem untersucht. Laserscanning stellt ein effizientes, genaues und evaluiertes Messsystem dar, welches die Anforderungen zur Phänotypisierung von Pflanzen erfüllt und zur Bearbeitung phänotypischer Aufgaben benutzt werden kann.Potential of laserscanners for plant phenotyping for use in high-throughput screening Breeding of plants with high yield is essential for feeding future world population. Thus, breeding comes together with a detailed analysis of the interaction between plant genotype and environmental influences, which creates the plant phenotype. Phenotyping describes the act of measuring the plant to derive a measurement for size, growth, fitness, architecture and composition according to a specific accuracy at different scales with different sensors from the organ to the plot. A new sensor, the laserscanner, has been introduced in the field of plant phenotyping. Using laserscanning the three dimensional geometry of the plant surface can be measured. The result is a pointwise description of the 3D-coordinate of the surface. One part of this work is the comparison of the accuracy of the laserscanner with conventional measuring techniques. Applicability has been shown for tracking of growth on plant and organ level. Measuring of growth requires repeated measurements at short time intervals. This high throughput measuring generates huge amounts of data. Manual analysis is time intensive and costly. By developing an analysis method using pointwise surface features and support vector machines the process of segmentation and parameterization of plant organs could be automated. Different scan resolutions have been tested to proof a sensor independent usability. The technique of laser triangulation uses an emitted laser line and the recording of its reflection by a camera. This enables the derivation of three dimensional information (laser triangulation). The accuracy of this measurement is affected by the interaction between laser ray and plant tissue. Different experiments show and quantify the interaction with chlorophyll, the penetration of the laser into the epidermis layer, the influence of the physiological state of the plant as well as the interaction with plant diseases (mildew). The used laserscanning system requires high invocation cost. Therefore alternative low-cost methods have been evaluated. This evaluation was performed by measuring highly accurate test specimen, as well as measuring and derivation of phenotypic parameters from cereal and sugar beet plants. It was shown that an expensive measuring system could be replaced, depending on the focused parameter, by a low-cost system. This work and accompanying publications introduce the laserscanner as a highly accurate tool for the derivation of phenotypic parameters from plants. The applicability as a replacement for conventional measuring systems has been shown. Furthermore, methods for the automated derivation of phenotypic parameters have been developed and evaluated. The interaction between laser ray and plant tissue has been evaluated and quantified. Finally low-cost sensors have been analyzed as an alternative for the expensive industrial measuring system. Thus, laserscanning depicts an efficient, accurate and evaluated measuring system that meets the requirements of plant phenotyping to solve phenotypic tasks

Objectivation et standardisation des évaluations ergonomiques des postes de travail à partir de données Kinect

Evaluation of potential risks of musculoskeletal disorders in real workstations is challenging as the environment is cluttered, which makes it difficult to correctly and accurately assess the pose of a worker. Most of the traditional motion capture systems cannot deal with these workplace constraints. Being marker-free and calibration-free, Microsoft Kinect is a promising device to assess these poses, but the validity of the delivered kinematic data under work conditions is still unknown. In this thesis we first propose an extensive validation of the Kinect system in an ergonomic assessment context with sub-optimal capture condition. As most of the large inaccuracies come from occlusions, we propose a new example-based method to correct unreliable poses delivered by the Kinect in such a situation. We introduced the Filtered Pose Graph structure to make the method select the most relevant candidates before combination. In an ergonomics context, we computed RULA scores and compared them to those computed from an optoelectronic mocap system. We also propose to challenge our method in real workplace environment and compared its performance to experts' evaluation in the Faurecia company. Finally, we evaluated the relevance of the proposed method to estimate internal joint torques thanks to inverse dynamics, even if occlusions occur. Our method opens new perspectives to define new fatigue or solicitation indexes based on continuous measurement contrary to classical static images generally used in ergonomics. The computation time enables real-time feedback and interaction with the operator.L'analyse ergonomique des postes de travail reste le point de départ de toute politique de prévention des risques de maladies professionnelles. De nombreux travaux scientifiques s'attachent à quantifier les déterminants à risque pour aboutir le plus souvent à un score de pénibilité. La difficulté actuelle des méthodes de cotation ergonomique se situe au niveau de la capture de ces déterminants. La majorité des systèmes se limitent à une collecte de données souvent subjective et très influencé par la personne effectuant la cotation. La volonté de l'entreprise par le biais de ce stage est d'objectiver l'analyse ergonomique des postes de travail par une capture du mouvement de l'opérateur. Le principale défi est le passage d'outil et de méthode scientifique à une utilisation de terrain avec toutes les contraintes qu'elle induit.L'apport des avancées technologiques et scientifiques encourage ce passage par des outils utilisable dans le contexte industriel. Les deux principaux objectif de ce stage se sont situer premièrement sur la limitation des biais de capture pour amener un précision et un standardisation de la mesure de terrain, ainsi que sur l'accès à de nouvelles données notamment l'aspect temporel de la tâche effectuée. Le matériel utilisé est le capteur de profondeur Kinect développé par Microsoft. Cet appareil fait l'objet d’études scientifique dans différents domaines et plus particulièrement dans son utilisation pour de la capture de mouvements.Lors de ce stage, nous nous somme attaché à traiter le signal émis par la Kinect, pour obtenir des données permettant le remplissage automatique de grille de cotation. Le bruit de mesure fût travailler à l'aide d'un filtre récursif passe bas utilisé fréquemment en laboratoire d'analyse du mouvement. Le traitement des données spatiales brut des articulations de l'opérateur pour obtenir des angles fit l'objet d'un grande partie du travail, car ne nombreux paramètre entre en jeu comme la position du capteur.La réussite du stage à permis de limiter la subjectivité de la mesure mais à également donnée l'accès à de nouveaux indices comme les pourcentage de temps de cycle passé à des angulations dangereuses pour l'opérateur. Le passage d'outil de laboratoire au terrain mérite encore d'être travaillé notamment dans la robustesse des systèmes développés et doit s'appuyer sur des expérimentations de laboratoire