Reconnaissance de l’écriture manuscrite avec des réseaux récurrents

Mass digitization of paper documents requires highly efficient optical cha-racter recognition systems. Digital versions of paper documents enable the useof search engines through keyword dectection or the extraction of high levelinformation (e.g. : titles, author, dates). Unfortunately writing recognition sys-tems and especially handwriting recognition systems are still far from havingsimilar performance to that of a human being on the most difficult documents.This industrial PhD (CIFRE) between Airbus DS and the LITIS, that tookplace within the MAURDOR project time frame, aims to seek out and improvethe state of the art systems for handwriting recognition.We compare different systems for handwriting recognition. Our compa-risons include various feature sets as well as various dynamic classifiers : i)Hidden Markov Models, ii) hybrid neural network/HMM, iii) hybrid recurrentnetwork Bidirectional Long Short Term Memory - Connectionist TemporalClassification (BLSTM-CTC)/MMC, iv) a hybrid Conditional Random Fields(CRF)/HMM. We compared these results within the framework of the WR2task of the ICDAR 2009 competition, namely a word recognition task usinga 1600 word lexicon. Our results rank the BLSTM-CTC/HMM system as themost performant, as well as clearly showing that BLSTM-CTCs trained ondifferent features are complementary.Our second contribution aims at using this complementary. We explorevarious combination strategies that take place at different levels of the BLSTM-CTC architecture : low level (early fusion), mid level (within the network),high level (late integration). Here again we measure the performances of theWR2 task of the ICDAR 2009 competition. Overall our results show thatour different combination strategies improve on the single feature systems,moreover our best combination results are close to that of the state of theart system on the same task. On top of that we have observed that some ofour combinations are more adapted for systems using a lexicon to correct amistake, while other are better suited for systems with no lexicon.Our third contribution is focused on tasks related to handwriting recognition. We present two systems, one designed for language recognition, theother one for keyword detection, either from a text query or an image query.For these two tasks our systems stand out from the literature since they usea handwriting recognition step. Indeed most literature systems focus on extracting image features for classification or comparison, wich does not seemappropriate given the tasks. Our systems use a handwriting recognition stepfollowed either by a language detection step or a word detection step, depending on the application.La numérisation massive de documents papier a fait apparaître le besoin d’avoir des systèmes de reconnaissance de l’écriture extrêmement performants. La numérisation de ces documents permet d’effectuer des opérations telles que des recherches de mots clefs ou l’extraction d’informations de haut niveau (titre, auteur, adresses, et.). Cependant la reconnaissance de l’écriture et en particulier l’écriture manuscrite ne sont pas encore au niveau de performance de l’homme sur des documents complexes, ce qui restreint ou nuit à certaines applications. Cette thèse CIFRE entre Airbus DS et le LITIS, dans le cadre du projet MAURDOR, a pour but de mettre en avant et d’améliorer les méthodes état de l’art dans le domaine de la reconnaissance de l’écriture manuscrite. Nos travaux comparent différents systèmes permettant d’effectuer la reconnaissance de l’écriture manuscrite. Nous comparons en particulier différentes caractéristiques et différents classifieurs dynamiques : i) Modèles de Markov Cachés (MMC), ii) hybride réseaux de neurones/MMC, iii) hybride réseaux récurrents « Bidirectional Long Short Term Memory - Connectionist Temporal Classification » (BLSTM-CTC)/MMC et iv) hybride Champs Aléatoires Conditionnels (CAC)/MMC. Les comparaisons sont réalisées dans les conditions de la tâche WR2 de la compétition ICDAR 2009, c’est à dire une tâche de reconnaissance de mots isolés avec un dictionnaire de 1600 mots. Nous montrons la supériorité de l’hybride BLSTM-CTC/MMC sur les autres classifieurs dynamiques ainsi que la complémentarité des sorties des BLSTM-CTC utilisant différentes caractéristiques.Notre seconde contribution vise à exploiter ces complémentarités. Nous explorons des stratégies de combinaisons opérant à différents niveaux de la structure des BLSTM-CTC : bas niveau (en entrée), moyen niveau (dans le réseau), haut niveau (en sortie). Nous nous plaçons de nouveau dans les conditions de la tâche WR2 de la compétition ICDAR 2009. De manière générale nos combinaisons améliorent les résultats par rapport aux systèmes individuels, et nous avoisinons les performances du meilleur système de la compétition. Nous avons observé que certaines combinaisons sont adaptées à des systèmes sans lexique tandis que d’autres sont plus appropriées pour des systèmes avec lexique. Notre troisième contribution se situe sur deux applications liées à la reconnaissance de l’écriture. Nous présentons un système de reconnaissance de la langue ainsi qu’un système de détection de mots clefs, à partir de requêtes images et de requêtes de texte. Dans ces deux applications nous présentons une approche originale faisant appel à la reconnaissance de l’écriture. En effet la plupart des systèmes de la littérature extraient des caractéristiques des image pour déterminer une langue ou trouver des images similaires, ce qui n’est pas nécessairement l’approche la plus adaptée au problème à traiter. Nos approches se basent sur une phase de reconnaissance de l’écriture puis une analyse du texte afin de déterminer la langue ou de détecter un mot clef recherché

Mise en place d'une chaîne d'analyse et de traitement de biopuces

Le but de ce mémoire était d’élaborer des outils informatiques et de les intégrer à une chaîne de traitement et d’analyse des données de biopuces. La chaîne d’analyse mise en place dans ce projet consiste d’abord en SLIMS, un logiciel conçu en PHP et MySQL utilisant des termes compatibles avec les standards MIAME. Il permet le suivi des expériences et des échantillons préalablement à l’extraction des ARN pour les expériences de biopuces. Les données sont prises en charge, à l’aide d’une procédure de transfert, par le logiciel BASE qui gère l’information relative aux biopuces. Finalement, les analyses de données sont réalisées avec différents outils disponibles dans Bioconductor et TM4. Un algorithme a été développé pour annoter tous les gènes de la biopuces. L’analyse d’une d’expérience comparant des épinettes transgéniques surexprimant le gène LIM2 a été faite à l’aide de la chaîne de traitement et d’analyse présentée dans ce mémoire.The goal of this dissertation was to design and implement a microarray analysis pipeline. The first tool of the microarray pipeline is a web-based LIMS: SLIMS. It allows the storage of all data related to experiments and samples from harvest to RNA extraction. This tool was designed in PHP and MySQL allowing easy access and manipulation of the data. A tranfer algorithm was designed to allow stored data to be automatically integrated into the BASE software, a tool that allows storage and analysis of microarray data. An annotation algorithm was also designed in order to annotate genes that are on the microarrays. A lignin/cellwall annotation was also included to enable the rapid indentification of all the genes related to the lignin biosynthesis pathway and cell wall assembly. This pipeline was used to analyze transgenic spruce overexpressing the pine LIM2 gene

Estimation de posture 3D à partir de données imprécises et incomplètes : application à l'analyse d'activité d'opérateurs humains dans un centre de tri

Dans un contexte d’étude de la pénibilité et de l’ergonomie au travail pour la prévention des troubles musculo-squelettiques, la société Ebhys cherche à développer un outil d’analyse de l’activité des opérateurs humains dans un centre de tri, par l’évaluation d’indicateurs ergonomiques. Pour faire face à l’environnement non contrôlé du centre de tri et pour faciliter l’acceptabilité du dispositif, ces indicateurs sont mesurés à partir d’images de profondeur. Une étude ergonomique nous permet de définir les indicateurs à mesurer. Ces indicateurs sont les zones d’évolution des mains de l’opérateur et d’angulations de certaines articulations du haut du corps. Ce sont donc des indicateurs obtenables à partir d’une analyse de la posture 3D de l’opérateur. Le dispositif de calcul des indicateurs sera donc composé de trois parties : une première partie sépare l’opérateur du reste de la scène pour faciliter l’estimation de posture 3D, une seconde partie calcule la posture 3D de l’opérateur, et la troisième utilise la posture 3D de l’opérateur pour calculer les indicateurs ergonomiques. Tout d’abord, nous proposons un algorithme qui permet d’extraire l’opérateur du reste de l’image de profondeur. Pour ce faire, nous utilisons une première segmentation automatique basée sur la suppression du fond statique et la sélection d’un objet dynamique à l’aide de sa position et de sa taille. Cette première segmentation sert à entraîner un algorithme d’apprentissage qui améliore les résultats obtenus. Cet algorithme d’apprentissage est entraîné à l’aide des segmentations calculées précédemment, dont on sélectionne automatiquement les échantillons de meilleure qualité au cours de l’entraînement. Ensuite, nous construisons un modèle de réseau de neurones pour l’estimation de la posture 3D de l’opérateur. Nous proposons une étude qui permet de trouver un modèle léger et optimal pour l’estimation de posture 3D sur des images de profondeur de synthèse, que nous générons numériquement. Finalement, comme ce modèle n’est pas directement applicable sur les images de profondeur acquises dans les centres de tri, nous construisons un module qui permet de transformer les images de profondeur de synthèse en images de profondeur plus réalistes. Ces images de profondeur plus réalistes sont utilisées pour réentrainer l’algorithme d’estimation de posture 3D, pour finalement obtenir une estimation de posture 3D convaincante sur les images de profondeur acquises en conditions réelles, permettant ainsi de calculer les indicateurs ergonomique

Future Transportation

Greenhouse gas (GHG) emissions associated with transportation activities account for approximately 20 percent of all carbon dioxide (co2) emissions globally, making the transportation sector a major contributor to the current global warming. This book focuses on the latest advances in technologies aiming at the sustainable future transportation of people and goods. A reduction in burning fossil fuel and technological transitions are the main approaches toward sustainable future transportation. Particular attention is given to automobile technological transitions, bike sharing systems, supply chain digitalization, and transport performance monitoring and optimization, among others

Application of Finite Mixture Models for Vehicle Crash Data Analysis

Developing sound or reliable statistical models for analyzing vehicle crashes is very important in highway safety studies. A difficulty arises when crash data exhibit overdispersion. Over-dispersion caused by unobserved heterogeneity is a serious problem and has been addressed in a variety ways within the negative binomial (NB) modeling framework. However, the true factors that affect heterogeneity are often unknown to researchers, and failure to accommodate such heterogeneity in the model can undermine the validity of the empirical results. Given the limitations of the NB regression model for addressing over-dispersion of crash data due to heterogeneity, this research examined an alternative model formulation that could be used for capturing heterogeneity through the use of finite mixture regression models. A Finite mixture of Poisson or NB regression models is especially useful when the count data were generated from a heterogeneous population. To evaluate these models, Poisson and NB mixture models were estimated using both simulated and empirical crash datasets, and the results were compared to those from a single NB regression model. For model parameter estimation, a Bayesian approach was adopted, since it provides much richer inference than the maximum likelihood approach. Using simulated datasets, it was shown that the single NB model is biased if the underlying cause of heterogeneity is due to the existence of multiple counting processes. The implications could be poor prediction performance and poor interpretation. Using two empirical datasets, the results demonstrated that a two-component finite mixture of NB regression models (FMNB-2) was quite enough to characterize the uncertainty about the crash occurrence, and it provided more opportunities for interpretation of the dataset which are not available from the standard NB model. Based on the models from the empirical dataset (i.e., FMNB-2 and NB models), their relative performances were also examined in terms of hotspot identification and accident modification factors. Finally, using a simulation study, bias properties of the posterior summary statistics for dispersion parameters in FMNB-2 model were characterized, and the guidelines on the choice of priors and the summary statistics to use were presented for different sample sizes and sample-mean values

Mathematical Modeling of T-Cell Experimental Data

T lymphocytes (T cells) are key components of the adaptive immune system. These cells are able to recognize an enormous variety of pathogens thanks to the great specificity of their trans-membrane proteins, the T cell receptors (TCRs). TCR diversity is created during T cell maturation in the thymus by somatic gene-segment rearrangements and random nucleotide additions or deletions. Out of all possible T cell clones bearing specific TCRs, only a small fraction are successfully released in peripheral blood as the result of clonal selection. Among the selected clones, some self-reactive cells with the capacity to induce an auto-immune disease are erroneously released in periphery. To compensate for this functional flaw, the immune system has developed peripheral control mechanisms. One of them are regulatory T cells that are specialized in the control of harmful self-reactive clones. In this thesis, we combine mathematical modeling and experimental data to address immunological questions related to the dynamics of regulatory T cells and to the measurement of the structural diversity of T cell receptors. The dissertation is split into two main parts. In the first part, we model the lifelong dynamics of human regulatory T cells (Tregs). Despite their limited proliferation capacity, Tregs constitute a population maintained over the entire lifetime of an individual. The means by which Tregs sustain a stable pool in vivo are controversial. We define a novel mathematical model that we use to evaluate several biological scenarios about the origins and the proliferation capacity of two subsets of Tregs: precursor CD4+CD25+-CD45RO- and mature CD4+CD25+CD45RO+ cells. The lifelong dynamics of Tregs are described by a set of ordinary differential equations, driven by a stochastic process representing the major immune reactions involving these cells. Most of the parameters are considered as random variables having an a priori distribution. The likelihood of a scenario is estimated using Monte Carlo simulations. The model dynamics are validated with data from human donors of different ages. Analysis of the data led to the identification of two properties of the dynamics: (a) the equilibrium in the CD4+CD25+ Tregs population is maintained over both precursor and mature Tregs pools together, and (b) the ratio between precursor and mature Tregs is inverted in the early years of adulthood. Then, using the model, we identified four biologically relevant scenarios that have the above properties: (1) if the unique source of mature Tregs is the antigendriven differentiation of precursors that acquire the mature profile in the periphery, then the proliferation of Tregs is essential for the development and the maintenance of the pool; if there exist other sources of mature Tregs, such as (2) a homeostatic regulation, (3) a thymic migration, or (4) a peripheral conversion of effectors into Tregs, then the antigen-induced proliferation is not necessary for the development of a stable pool of Tregs. In the second part of the dissertation, we address the general question of TCR diversity by improving the interpretation of AmpliCot, an experimental technique that aims at the diversity measurement of nucleic acid sequences. This procedure has the advantage over other cloning and sequencing techniques of being time- and expense- effective. In short, a fluorescent dye that binds double-stranded DNA is added to a sample of PCR-amplified DNA. The sample is melted, such that the DNA becomes single-stranded, and then re-annealed under stringent conditions. The annealing kinetics, measured in terms of fluorescence intensity, are a function of the diversity and of the concentration of the sample and have been interpreted assuming second order kinetics. Using mathematical modeling, we show that a more detailed model, involving heteroduplex- and transient-duplex formation, leads to significantly better fits of experimental data. Moreover, the new model accounts for the diversity-dependent fluorescence loss that is typically observed. As a consequence, we show that the original method for interpreting the results of AmpliCot experiments should be applied with caution. We suggest alternative methods for diversity extrapolation of a sample

Diffusion directions imaging (high resolution reconstruction of white matter fascicles from low angular resolution diffusion MRI)

L'objectif de cette thèse est de fournir une chaine de traitement complète pour la reconstruction des faisceaux de la matière blanche à partir d'images pondérées en diffusion caractérisées par une faible résolution angulaire. Cela implique (i) d'inférer en chaque voxel un modèle de diffusion à partir des images de diffusion et (ii) d'accomplir une ''tractographie", i.e., la reconstruction des faisceaux à partir de ces modèles locaux. Notre contribution en modélisation de la diffusion est une nouvelle distribution statistique dont les propriétés sont étudiées en détail. Nous modélisons le phénomène de diffusion par un mélange de telles distributions incluant un outil de sélection de modèle destiné à estimer le nombre de composantes du mélange. Nous montrons que le modèle peut être correctement estimé à partir d'images de diffusion ''single-shell" à faible résolution angulaire et qu'il fournit des biomarqueurs spécifiques pour l'étude des tumeurs. Notre contribution en tractographie est un algorithme qui approxime la distribution des faisceaux émanant d'un voxel donné. Pour cela, nous élaborons un filtre particulaire mieux adapté aux distributions multi-modales que les filtres traditionnels. Pour démontrer l'applicabilité de nos outils en usage clinique, nous avons participé aux trois éditions du MICCAI DTI Tractography challenge visant à reconstruire le faisceau cortico-spinal à partir d'images de diffusion ''single-shell" à faibles résolutions angulaire et spatiale. Les résultats montrent que nos outils permettent de reconstruire toute l'étendue de ce faisceau.The objective of this thesis is to provide a complete pipeline that achieves an accurate reconstruction of the white matter fascicles using clinical diffusion images characterized by a low angular resolution. This involves (i) a diffusion model inferred in each voxel from the diffusion images and (ii) a tractography algorithm fed with these local models to perform the actual reconstruction of fascicles. Our contribution in diffusion modeling is a new statistical distribution, the properties of which are extensively studied. We model the diffusion as a mixture of such distributions, for which we design a model selection tool that estimates the number of mixture components. We show that the model can be accurately estimated from single shell low angular resolution diffusion images and that it provides specific biomarkers for studying tumors. Our contribution in tractography is an algorithm that approximates the distribution of fascicles emanating from a seed voxel. We achieve that by means of a particle filter better adapted to multi-modal distributions than the traditional filters. To demonstrate the clinical applicability of our tools, we participated to all three editions of the MICCAI DTI Tractography challenge aiming at reconstructing the cortico-spinal tract from single-shell low angular and low spatial resolution diffusion images. Results show that our pipeline provides a reconstruction of the full extent of the CST.RENNES1-Bibl. électronique (352382106) / SudocSudocFranceF