Fast Incremental Learning Strategy Driven by Confusion Reject for Online Handwriting Recognition

International audienceIn this paper, we present a new incremental learning strategy for handwritten character recognition systems. This learning strategy enables the recognition system to learn “rapidly” any new character from very few examples. The presented strategy is driven by a confusion detection mechanism in order to control the learning process. Artificial characters generation techniques are used to overcome the problem of lack of learning data when introducing a new character from unseen class. The results show that a good recognition rate (about 90%) is achieved after only 5 learning examples. Moreover, the rate quickly rises to 94% after 10 examples, and approximately 97% after 30 examples. A reduction of error of 40% is obtained by using the artificial characters generation techniques

Systèmes d'inférence floue auto-évolutifs : apprentissage incrémental pour la reconnaissance de gestes manuscrits

International audienceNous présentons dans ce papier une nouvelle méthode pour la conception de moteurs de reconnaissance de gestes manuscrits personnalisables et auto-évolutifs, c'est-à-dire capables de s'adapter au style d'écriture et aux habitudes de chacun, sans toutefois nécessiter de période d'apprentissage fastidieuse. Nous utilisons une approche d'apprentissage incrémental de classifieurs basés sur les systèmes d'inférence floue de type Takagi-Sugeno. Cette approche comprend d'une part, une adaptation des paramètres linéaires associés aux conclusions des règles en utilisant la méthode des moindres carrés récursifs, et d'autre part, un apprentissage incrémental des prémisses de ces règles afin de modifier les fonctions d'appartenance suivant l'évolution de la densité des données dans l'espace de classification

Fast Online Incremental Learning with Few Examples For Online Handwritten Character Recognition.

International audienceAn incremental learning strategy for handwritten character recognition is proposed in this paper. The strategy is online and fast, in the sense that any new character class can be instantly learned by the system. The proposed strategy aims at overcoming the problem of lack of training data when introducing a new character class. Synthetic handwritten characters generation is used for this purpose. Our approach uses a Fuzzy Inference System (FIS) as a classifier. Results have shown that a good recognition rate (about 90%) can be achieved using only 3 training examples. And such rate rapidly improves reaching 96% for 10 examples, and 97% for 30 ones

Apprentissage incrémental avec peu de données pour la reconnaissance de caractères manuscrits en-ligne

National audienceDans ce papier, nous présentons un nouvel algorithme d'apprentissage incrémental d'un système de reconnaissance en-ligne de caractères manuscrits. L'objectif est d'apprendre «à la volée » toute nouvelle classe de caractères à partir de très peu d'exemples de caractères tout en optimisant les classes déjà modélisées au fur et à mesure de la saisie de nouveaux exemples. Le système proposé est capable de surmonter le problème du manque de données d'apprentissage lors de l'introduction d'une nouvelle classe de caractères grâce à la synthèse de caractères artificiels. Les tests ont été conduits dans le cadre d'un apprentissage incrémental mono-scripteur de lettres minuscules cursives sur une base de 18 scripteurs. Les résultats montrent qu'un bon taux de reconnaissance (environ 90 %) est atteint en utilisant seulement 5 exemples d'apprentissage par classe. De plus, ce taux augmente rapidement pour atteindre 94 % pour 10 exemples, et environ 97 % pour 30. Une réduction d'erreur de 40 % est obtenue en utilisant la synthèse de caractères par rapport à une stratégie sans synthèse

Evolving Fuzzy Classifiers: Application to Incremental Learning of Handwritten Gesture Recognition Systems

International audienceIn this paper, we present a new method to design customizable self-evolving fuzzy rule-based classifiers. The presented approach combines an incremental clustering algorithm with a fuzzy adaptation method in order to learn and maintain the model. We use this method to build an evolving handwritten gesture recognition system. The self-adaptive nature of this system allows it to start its learning process with few learning data, to continuously adapt and evolve according to any new data, and to remain robust when introducing a new unseen class at any moment in the life-long learning process

Incremental learning for interactive sketch recognition

International audienceIn this paper, we present the integration of a classifier, based on an incremental learning method, in an interactive sketch analyzer. The classifier recognizes the symbol with a degree of confidence. Sometimes the analyzer considers that the response is insufficient to make the right decision. The decision process then solicits the user to explicitly validate the right decision. The user associates the symbol to an existing class, to a newly created class or ignores this recognition. The classifier learns during the interpretation phase. We can thus have a method for auto-evolutionary interpretation of sketches. In fact, the user participation has a great impact to avoid error accumulation during the analysis. This paper demonstrates this integration in an interactive method based on a competitive breadth-first exploration of the analysis tree for interpreting the 2D architectural floor plans

Recent developments in the study of rapid human movements with the kinematic theory: Applications to handwriting and signature synthesis

International audienceHuman movement modeling can be of great interest for the design of pattern recognition systems relying on the understanding of the fine motor control (such as on-line handwriting recognition or signature verification) as well as for the development of intelligent systems involving in a way or another the processing of human movements. In this paper, we briefly list the different models that have been proposed in order to characterize the handwriting process and focus on a representation involving a vectorial summation of lognormal functions: the Sigma-lognormal model. Then, from a practical perspective, we describe a new stroke extraction algorithm suitable for the reverse engineering of handwriting signals. In the following section it is shown how the resulting representation can be used to study the writer and signer variability. We then report on two joint projects dealing with the automatic generation of synthetic specimens for the creation of large databases. The first application concerns the automatic generation of totally synthetic signature specimens for the training and evaluation of verification performances of automatic signature recognition systems. The second application deals with the synthesis of handwritten gestures for speeding up the learning process in customizable on-line recognition systems to be integrated in electronic pen pads

Apprentissage incrémental de systèmes d'inférence floue : application à la reconnaissance de gestes manuscrits

We present in this thesis a new method for the conception of evolving and customizable classification systems. The main contribution of this work is represented by proposing an incremental approach for the learning of classification models based on first-order Takagi-Sugeno (TS) fuzzy inference systems. This approach includes, on the one hand, the adaptation of linear consequences of the fuzzy rules using the recursive least-squares method, and, on the other hand, an incremental learning of the antecedent of these rules in order to modify the membership functions according to the evolution of data density in the input space. The proposed method, Evolve++, resolves the instability problems in the incremental learning of TS models thanks to a global learning paradigm in which antecedents and consequents are learned in synergy, contrary to the existing approaches where they are learned separately. The performance of our system had been demonstrated on different well-known benchmarks, with a special focus on its capacity of learning new classes. In the applicative context of handwritten gesture recognition, this system can adapt continuously with the special writing styles (personalization of existing symbols) and the new needs of the users (adding new symbols). In this specific domain, we propose a second contribution to accelerate the learning of new symbols by the automatic generation of artificial data. The generation technique is based on Sigma-lognormal theory, which proposes a new representation space of handwritten forms based on a neuromuscular modeling of writing mechanism. By applying some deformations on the Sigma-lognormal profile of a given gesture, we can obtain synthetic handwritten gestures that are realistic and close to human deformation. Integrating this data generation technique in our systems accelerates the learning process and significantly improves the overall performance.Nous présentons dans cette thèse une nouvelle méthode pour la conception de moteurs de reconnaissance personnalisables et auto-évolutifs. La contribution majeure de cette thèse consiste à proposer une approche incrémentale pour l'apprentissage de classifieurs basés sur les systèmes d'inférence floue de type Takagi-Sugeno d'ordre 1. Cette approche comprend, d'une part, une adaptation des paramètres linéaires associés aux conclusions des règles en utilisant la méthode des moindres carrés récursive, et, d'autre part, un apprentissage incrémental des prémisses de ces règles afin de modifier les fonctions d'appartenance suivant l'évolution de la densité des données dans l'espace de classification. La méthode proposée, Evolve++, résout les problèmes d'instabilité d'apprentissage incrémental de ce type de systèmes grâce à un paradigme global d'apprentissage où les prémisses et les conclusions sont apprises en synergie et non de façon indépendante. La performance de ce système a été démontrée sur des bancs d'essai connus, en mettant en évidence notamment sa capacité d'apprentissage à la volée de nouvelles classes. Dans le contexte applicatif de la reconnaissance de gestes manuscrits, ce système permet de s'adapter en continue aux styles d'écriture (personnalisation des symboles) et aux nouveaux besoins des utilisateurs (introduction à la volée des nouveaux symboles). Dans ce domaine, une autre contribution a été d'accélérer l'apprentissage de nouveaux symboles par la synthèse automatique de données artificielles. La technique de synthèse repose sur la théorie Sigma-lognormal qui propose un nouvel espace de représentation des tracés manuscrits basé sur un modèle neuromusculaire du mécanisme d'écriture. L'application de déformations sur le profil Sigma-lognormal permet d'obtenir des tracés manuscrits synthétiques qui sont réalistes et proches de la déformation humaine. L'utilisation de ces tracés synthétiques dans notre système accélère l'apprentissage et améliore de façon significative sa performance globale

Improving Premise Structure in Evolving Takagi-Sugeno Neuro-Fuzzy Classifiers

International audienceWe present in this paper a new method for the design of evolving neuro-fuzzy classifiers. The presented approach is based on a first-order Takagi-Sugeno neuro-fuzzy model. We propose a modification on the premise structure in this model and we provide the necessary learning formulas, with no problem-dependent parameters. We demonstrate by the experimental results the positive effect of this modification on the overall classification performanc