Un état de l'art des méthodes de localisation de symboles dans les documents graphiques

International audienceIn this paper, we present a survey on symbol spotting methods for graphical documents. We classify these methods into two categories: structural and pixel-based approaches. Structural approaches are often based on graphs representations and frequently need a preliminary segmentation step in order to break documents into primitives. A symbol is then detected by regrouping neighbouring primitives under certain conditions. In pixel-based approaches, the symbol spotting is performed directly on the entire images without a preliminary segmentation step.Dans cet article, nous proposons un panorama de méthodes de localisation de symboles dans les documents graphiques. Nous les divisons suivant deux catégories : les approches structurelles et les pixelaires. Les approches structurelles sont basées souvent sur des représentations de types graphes et possèdent généralement une étape de segmentation préalable des documents en primitives. Le symbole est ensuite détecté via une étape de regroupements de primitives et sous certaines conditions. Dans les approches pixelaires, la localisation est effectuée directement sur les documents sans étape préalable de segmentation

Évaluation de la qualité des documents anciens numérisés

Les travaux de recherche présentés dans ce manuscrit décrivent plusieurs apports au thème de l évaluation de la qualité d images de documents numérisés. Pour cela nous proposons de nouveaux descripteurs permettant de quantifier les dégradations les plus couramment rencontrées sur les images de documents numérisés. Nous proposons également une méthodologie s appuyant sur le calcul de ces descripteurs et permettant de prédire les performances d algorithmes de traitement et d analyse d images de documents. Les descripteurs sont définis en analysant l influence des dégradations sur les performances de différents algorithmes, puis utilisés pour créer des modèles de prédiction à l aide de régresseurs statistiques. La pertinence, des descripteurs proposés et de la méthodologie de prédiction, est validée de plusieurs façons. Premièrement, par la prédiction des performances de onze algorithmes de binarisation. Deuxièmement par la création d un processus automatique de sélection de l algorithme de binarisation le plus performant pour chaque image. Puis pour finir, par la prédiction des performances de deux OCRs en fonction de l importance du défaut de transparence (diffusion de l encre du recto sur le verso d un document). Ce travail sur la prédiction des performances d algorithmes est aussi l occasion d aborder les problèmes scientifiques liés à la création de vérités-terrains et d évaluation de performances.This PhD. thesis deals with quality evaluation of digitized document images. In order to measure the quality of a document image, we propose to create new features dedicated to the characterization of most commons degradations. We also propose to use these features to create prediction models able to predict the performances of different types of document analysis algorithms. The features are defined by analyzing the impact of a specific degradation on the results of an algorithm and then used to create statistical regressors.The relevance of the proposed features and predictions models, is analyzed in several experimentations. The first one aims to predict the performance of different binarization methods. The second experiment aims to create an automatic procedure able to select the best binarization method for each image. At last, the third experiment aims to create a prediction model for two commonly used OCRs. This work on performance prediction algorithms is also an opportunity to discuss the scientific problems of creating ground-truth for performance evaluation.BORDEAUX1-Bib.electronique (335229901) / SudocSudocFranceF

TOTh 2013 Proceedings - Terminology & Ontology: Theories and applications

International audienceAvant-proposLa Terminologie est une discipline scientifique qui puise à de nombreux domaines dont la linguistique, la théorie de la connaissance et la logique. Pour que cette diversité soit une richesse, il faut lui offrir un cadre approprié au sein duquel elle puisse s’exprimer et s’épanouir : c’est une des raisons d’être des Conférences TOTh. Dans ce contexte, la formation et la transmission des connaissances jouent un rôle essentiel. La Formation TOTh, programmée sur un jour et demi précédant la conférence, se déroule depuis 2011 sur deux années consécutives dédiées pour l’une à la dimension linguistique et pour l’autre à la dimension conceptuelle de la terminologie, deux dimensions étroitement liées. La Disputatio, introduite en 2011, renoue avec une forme d’enseignement et de recherche héritée de la scolastique. Elle vise, à travers une lecture commentée effectuée par un membre du comité scientifique, à donner accès à des auteurs et à des textes jugés fondateurs pour notre domaine : l’Isagogè de Porphyre en 2011, terminologie et variation chez Wüster en 2012 et l’apport de Saussure à la Terminologie cette année.Notre collègue François Rastier, directeur de recherche CNRS, a ouvert la Conférence TOTh 2013 par un exposé sur « Ontologie et référence » qui a donné lieu, on s’en doutait, à de nombreux échanges. On lira avec intérêt son article qui ne peut, en tant que terminologues, que nous interpeller.Les différentes communications ont permis d’aborder en profondeur – chaque intervention dure 45 minutes – de nombreux sujets tant théoriques que pratiques rappelant qu’il ne peut y avoir de Terminologie sans langue ni savoir de spécialité. Je vous invite à les découvrir à travers ces actes.Avant de vous souhaiter bonne lecture, j’aimerais terminer en remerciant tous les participants pour la richesse des débats et des moments partagés.Christophe RochePrésident du comité scientifiqu

Localisation de symboles dans les documents graphiques

This thesis addresses the complex problem of symbol spotting in graphical documents where symbols are not segmented a priori. Many works have been proposed to define good descriptors for isolated symbol representation. However, they cannot be directly used to locate symbols in documents because of the recognition/segmentation paradox : to recognise symbols, documents should be segmented first and vice versa, to well segment documents its content (symbols) should be recognised in advance. In this context, we present our contributions on the symbol spotting problem for graphical documents. This problem is addressed under a viewpoint which is rarely explored in the literature. In fact, most of the existing symbol spotting methods focus on structural aspect and require solving difficult and related problems in the pre-processing step such as the vectorisation or in the detection step like the graph matching. Here, we approach the symbol spotting problem directly from the pixels point of view. There are two essentials points to be addressed. The first concerns the choice of a appropriate shape descriptor to represent document content. The second refers to the process of finding a query symbol in documents. For describing symbols, a shape descriptor is proposed which is well-suited to graphic symbols and can be adapted to whole documents with non-segmented symbols. This descriptor is defined on the Shape Contexts using only the information associated to interest points. The proposed descriptor is invariant under rotation and scaling. It is also robust to deformations and partial occlusions of objects. Our symbol spotting approach is based on text retrieval techniques using the concept of “visual words”. A visual vocabulary is built on information extracted from entire documents using an extension of the proposed descriptor. An unsupervised clustering algorithm is applied on the computed descriptors to create a set of visual words. The descriptor/visual words assignment is achieved by a fuzzy matching technique. In the spotting process, regions of interest are identified according to the local matching results between the query symbol and documents. The vector model is adapted and applied on these regions to determine the regions containing occurrences of the query. The method has not yet been evaluated on real documents, however, our experiments on synthetic ones show that the proposed method has good performance in terms of precision and recall.Cette thèse s'inscrit dans le domaine de la recherche d'images par le contenu et plus spécifiquement dans celui de l'analyse de documents. Nous abordons le problème complexe de la localisation de symboles dans les documents où les symboles ne sont pas isolés de leur contexte. Bien qu'il existe beaucoup de travaux visant à la définition de bons descripteurs pour la représentation d'un symbole, ces derniers ne peuvent généralement pas être utilisés directement pour localiser des symboles dans les documents car on se heurte au paradoxe suivant : pour reconnaître les symboles il faudrait au préalable segmenter le document et réciproquement pour bien segmenter il faudrait au préalable reconnaître le contenu du document. Dans ce contexte, nous présentons nos contributions pour la localisation de symboles dans les documents graphiques où le problème de la localisation est abordé d'un point de vue différent de la plupart des méthodes existantes dans la littérature. Dans le contexte de l'analyse de documents graphiques, pour le problème de la localisation de symboles, presque toutes les études se focalisent sur l'aspect structurel du document, ce qui nécessite de résoudre plusieurs autres problèmes difficiles qui se situent soit en amont de la chaîne de traitements telle la vectorisation soit en aval telle la détection d'isomorphisme de (sous-) graphes. Cette thèse tente de voir ce problème de localisation sous l'aspect pixelaires qui est très rarement abordé dans les travaux précédents. Ainsi, dans nos travaux, nous avons abordé deux points essentiels pour résoudre ce problème. Le premier concerne le choix d'une représentation des informations des images de documents et le second est lié au processus de localisation de ces symboles. Afin de d´ecrire les symboles, nous proposons un descripteur de formes qui s'adapte bien aux symboles graphiques et qui peut être étendu pour d´ecrire le contenu des documents entiers ayant des symboles non-segmentés. Ce descripteur est basé sur le contexte de formes et prend en compte des informations associées aux seuls points d'intérêt associés à une forme. Le descripteur proposé assure l'invariance à la rotation et au changement d'échelle. Il est également tolérant à la déformation et à l'occultation partielle de l'objet. La localisation de symboles dans les documents graphiques s'appuie sur les techniques de traitement des documents textuels grâce à la notion de mots visuels. Un vocabulaire visuel est construit à partir d'un classifieur non-supervisé sur la base d'informations issues du descripteur de formes proposé et étendu aux documents entiers. Les documents graphiques sont ainsi “textualisés” grâce au vocabulaire visuel avec une technique d'appariements multiples. Lors de la localisation, les régions candidates sont identifiées dans les documents en fonction de l'appariement local entre la requête et les documents. La détermination des régions, parmi les régions candidates, contenant les occurrences du symbole requête est opérée à l'aide d'un système de vote adaptant le modèle vectoriel usuellement utilisé en recherche d'informations. Bien que la méthode ne soit pas encore validée sur les documents réels, les expérimentations sur des documents synthétiques et la comparaison avec une autre méthode montrent la performance de la méthode proposée en termes de précision, rappel

L'enseignement des mathématiques en anglais langue seconde. Etude didactique de l’articulation des apprentissages linguistiques et mathématiques, à travers l’expérimentation de situations intégrées de type CLIL

The purpose of this thesis is to investigate learning and teaching conditions of mathematics in English as a second language by closely examining how mathematical and language knowledge can fit together. This study deals with the specific case of CLIL teaching and the related experimental situations are performed in European classes in a French high school. The situations have a common topic, namely that of visual and multimodal proof. The theory of Didactical Situations is the central theoretical framework but our study has proven to be compatible with task-based pedagogy. Besides, phraseodidactics provided a useful and adequate auxiliary framework by shedding some light onto the essential role played by4phraseology. We particularly kept focused on mathematical objects and processes of abstraction but also on some specific language features. The concept of representation is central in our research works and thus had to be precisely defined. The success of our experimental situations owes a lot to the use of adidacticity, a central concept in TSD, and our focusing on the crucial part played by active perception during processes of conceptualisation. The purpose of one of the experimental situations (conducted in a second language) was to ensure that pupils divised, by themselves, a visual proof of an arithmetic property previously conjectured, carried out on the very level of schematisation an explicit generalisation and used real cubes to perform another type of proof, thus making the inductive step of the induction explicit.La thèse met en lumière les conditions d’enseignement et d’apprentissage des mathématiques en langue seconde en étudiant avec précision l’articulation des savoirs mathématiques et des savoirs linguistiques. Elle traite le cas spécifique de l’enseignement des mathématiques en anglais dans un contexte CLIL et les séances expérimentales ont lieu en classes européennes de lycée. Le thème commun à ces séances est celui des preuves visuelles et multimodales. La Théorie des Situations Didactiques (TSD) offre un cadre théorique privilégié – notamment pour la construction des situations expérimentales - cadre qu’il a fallu compléter par des approches théoriques sémiotiques et linguistiques. Ainsi l’approche adoptée s’est révélée en adéquation avec la perspective actionnelle et la phraséodidactique a apporté de nombreux éléments permettant de mettre en relief le rôle de la phraséologie dans un enseignement intégré. Une focalisation particulière a dû être opérée sur les objets mathématiques et les processus d’abstraction mais aussi sur certains faits de langue. Les investigations ont permis d’affiner les descriptions des raisonnements produits tout en conservant une référence aux niveaux de milieux, au sens de la TSD. L’étude a nécessité de développer le concept de représentation et de décliner les représentations produites dans le contexte de la L2. Ce sont ces concepts et celui d’adidacticité, central dans la TSD, qui ont permis d’organiser les séances de manière optimale, en faisant apparaître le rôle essentiel joué par la perception active dans les processus de conceptualisation

Pattern recognition and complex graphic symbols recognition in documents images

Ce travail de thèse se situe à la croisée de trois thématiques de recherche : la mise en place de représentations structurelles pour décrire le contenu d’images de documents, la reconnaissance structurelle des formes et graphiques complexes et la localisation des symboles dans les images de documents. Pour répondre aux problématiques de l’analyse d’images de documents, nous avons choisi d’utiliser les graphes comme outils de représentation des contenus des images. La nouvelle représentation obtenue exploite un graphe multi-primitive et multi-attribut améliorant à la fois la tâche de localisation mais aussi la tâche de reconnaissance de formes graphiques contenues dans les documents. Une nouvelle approche générique et automatique est également présentée pour la localisation des symboles graphiques dans les images de documents. Notre approche de localisation des symboles nécessite un minimum de connaissances a priori sur les domaines ou sur le type de symboles présents dans les images. Concernant l’étape de reconnaissance, nous présentons trois stratégies originales pour la mise en correspondance de graphes, combinant les approches structurelle et statistique. Elles aident à la résolution du problème de complexité et évitent un temps de calcul exponentiel intolérable. Les nouvelles techniques d’appariement de graphes que nous proposons sont basées sur des fonctions de similarité qui tilisent aussi bien des valeurs numériques que symboliques pour produire un score. Ces mesures de similarité ont de nombreuses propriétés intéressantes comme un fort pouvoir discriminant, une invariance aux transformations affines et une faible sensibilité au bruit.This thesis presents our contributions related to three major research areas in the field of document image analysis i.e., structural representation of documents images, spotting symbols in graphical documents and symbols recognition. We proposed to represent the contents of the document images using multi-attributed graphs, which not only improves the task of symbols spotting, but also the task of symbols recognition. We present a new generic and automatic approach for the purpose of spotting symbols in graphical documents. Our approach to locate symbols requires minimum priori knowledge about the type of document or the type of symbols found in these documents. Concerning symbol recognition we present three new strategies combining structural and statistical approaches. The proposed approaches helped to solve the problem of time and space complexity and offers robustness against noise and distortion present in images. The new graph matching techniques that we are proposing are based on similarity function that uses both numerical and symbolic values of the nodes and edges attributes of the graphs to produce a score of similarity between two graphs. These similarity measures have many interesting properties such as a strong discriminating power, nvariance to affine transformations, and low sensitivity to noise

Reconnaissance de formes et symboles graphiques complexes dans les images de documents

Ce travail de thèse se situe à la croisée de trois thématiques de recherche : la mise en place de représentations structurelles pour décrire le contenu d images de documents, la reconnaissance structurelle des formes et graphiques complexes et la localisation des symboles dans les images de documents. Pour répondre aux problématiques de l analyse d images de documents, nous avons choisi d utiliser les graphes comme outils de représentation des contenus des images. La nouvelle représentation obtenue exploite un graphe multi-primitive et multi-attribut améliorant à la fois la tâche de localisation mais aussi la tâche de reconnaissance de formes graphiques contenues dans les documents. Une nouvelle approche générique et automatique est également présentée pour la localisation des symboles graphiques dans les images de documents. Notre approche de localisation des symboles nécessite un minimum de connaissances a priori sur les domaines ou sur le type de symboles présents dans les images. Concernant l étape de reconnaissance, nous présentons trois stratégies originales pour la mise en correspondance de graphes, combinant les approches structurelle et statistique. Elles aident à la résolution du problème de complexité et évitent un temps de calcul exponentiel intolérable. Les nouvelles techniques d appariement de graphes que nous proposons sont basées sur des fonctions de similarité qui tilisent aussi bien des valeurs numériques que symboliques pour produire un score. Ces mesures de similarité ont de nombreuses propriétés intéressantes comme un fort pouvoir discriminant, une invariance aux transformations affines et une faible sensibilité au bruit.This thesis presents our contributions related to three major research areas in the field of document image analysis i.e., structural representation of documents images, spotting symbols in graphical documents and symbols recognition. We proposed to represent the contents of the document images using multi-attributed graphs, which not only improves the task of symbols spotting, but also the task of symbols recognition. We present a new generic and automatic approach for the purpose of spotting symbols in graphical documents. Our approach to locate symbols requires minimum priori knowledge about the type of document or the type of symbols found in these documents. Concerning symbol recognition we present three new strategies combining structural and statistical approaches. The proposed approaches helped to solve the problem of time and space complexity and offers robustness against noise and distortion present in images. The new graph matching techniques that we are proposing are based on similarity function that uses both numerical and symbolic values of the nodes and edges attributes of the graphs to produce a score of similarity between two graphs. These similarity measures have many interesting properties such as a strong discriminating power, nvariance to affine transformations, and low sensitivity to noise.TOURS-Bibl.électronique (372610011) / SudocSudocFranceF

Présentations parcimonieuses sur dictionnaire d'apprentissage pour l'analyse de documents

Accès restreint aux membres de l'Université de Lorraine jusqu'au 2015-04-04In this thesis, we focus on how sparse representations can help to increase the performance of noise removal, text region extraction, pattern recognition and spotting symbols in graphical documents. To do that, first of all, we give a survey of sparse representations and its applications in image processing. Then, we present the motivation of building learning dictionary and efficient algorithms for constructing a learning dictionary. After describing the general idea of sparse representations and learned dictionary, we bring some contributions in the field of symbol recognition and document processing that achieve better performances compared to the state-of-the-art. These contributions begin by finding the answers to the following questions. The first question is how we can remove the noise of a document when we have no assumptions about the model of noise found in these images? The second question is how sparse representations over learned dictionary can separate the text/graphic parts in the graphical document? The third question is how we can apply the sparse representation for symbol recognition? We complete this thesis by proposing an approach of spotting symbols that use sparse representations for the coding of a visual vocabularyDans cette thèse, nous nous concentrons sur comment les représentations parcimonieuses peuvent aider à augmenter les performances pour réduire le bruit, extraire des régions de texte, reconnaissance des formes et localiser des symboles dans des documents graphiques. Pour ce faire, tout d'abord, nous donnons une synthèse des représentations parcimonieuses et ses applications en traitement d'images. Ensuite, nous présentons notre motivation pour l'utilisation de dictionnaires d'apprentissage avec des algorithmes efficaces pour les construire. Après avoir décrit l'idée générale des représentations parcimonieuses et du dictionnaire d'apprentissage, nous présentons nos contributions dans le domaine de la reconnaissance de symboles et du traitement des documents en les comparants aux travaux de l'état de l'art. Ces contributions s'emploient à répondre aux questions suivantes: La première question est comment nous pouvons supprimer le bruit des images où il n'existe aucune hypothèse sur le modèle de bruit sous-jacent à ces images ? La deuxième question est comment les représentations parcimonieuses sur le dictionnaire d'apprentissage peuvent être adaptées pour séparer le texte du graphique dans des documents? La troisième question est comment nous pouvons appliquer la représentation parcimonieuse à reconnaissance de symboles? Nous complétons cette thèse en proposant une approche de localisation de symboles dans les documents graphiques qui utilise les représentations parcimonieuses pour coder un vocabulaire visue

Présentations parcimonieuses sur dictionnaire d'apprentissage pour l'analyse de documents

Dans cette thèse, nous nous concentrons sur comment les représentations parcimonieuses peuvent aider à augmenter les performances pour réduire le bruit, extraire des régions de texte, reconnaissance des formes et localiser des symboles dans des documents graphiques. Pour ce faire, tout d'abord, nous donnons une synthèse des représentations parcimonieuses et ses applications en traitement d'images. Ensuite, nous présentons notre motivation pour l'utilisation de dictionnaires d'apprentissage avec des algorithmes efficaces pour les construire. Après avoir décrit l'idée générale des représentations parcimonieuses et du dictionnaire d'apprentissage, nous présentons nos contributions dans le domaine de la reconnaissance de symboles et du traitement des documents en les comparants aux travaux de l'état de l'art. Ces contributions s'emploient à répondre aux questions suivantes: La première question est comment nous pouvons supprimer le bruit des images où il n'existe aucune hypothèse sur le modèle de bruit sous-jacent à ces images ? La deuxième question est comment les représentations parcimonieuses sur le dictionnaire d'apprentissage peuvent être adaptées pour séparer le texte du graphique dans des documents? La troisième question est comment nous pouvons appliquer la représentation parcimonieuse à reconnaissance de symboles? Nous complétons cette thèse en proposant une approche de localisation de symboles dans les documents graphiques qui utilise les représentations parcimonieuses pour coder un vocabulaire visuelIn this thesis, we focus on how sparse representations can help to increase the performance of noise removal, text region extraction, pattern recognition and spotting symbols in graphical documents. To do that, first of all, we give a survey of sparse representations and its applications in image processing. Then, we present the motivation of building learning dictionary and efficient algorithms for constructing a learning dictionary. After describing the general idea of sparse representations and learned dictionary, we bring some contributions in the field of symbol recognition and document processing that achieve better performances compared to the state-of-the-art. These contributions begin by finding the answers to the following questions. The first question is how we can remove the noise of a document when we have no assumptions about the model of noise found in these images? The second question is how sparse representations over learned dictionary can separate the text/graphic parts in the graphical document? The third question is how we can apply the sparse representation for symbol recognition? We complete this thesis by proposing an approach of spotting symbols that use sparse representations for the coding of a visual vocabularyNANCY-INPL-Bib. électronique (545479901) / SudocSudocFranceF