Document segmentation by interest areas detection

This paper presents a new approach of document structuring by the description of a foveated vision system implied in extracting visual and eye-catching information of a document . The simulation system is based on psycho-perceptive rules for visual data capturing. It allows us to obtain a representation of segmented document by using simple low-level processing . The low-level process is based on a visual integrative memory which displays the unequal importance of information in the visual field . The resulting segmentation enhances the fact that the access of information is directly linked to the search of attractive areas . The technical approach of the segmentation (using a space-variant geometry and a multiresolution process) lays a sound basis for elaborating the kinetic of the ocular displacement on a document. It provides not only a document representation in blocks, but shows a unified view corresponding to the integration of time-variant representations of the same visual field . The resulting blocks (text, graphs, image) are determined and localized all the better, such that the number of fixation points increases and yields a more complete and detailed description of components .Cette étude présente une nouvelle approche de la structuration de documents imprimés basée sur l'exploitation de la dynamique du regard dans le repérage de l'information. Le système qui a été mis en place nous permet d'obtenir une représentation du document segmenté en faisant appel à des procédures d'extraction de primitives géométriques simples (traitements de bas niveau) relevant de la prise en compte de certains comportements caractéristiques chez l'homme dans l'extraction d'information. Il utilise une série de représentations de type multirésolution du document où la nature du sous-échantillonnage est une fonction de la position du regard. Cette approche est basée sur la recherche des zones de focalisation de l'attention permettant de conserver une description précise des éléments dans les zones de fixation, tout en résumant les régions présentant un « intérêt » moindre. La simulation du parcours de l'oeil sur le document que nous avons retenue traduit la segmentation que ferait un lecteur qui aborde le document sans a priori sur ce qu'il veut trouver. Pour cela, nous nous sommes inspirés d'une stratégie exploratoire particulière : le survol. Celle-ci s'appuie essentiellement sur l'aspect visuel du document, c'est-à-dire sur les caractéristiques visuelles de bas niveau de l'image. Elle permet en outre une perception équilibrée des données en privilégiant l'organisation globale du document. La technique mise en oeuvre s'appuie sur un partitionnement évolutif de l'espace, en zones centrées aux points de fixation successifs. C'est sur la base de ce partitionnement, que la description des différentes régions ciblées du document évolue et converge vers une représentation segmentée

Interpretation of technical drawings using perceptive cycles starting with its global perception

In this paper, we propose a new method for automatic understanding of technical documents . In the case we are concerned with , technical documents are essentially constituted of graphics (lines, filled shapes, text, . . .) and have been drawn either by hand o r with the help of an editor. The chosen architecture allows to extract, from the document, the graphic and alphanumeric informatio n in order to rebuild the semantic associated to the different objects in the drawing and to their relationships . To realize this work , we have tried to automatise natural techniques normally associated with human perception . . A first stage of global perception of the document is realized, using a limited number of elementary primitives : the Pixel, th e Vector and the Quadrilateral, to obtain a first representation of the document . This first representation allows to depict correctl y several kinds of technical documents (diagrams, cadastral maps, musical scores, . . .) . This representation will provide a precis e description of all the shapes from the original document (binary images) along the different levels of the analysis . . Next, the dual use of this representation of the document and of a multi-specialist system allows to improve the local analysi s during all the reading and understanding steps . A mechanism of «perceptive cycles » allows the different specialists to cooperate . Each specialist possesses some elementary, precise and sufficient information in some particular domains : extraction of text, curves, mechanical elements and it uses the global vision to focus its attention on some places of the image . The hypotheses that the specialists interjected are verified and induce the evolution of the representation of the document . This step of progressive reading has been tested in the particular case of kinetic diagrams . The entire system, using six different specialists, seems to b e perfectly suited to this kind of document . This method is quite different from those using classical procedure : pre-processing - segmentation - analysis - recognition . Every step of the process brings some new information that is used either to confirm a previous hypothesis or states a new one until th e total understanding of the document is achieved .Nous présentons, dans cet article, un système de lecture automatique de documents techniques. Les dessins techniques, au sens où nous l'entendons par la suite, sont des documents essentiellement graphiques (constitués de traits, de formes pleines, de texle produits par un dessinateur, à la main ou avec l'aide d'un système d'édition. L'architecture que nous avons choisie et développée permet d'extraire l'information graphique et alphanumérique du document pour reconstituer la sémantique associée aux différents objets du dessin et à leurs relations. En nous inspirant des connaissances acquises sur les mécanismes de la vision humaine, nous avons élaboré une méthode comportant deux phases : Durant une première phase de perception globale, une représentation initiale du document est obtenue à l'aide d'un nombre limité de primitives : le Pixel, le Vecteur, le Quadrilatère. Le choix de ces primitives permet à cette représentation de s'adapter à la description de documents techniques de types variés (plans, cadastres, partitions musicales,...). Cette représentation, bien que fondée sur des primitives élémentaires, fournit une description précise de toutes les formes,du document initial (image binaire). Outre leur adéquation aux formes à décrire, ces primitives constituent la base de la structure de données qui nous permettra de définir une représentation efficace des connaissances acquises sur le document durant l'analyse. Ensuite, l'utilisation duale d'un système multi-spécialistes et de la représentation préalablement construite permet, au cours d'une phase de lecture et d'interprétation, d'utiliser les données fournies par la vision globale pour réaliser les analyses locales. Un mécanisme de "cycles perceptifs" permet aux différents spécialistes de coopérer pour réduire au maximum les erreurs d'analyse et aboutir à une interprétation plus robuste. Chaque spécialiste réalise une tâche précise telle que, par exemple, la détection du texte, des courbes, des éléments mécaniques ou la reconstruction 3D du mécanisme. Tous utilisent la représentation construite pour focaliser leur attention sur des zones précises de l'image qu'ils étudient en détail. En fin de chaque cycle, la complétude de la compréhension du document est vérifiée et un nouveau cycle d'activation des spécialistes approfondit, si nécessaire, l'interprétation. Cette phase de lecture progressive a été mise en place pour le cas particulier des plans cinématiques mécaniques. Le système obtenu comporte alors six spécialistes et s'accorde parfaitement au traitement de ce type de document. Les exécutions continues et entrelacées des différents spécialistes permettent de réaliser des analyses contextuelles par segmentations successives augmentant ainsi l'interaction et l'efficacité du système. Grâce à cette démarche, nos travaux se distinguent de ceux employant la chaîne habituelle de traitements : pré-traitements -segmentation - analyse - reconnaissance. Notre système s'efforce, dans la vision globale, d'extraire des connaissances puis, à partir des informations possédées sur le document, d'extraire des formes de manière hiérarchique et réfléchie, et il les transcrit dans une représentation évolutive décrivant à chaque instant l'état du contexte d'interprétation

Analysis and conversion of documents

International audienc