Multimodal fusion for leaf species recognition

Les systèmes de fusion d’informations permettent de combiner des données issues de différentes sources d’informations tout en tenant compte de leur qualité. La combinaison de données issues de sources hétérogènes permet de profiter de la complémentarité des données et donc d’avoir potentiellement des performances plus élevées que celles obtenues en utilisant une seule source d’informations. L’utilisation de ces systèmes s’avère intéressante dans le cadre de la reconnaissance d’espèces d’arbres à travers la fusion d’informations issues de deux modalités : les feuilles et les écorces.Une seule modalité représente éventuellement différentes sources d’informations décrivant chacune une des caractéristiques les plus pertinentes. Ceci permet de reproduire la stratégie adoptée par les botanistes qui se basent sur ces même critères lors de la reconnaissance. L’adoption de cette stratégie entre dans la mise en valeur de l’aspect éducatif. Dans ce cadre, un système de fusion est envisageable afin de combiner les données issues d’une même modalité ainsi que les différentes modalités disponibles. Dans le contexte de la reconnaissance d’espèces d’arbres, il s’agit d’un problème réel où les photos des feuilles et des écorces sont prises en milieu naturel. Le traitement de ce type de données est compliqué vue leurs spécificités dues d’une part à la nature des objets à reconnaître (âge, similarité inter-espèces et variabilité intra-espèce) et d’autre part à l’environnement.Des erreurs peuvent s’accumuler tout au long du processus précédant la fusion. L’intérêt de la fusion est de prendre en compte toutes les imperfections pouvant entacher les données disponibles et essayer de bien les modéliser. La fusion est d’autant plus efficace que les données sont bien modélisées. La théorie des fonctions de croyance représente l’un des cadres théoriques les plus aptes à gérer et représenter l’incertitude, l’imprécision, le conflit, etc. Cette théorie tire son importance de sa richesse en termes d’outils permettant de gérer les différentes sources d’imperfections ainsi que les spécificités des données disponibles. Dans le cadre de cette théorie, il est possible de modéliser les données à travers la construction de fonctions de masse. Il est également possible de gérer la complexité calculatoire grâce aux approximations permettant de réduire le nombre d’éléments focaux. Le conflit étant l’une des sources d’imperfections les plus présentes, peut être traité à travers la sélection de la règle de combinaison la mieux adaptée.En fusionnant des sources d’informations ayant des degrés de fiabilité différents, il est possible que la source la moins fiable affecte les données issues de la source la plus fiable. Une des solutions pour ce problème est de chercher à améliorer les performances de la source la moins fiable. Ainsi, en la fusionnant avec d’autres sources, elle apportera des informations utiles et contribuera à son tour à l’amélioration des performances du système de fusion. L’amélioration des performances d’une source d’informations peut s’effectuer à travers la correction des fonctions de masse. Dans ce cadre, la correction peut se faire en se basant sur des mesures de la pertinence ou de la sincérité de la source étudiée. Les matrices de confusion présentent une source de données à partir desquelles des méta-connaissances caractérisant l’état d’une source peuvent être extraites.Dans ce manuscrit, le système de fusion proposé est un système de fusion hiérarchique mis en place dans le cadre de la théorie des fonctions de croyance. Il permet de fusionner les données issues des feuilles et des écorces et propose à l’utilisateur une liste des espèces les plus probables tout en respectant l’objectif éducatif de l’application. La complexité calculatoire de ce système de fusion est assez réduite permettant, à long termes, d’implémenter l’application sur un Smart-phoneInformation fusion systems allow the combination of data issued from different sources of information while considering their quality. Combining data from heterogeneous sources makes it possible to take advantage of the complementarity of the data and thus potentially have higher performances than those obtained when using a single source of information.The use of these systems is interesting in the context of tree species recognition through the fusion of information issued from two modalities : leaves and barks. A single modality may represent different sources of information, each describing one of its most relevant characteristics. This makes it possible to reproduce the strategy adopted by botanists who base themselves on these same criteria. The adoption of this strategy is part of the enhancement of the educational aspect. In this context, a merger system is conceivable in order to combine the data issued from one modality as well as the data issued from different modalities. In the context of tree species recognition, we treat a real problem since the photos of leaves and bark are taken in the natural environment. The processing of this type of data is complicated because of their specificities due firstly to the nature of the objects to be recognized (age, inter-species similarity and intra-species variability) and secondly to the environment.Errors can be accumulated during the pre-fusion process. The merit of the fusion is to take into account all the imperfections that can taint the available data and try to model them well. The fusion is more effective if the data is well modeled. The theory of belief functions represents one of the best theoretical frameworks able to manage and represent uncertainty, inaccuracy, conflict, etc. This theory is important because of its wealth of tools to manage the various sources of imperfections as well as the specificities of the available data. In the framework of this theory, it is possible to model the data through the construction of mass functions. It is also possible to manage the computational complexity thanks to the approximations allowing to reduce the number of focal elements. Conflict being one of the most present sources of imperfections, can be dealt through the selection of the best combination rule.By merging sources of information with different degrees of reliability, it is possible that the least reliable source affects the data issued from the most reliable one. One of the solutions for this problem is to try to improve the performances of the least reliable source. Thus, by merging with other sources, it will provide useful information and will in turn contribute in improving the performance of the fusion system.The performance improvement of an information source can be effected through the correction of mass functions. In this context, the correction can be made based on measures of the relevance or sincerity of the studied source. The confusion matrices present a data source from which meta-knowledge characterizing the state of a source can be extracted. In this manuscript, the proposed fusion system is a hierarchical fusion system set up within the framework of belief function theory. It allows to merge data from leaves and barks and provides the user with a list of the most likely species while respecting the educational purpose of the application. The computational complexity of this fusion system is quite small allowing, in the long term, to implement the application on a Smart-phon

Fusion multimodale pour la reconnaissance d'espèces d'arbres

Information fusion systems allow the combination of data issued from different sources of information while considering their quality. Combining data from heterogeneous sources makes it possible to take advantage of the complementarity of the data and thus potentially have higher performances than those obtained when using a single source of information.The use of these systems is interesting in the context of tree species recognition through the fusion of information issued from two modalities : leaves and barks. A single modality may represent different sources of information, each describing one of its most relevant characteristics. This makes it possible to reproduce the strategy adopted by botanists who base themselves on these same criteria. The adoption of this strategy is part of the enhancement of the educational aspect. In this context, a merger system is conceivable in order to combine the data issued from one modality as well as the data issued from different modalities. In the context of tree species recognition, we treat a real problem since the photos of leaves and bark are taken in the natural environment. The processing of this type of data is complicated because of their specificities due firstly to the nature of the objects to be recognized (age, inter-species similarity and intra-species variability) and secondly to the environment.Errors can be accumulated during the pre-fusion process. The merit of the fusion is to take into account all the imperfections that can taint the available data and try to model them well. The fusion is more effective if the data is well modeled. The theory of belief functions represents one of the best theoretical frameworks able to manage and represent uncertainty, inaccuracy, conflict, etc. This theory is important because of its wealth of tools to manage the various sources of imperfections as well as the specificities of the available data. In the framework of this theory, it is possible to model the data through the construction of mass functions. It is also possible to manage the computational complexity thanks to the approximations allowing to reduce the number of focal elements. Conflict being one of the most present sources of imperfections, can be dealt through the selection of the best combination rule.By merging sources of information with different degrees of reliability, it is possible that the least reliable source affects the data issued from the most reliable one. One of the solutions for this problem is to try to improve the performances of the least reliable source. Thus, by merging with other sources, it will provide useful information and will in turn contribute in improving the performance of the fusion system.The performance improvement of an information source can be effected through the correction of mass functions. In this context, the correction can be made based on measures of the relevance or sincerity of the studied source. The confusion matrices present a data source from which meta-knowledge characterizing the state of a source can be extracted. In this manuscript, the proposed fusion system is a hierarchical fusion system set up within the framework of belief function theory. It allows to merge data from leaves and barks and provides the user with a list of the most likely species while respecting the educational purpose of the application. The computational complexity of this fusion system is quite small allowing, in the long term, to implement the application on a Smart-phoneLes systèmes de fusion d’informations permettent de combiner des données issues de différentes sources d’informations tout en tenant compte de leur qualité. La combinaison de données issues de sources hétérogènes permet de profiter de la complémentarité des données et donc d’avoir potentiellement des performances plus élevées que celles obtenues en utilisant une seule source d’informations. L’utilisation de ces systèmes s’avère intéressante dans le cadre de la reconnaissance d’espèces d’arbres à travers la fusion d’informations issues de deux modalités : les feuilles et les écorces.Une seule modalité représente éventuellement différentes sources d’informations décrivant chacune une des caractéristiques les plus pertinentes. Ceci permet de reproduire la stratégie adoptée par les botanistes qui se basent sur ces même critères lors de la reconnaissance. L’adoption de cette stratégie entre dans la mise en valeur de l’aspect éducatif. Dans ce cadre, un système de fusion est envisageable afin de combiner les données issues d’une même modalité ainsi que les différentes modalités disponibles. Dans le contexte de la reconnaissance d’espèces d’arbres, il s’agit d’un problème réel où les photos des feuilles et des écorces sont prises en milieu naturel. Le traitement de ce type de données est compliqué vue leurs spécificités dues d’une part à la nature des objets à reconnaître (âge, similarité inter-espèces et variabilité intra-espèce) et d’autre part à l’environnement.Des erreurs peuvent s’accumuler tout au long du processus précédant la fusion. L’intérêt de la fusion est de prendre en compte toutes les imperfections pouvant entacher les données disponibles et essayer de bien les modéliser. La fusion est d’autant plus efficace que les données sont bien modélisées. La théorie des fonctions de croyance représente l’un des cadres théoriques les plus aptes à gérer et représenter l’incertitude, l’imprécision, le conflit, etc. Cette théorie tire son importance de sa richesse en termes d’outils permettant de gérer les différentes sources d’imperfections ainsi que les spécificités des données disponibles. Dans le cadre de cette théorie, il est possible de modéliser les données à travers la construction de fonctions de masse. Il est également possible de gérer la complexité calculatoire grâce aux approximations permettant de réduire le nombre d’éléments focaux. Le conflit étant l’une des sources d’imperfections les plus présentes, peut être traité à travers la sélection de la règle de combinaison la mieux adaptée.En fusionnant des sources d’informations ayant des degrés de fiabilité différents, il est possible que la source la moins fiable affecte les données issues de la source la plus fiable. Une des solutions pour ce problème est de chercher à améliorer les performances de la source la moins fiable. Ainsi, en la fusionnant avec d’autres sources, elle apportera des informations utiles et contribuera à son tour à l’amélioration des performances du système de fusion. L’amélioration des performances d’une source d’informations peut s’effectuer à travers la correction des fonctions de masse. Dans ce cadre, la correction peut se faire en se basant sur des mesures de la pertinence ou de la sincérité de la source étudiée. Les matrices de confusion présentent une source de données à partir desquelles des méta-connaissances caractérisant l’état d’une source peuvent être extraites.Dans ce manuscrit, le système de fusion proposé est un système de fusion hiérarchique mis en place dans le cadre de la théorie des fonctions de croyance. Il permet de fusionner les données issues des feuilles et des écorces et propose à l’utilisateur une liste des espèces les plus probables tout en respectant l’objectif éducatif de l’application. La complexité calculatoire de ce système de fusion est assez réduite permettant, à long termes, d’implémenter l’application sur un Smart-phon

Sub-Classification Strategies for Tree Species Recognition

International audienceIn the context of tree species recognition, botanists knowledge was used in different works specially when recognising tree species through leaves. In this paper, two sub-classification strategies for tree species recognition are proposed. For each sub-classification strategy, Basic belief assignment (Bba) was determined and obtained data were fused thanks to a totally adaptive fusion system implemented in the general framework of belief functions

Fusion System Based on Belief Functions Theory and Approximated Belief Functions for Tree Species Recognition

International audienceIn this paper, an information fusion system for tree species recognition through leaves is proposed. This approach consists in training sub-classifiers (Random forests) with attributes extracted from leaf photos. The database is incomplete, partial and some data is conflicting. A hierarchical fusion system based on Belief functions theory allows the fusion of data provided by different sub-classifiers. Different procedures for reducing computational complexity are tested

A Fusion System for Tree Species Recognition through Leaves and Barks

International audienceIn the last decades, data fusion techniques proved their performances especially in the case of complex recognition system. The idea is to use those techniques in the context of tree species recognition. In this paper, we propose to fuse information extracted from barks with those extracted from leaves. The goal is to increase the power of discrimination of the proposed fusion system and to achieve better detection results than those obtained when using only the leaves. Two fusion system architectures, corresponding to two fusion strategies are compared in this paper

Système d’aide à la reconnaissance d’espèces d’arbres à partir d’une base de connaissance incomplète, partielle et conflictuelle

National audienceCe papier propose un système de fusion d'information pour la reconnaissance d’espèces d’arbres à partir de photos de feuilles. L'approche consiste à entraîner des sous-classifieurs (forêts aléatoires) avec des attributs extraits de la photo d'une feuille. La base de connaissances est incomplète, partielle et certaines données sont conflictuelles. Un système de fusion hiérarchique, basé sur la théorie de Dempster-Shafer, permet ensuite de fusionner les données provenant des différents sous-classifieurs. Les résultats obtenus sont comparés à une autre approche non hiérarchique qui a été mise en place dans le même cadre de travail

Bark and Leaf Fusion Systems to Improve Automatic Tree Species Recognition

International audienceFor everyone, the identification of tree is a difficult task. The main organ of the plant used generally to identify a tree is the leaf. However, due to the large variability of the shapes of leaves, it is difficult to obtain good recognition results. Moreover, sometimes the bark is a very distinctive feature and we think it may be possible to improve the recognition rate by considering it. The main purpose of this article is to investigate how we can combine the features extracted respectively from the leaf and the bark images to recognize the tree the photos come from. An important point is the consideration of the confusion matrix that can be constructed between several species, when the form of a leaf or the shape of a bark is common to a number of tree species. So, we present various strategies of fusion including belief functions and compare them on a public database of 72 species of trees and shrubs, which can be find in metropolitan France