Consistency-Based Reliability Assessment

International audienceThis paper addresses the question of assessing the relative reliability of unknown information sources. We propose to consider a phase during which the consistency of information they report is analysed, whether it is the consistency of each single report, or the consistency of a report w.r.t. some trusted knowledge or the consistency of different reports together. We adopt an axiomatic approach by first giving postulates which characterize how the resulting reliability preorder should be; then we define a family of operators for building this preorder and demonstrate that it satisfies the proposed postulates

Towards Consistency-Based Reliability Assessment

International audienceMOTIVATION : Merging information provided by several sources is an important issue and merging techniques have been extensively studied. When the reliability of the sources is not known, one can apply merging techniques such as majority or arbitration merging or distancebasedmerging for solving conflicts between information. At the opposite, if the reliability of the sources is known, either represented in a quantitative or in a qualitative way, then it can be used to manage contradictions: information provided by a source is generally weakened or ignored if it contradicts information provided by a more reliable source [1, 4, 6]. Assessing the reliability of information sources is thus crucial. The present paper addresses this key question. We adopt a qualitative point of view for reliability representation by assuming that the relative reliability of information sources is represented by a total preorder. This works considers that we have no information about the sources and in particular, we do not know if they are correct (i.e they provide true information) or not. We focus on a preliminary stage of observation and assessment of sources. We claim that during that stage the key issue is a consistency analysis of information provided by sources, whether it is the consistency of single reports or consistency w.r.t trusted knowledge or the consistency of different reports together. We adopt an axiomatic approach: first we give some postulates which characterize what this reliability preorder should be, then we define a generic operator for building this preorder in agreement with the postulates

Une approche par dissimilarité pour la caractérisation de jeux de données

La caractérisation de jeu de données reste un verrou majeur de l'analyse de données intelligente. Une majorité d'approches à ce problème agrègent les informations décrivant les attributs individuels des jeux de données, ce qui représente une perte d'information. Nous proposons une approche par dissimilarité permettant d'éviter cette agrégation, et étudions son intérêt dans la caractérisation des performances d'algorithmes de classifications, et dans la résolution de problèmes de méta-apprentissage

Caractérisation d'instances d'apprentissage pour méta-mining évolutionnaire.

Les nombreuses techniques d'apprentissage et de fouille de données mises au point au cours des dernières décennies peuvent se révéler d'importants atouts dans divers domaines, mais choisir la technique la plus appropriée pour une application précise est une tâche très complexe pour un non-expert. Notre objectif est ainsi de produire un assistant de modélisation répondant à ce besoin, par une approche à la frontière du méta-apprentissage et des heuristiques évolutionnaires. Nous présentons ici le fonctionnement prévu de cet assistant, suivi d'une discussion de notre approche du problème de caractérisation des instances d'apprentissage, qui reste un verrou majeur du méta-apprentissage et méta-mining

Using a SMT solver for risk analysis: detecting logical mistakes in texts

International audienceThe purpose of this paper is to describe some results of the LELIE project, that are a contribution of Artificial Intelligence to a special domain: the analysis of the risks due to poorly written technical documents. This is a multidisciplinary contribution since it combines natural language processing with logical satisfiability checking. This paper explains how satisfiability checking can be used for detecting inconsistencies, redundancy and incompleteness in procedural texts and describes the part of the implemented tool that produces the logical translation of technical texts and realizes the checkings

Consistency-Based Reliability Assessment

This paper addresses the question of assessing the relative reliability of unknown information sources. We propose to consider a phase during which the consistency of information they report is analysed, whether it is the consistency of each single report, or the consistency of a report w.r.t. some trusted knowledge or the consistency of different reports together. We adopt an axiomatic approach by first giving postulates which characterize how the resulting reliability preorder should be; then we define a family of operators for building this preorder and demonstrate that it satisfies the proposed postulates

Addressing the Meta-Learning problem with Metaheuristics

The many machine learning and data mining techniques produced over the last decades can prove invaluable assets in diverse fields, but choosing the most appropriate for a given application may be very difficult for a non-expert. Our objective is thus to provide modelling assistance using a meta-learning approach based on an evolutionary metaheuristic. We present the intended workflow of such modelling assistant and the expected challenges along our line of work

Meta-analysis perspectives toward assistance in prediction and simulation

L'émergence du phénomène Big Data a créé un besoin grandissant en analyse de données, mais, bien souvent, cette analyse est conduite par des experts de différents domaines ayant peu d'expérience en science des données. On s'intéresse donc à ce besoin d'assistance à l'analyse de données, qui commence tout juste à recevoir une certaine attention des communautés scientifiques, donnant naissance au domaine de la méta-analyse. Les premières approches du sujet se révélant souvent similaires et peu abouties, on tente en particulier de permettre de nouvelles approches de méta-analyse pour adresser ce problème d'assistance à l'analyse de données. Pour ce faire, une première étape cruciale est de déterminer ce qu'est une méta-analyse performante, aucun standard n'ayant encore été établi dans ce domaine relativement neuf. On propose ainsi un cadre générique d'évaluation de méta-analyse, permettant de comparer et caractériser finement diverses techniques de méta- analyse. Ensuite, afin d'ouvrir de nouvelles voies, on s'intéresse à un verrou majeur de la méta-analyse : la caractérisation de jeu de données. On propose et évalue alors une caractérisation par dissimilarité faisant usage de toute l'information disponible pour autoriser de nouvelles approches de méta-analyse. L'utilisation de cette caractérisation par dissimilarité permettant de recommander facilement des processus d'analyse de données complets, on décrit enfin les nouvelles approches de méta-analyses rendues possibles, ainsi que les processus afférents d'assistance à l'analyse de données.The emergence of the big data phenomenon has led to increasing demands in data analysis, which most often are conducted by other domains experts with little experience in data science. We then consider this important demand in intelligent assistance to data analysis, which receives an increasing attention from the scientific community. The first takes on the subject often possessing similar shortcomings, we propose to address it through new processes of meta-analysis. No evaluation standard having yet been set in this relatively new domain, we first propose a meta-analysis evaluation framework that will allow us to test and compare the developed methods. In order to open new approaches of meta-analysis, we then consider one of its recurring issue: dataset characterization. We then propose and evaluate such a characterization, consisting in a dissimilarity between datasets making use of a precise topological description to compare them. This dissimilarity allows a new meta-analysis approach producing recommendations of complete data analysis processes, which we then evaluate on a proof of concept. We thus detail the proposed methods of meta-analysis, and the associated process of assistance to data analysis

Perspectives de méta-analyse pour un environnement d'aide à la simulation et prédiction

The emergence of the big data phenomenon has led to increasing demands in data analysis, which most often are conducted by other domains experts with little experience in data science. We then consider this important demand in intelligent assistance to data analysis, which receives an increasing attention from the scientific community. The first takes on the subject often possessing similar shortcomings, we propose to address it through new processes of meta-analysis. No evaluation standard having yet been set in this relatively new domain, we first propose a meta-analysis evaluation framework that will allow us to test and compare the developed methods. In order to open new approaches of meta-analysis, we then consider one of its recurring issue: dataset characterization. We then propose and evaluate such a characterization, consisting in a dissimilarity between datasets making use of a precise topological description to compare them. This dissimilarity allows a new meta-analysis approach producing recommendations of complete data analysis processes, which we then evaluate on a proof of concept. We thus detail the proposed methods of meta-analysis, and the associated process of assistance to data analysis.L'émergence du phénomène Big Data a créé un besoin grandissant en analyse de données, mais, bien souvent, cette analyse est conduite par des experts de différents domaines ayant peu d'expérience en science des données. On s'intéresse donc à ce besoin d'assistance à l'analyse de données, qui commence tout juste à recevoir une certaine attention des communautés scientifiques, donnant naissance au domaine de la méta-analyse. Les premières approches du sujet se révélant souvent similaires et peu abouties, on tente en particulier de permettre de nouvelles approches de méta-analyse pour adresser ce problème d'assistance à l'analyse de données. Pour ce faire, une première étape cruciale est de déterminer ce qu'est une méta-analyse performante, aucun standard n'ayant encore été établi dans ce domaine relativement neuf. On propose ainsi un cadre générique d'évaluation de méta-analyse, permettant de comparer et caractériser finement diverses techniques de méta- analyse. Ensuite, afin d'ouvrir de nouvelles voies, on s'intéresse à un verrou majeur de la méta-analyse : la caractérisation de jeu de données. On propose et évalue alors une caractérisation par dissimilarité faisant usage de toute l'information disponible pour autoriser de nouvelles approches de méta-analyse. L'utilisation de cette caractérisation par dissimilarité permettant de recommander facilement des processus d'analyse de données complets, on décrit enfin les nouvelles approches de méta-analyses rendues possibles, ainsi que les processus afférents d'assistance à l'analyse de données

Meta-analysis for workflow recommendation (student paper)

International audienceMeta-analysis for workflow recommendation auteurs : Gabriel Ferrettini, William Raynaut résumé : Short presentation of a system aiming to assist domain expert users in the developpment and exploitation of machine learning models. This is achieved through a recommendation system based on past experiments and a comprehensive prediction explanation system