Apprentissage statistique

National audienceLa complexification des données que les statisticiens sont amenés à analyser requiert le développement de nouvelles techniques et modèles. Dans la pratique, les données peuvent sortir du cadre euclidien ou la frontière entre le cadre supervisé et non supervisé peut devenir trop rigide quand les données sont labellisées de manière imprécise ou incertaine. Les méthodes traditionnelles d'apprentissage statistique sont alors insuffisantes ou incomplètes. Le but de cette session est de présenter de nouveaux résultats théoriques et des applications en apprentissage statistique et classification en passant en revue, dans l'ensemble des présentations, le cadre supervisé, non supervisé, mais aussi semi ou partiellement supervisé

Estimation de variabilité pour le démélange non-supervisé d'images hyperspectrales

International audienceLe démélange d’images hyperspectrales vise à identifier les signatures spectrales d’un milieu imagé ainsi que leurs proportions dans chacun des pixels. Toutefois, les signatures extraites présentent en pratique une variabilité qui peut compromettre la fiabilité de cette identification. En supposant ces signatures potentiellement affectées par le phénomène de variabilité, nous proposons d’estimer les paramètres d’un modèle de mélange linéaire à l’aide d’un algorithme de minimisation alternée (Proximal alternating linearized minimization, PALM) dont la convergence a été démontrée pour une classe de problèmes non-convexes qui contient précisément le problème du démélange d’images hyperspectrales. La méthode proposée est évaluée sur des données synthétiques et réelles

Algorithmes bayésiens pour le démélange supervisé, semi-supervisé et non-supervisé d’images hyperspectrales

Cet article présente des algorithmes totalement bayésiens pour le démélange d’images hyperspectrales. Chaque pixel de l’image est décomposée selon une combinaison de spectres de références pondérés par des coefficients d’abondances selon un modèle de mélange linéaire. Dans un cadre supervisé, nous supposons connus les spectres de références. Le problème consiste alors à estimer les coefficients du mélange sous des contraintes de positivité et d’additivité. Une loi a priori adéquate est choisie pour ces coefficients qui sont estimés à partir de leur loi a posteriori. Un algorithme de Monte Carlo par chaîne de Markov (MCMC) est développé pour approcher les estimateurs. Dans un cadre semi-supervisé, les spectres participant au mélange seront supposés inconnus. Nous faisons l’hypothèse qu’ils appartiennent à une bibliothèque spectrale. Un algorithme MCMC à sauts réversibles permet dans ce cas de résoudre le problème de sélection de modèle. Enfin, dans un dernier cadre d’étude, les algorithmes précédents sont étendus au démélange non-supervisé d’images hyperspectrales, c’est-à-dire au problème d’estimation conjointe des spectres et des coefficients de mélange. Ce problème de séparation aveugle de sources est résolu dans un sous-espace approprié

Regroupement non-supervisé d'utilisateurs par leur comportement pour les systèmes de dialogue parlé

National audienceSpoken Dialogue Systems (SDS) are natural language interfaces for human-computer interaction. User adaptive dialogue management strategies are essential to sustain the naturalness of interaction. In recent years data-driven methods for dialogue optimization have evolved to be a state of art approach. However these methods need vast amounts of corpora for dialogue optimization. In order to cope with the data requirement of these methods, but also to evaluate the dialogue strategies, user simulations are built. Dialogue corpora used to build user simulation are often not annotated in user's perspective and thus can only simulate some generic user behavior, perhaps not representative of any user. This paper aims at clustering dialogue corpora into various groups based on user behaviors observed in the form of full dialogues.Les systèmes de dialogue parlé sont des interfaces naturelles pour l'interaction homme-machine. La conception de stratégies d'interaction s'adaptant à l'interlocuteur est essentielle pour assurer le caractère naturel de l'interface. Depuis quelques années, des méthodes d'apprentissage automatique pour l'optimisation de ces stratégies, particulièrement l'apprentissage par renforcement, sont utilisées de plus en plus largement et font maintenant partie de l'état de l'art dans le domaine. Néanmoins, de grandes quantités de données sont souvent nécessaires pour entraîner ces algorithmes menant à une optimisation de l'interaction. Pour palier le déficit de données souvent rencontré en pratique, mais aussi pour évaluer la qualité des systèmes développés, des systèmes de simulation d'utilisateurs sont souvent utilisés. On utilise alors des jeux de données de dialogue annotés plus petits permettant d'apprendre des comportements simulés. Néanmoins l'annotation n'est généralement pas réalisée du point de vue utilisateur mais plutôt du point de vue machine, ainsi le but poursuivi par l'utilisateur est souvent inconnu. Par ailleurs, toute la base de données est la plupart du temps utilisée pour entraîner un simulateur qui produit ainsi des comportements moyens pouvant éventuellement ne correspondre à aucun comportement particulier rencontré dans la base. Cet article propose une méthode de regroupement non-supervisé des données (clustering) en fonction du comportement des utilisateurs. Cette segmentation des comportements se base sur l'interprétation des utilisateurs comme étant des processus décisionnels de Markov, de dynamique et/ou récompenses différentes. De cette manière plusieurs groupes d'utilisateurs sont distingués en fonction de dialogues complets et pas de comportements locaux dans des contextes particuliers

Projection Interlingue d'Étiquettes pour l'Annotation Sémantique Non Supervisée

International audienceCross-lingual Annotation Projection for Unsupervised Semantic Tagging. This work focuses on the development of linguistic analysis tools for resource-poor languages. In a previous study, we proposed a method based on cross-language projection of linguistic annotations from parallel corpora to automatically induce a morpho-syntactic analyzer. Our approach was based on Recurrent Neural Networks (RNNs). In this paper, we present an improvement of our neural model. We investigate the inclusion of external information (POS tags) in the neural network to train a multilingual SuperSenses Tagger. We demonstrate the validity and genericity of our method by using parallel corpora (obtained by manual or automatic translation). Our experiments are conducted for cross-lingual annotation projection from English to French and Italian

Application de techniques parcimonieuses et hiérarchiques en reconnaissance de la parole

Les systèmes de reconnaissance de la parole sont fondamentalement dérivés des domaines du traitement et de la modélisation statistique des signaux. Depuis quelques années, d'importantes innovations de domaines connexes comme le traitement d'image et les neurosciences computationnelles tardent toutefois à améliorer la performance des systèmes actuels de reconnaissance de parole. La revue de la littérature a suggéré qu'un système de reconnaissance vocale intégrant les aspects de hiérarchie, parcimonie et grandes dimensions joindrait les avantages de chacun. L'objectif général est de comprendre comment l'intégration de tous ces aspects permettrait d'améliorer la robustesse aux bruits additifs d'un système de reconnaissance de la parole. La base de données TI46 (mots isolés, faible-vocabulaire) est utilisée pour effectuer l'apprentissage non-supervisé et les tests de classification. Les différents bruits additifs proviennent de la base de données NOISEX-92, et permettent d'évaluer la robustesse en conditions de bruit réalistes. L'extraction de caractéristiques dans le système proposé est effectuée par des projections linéaires successives sur des bases, permettant de couvrir de plus en plus de contexte temporel et spectral. Diverses méthodes de seuillage permettent de produire une représentation multi-échelle, binaire et parcimonieuse de la parole. Au niveau du dictionnaire de bases, l'apprentissage non-supervisé permet sous certaines conditions l'obtention de bases qui reflètent des caractéristiques phonétiques et syllabiques de la parole, donc visant une représentation par objets d'un signal. L'algorithme d'analyse en composantes indépendantes (ICA) s'est démontré mieux adapté à extraire de telles bases, principalement à cause du critère de réduction de redondance. Les analyses théoriques et expérimentales ont montré comment la parcimonie peut contourner les problèmes de discrimination des distances et d'estimation des densités de probabilité dans des espaces à grandes dimensions. Il est observé qu'un espace de caractéristiques parcimonieux à grandes dimensions peut définir un espace de paramètres (p.ex. modèle statistique) de mêmes propriétés. Ceci réduit la disparité entre les représentations de l'étage d'extraction des caractéristiques et celles de l'étage de classification. De plus, l'étage d'extraction des caractéristiques peut favoriser une réduction de la complexité de l'étage de classification. Un simple classificateur linéaire peut venir compléter un modèle de Markov caché (HMM), joignant une capacité de discrimination accrue à la polyvalence d'une segmentation en états d'un signal. Les résultats montrent que l'architecture développée offr de meilleurs taux de reconnaissance en conditions propres et bruités comparativement à une architecture conventionnelle utilisant les coefficients cepstraux (MFCC) et une machine à vecteurs de support (SVM) comme classificateur discriminant. Contrairement aux techniques de codage de la parole où la transformation doit être inversible, la reconstruction n'est pas importante en reconnaissance de la parole. Cet aspect a justifié la possibilité de réduire considérablement la complexité des espaces de caractéristiques et de paramètres, sans toutefois diminuer le pouvoir de discrimination et la robustesse

Extraction Contextuelle de Concepts Ontologiques pour le Web Sémantique

National audienceDe nombreux travaux de recherche, s'intéressant à l'annotation, l'intégration des données, les services web, etc. reposent sur les ontologies. Le développement de ces applications dépend de la richesse conceptuelle des ontologies. Dans cet article, nous présentons l'extraction des concepts ontologiques à partir de documents HTML. Afin d'améliorer ce processus, nous proposons un algorithme de clustering hiérarchique non supervisé intitulé " Extraction de Concepts Ontologiques " (ECO) ; celui-ci utilise d'une façon incrémentale l'algorithme de partitionnement Kmeans et est guidé par un contexte structurel. Ce dernier exploite la structure HTML ainsi que la position du mot afin d'optimiser la pondération de chaque terme ainsi que la sélection du co-occurrent le plus proche sémantiquement. Guidé par ce contexte, notre algorithme adopte un processus incrémental assurant un raffinement successif des contextes de chaque mot. Il offre, également, le choix entre une exécution entièrement automatique ou interactive. Nous avons expérimenté notre proposition sur un corpus du domaine du tourisme en français. Les résultats ont montré que notre algorithme améliore la qualité conceptuelle ainsi que la pertinence des concepts ontologiques extraits

Objets sonores : une représentation bio-inspirée, hiérarchique, parcimonieuse à très grandes dimensions utilisable en reconnaissance

L’accent est placé dans cet article sur la structure hiérarchique, l’aspect parcimonieux de la représentation de l’information sonore, la très grande dimension des caractéristiques ainsi que sur l’indépendance des caractéristiques permettant de définir les composantes des objets sonores. Les notions d’objet sonore et de représentation neuronale sont d’abord introduites, puis illustrées avec une application en analyse de signaux sonores variés : parole, musique et environnements naturels extérieurs. Finalement, un nouveau système de reconnaissance automatique de parole est proposé. Celui-ci est comparé à un système statistique conventionnel. Il montre très clairement que l’analyse par objets sonores introduit une grande polyvalence et robustesse en reconnaissance de parole. Cette intégration des connaissances en neurosciences et traitement des signaux acoustiques ouvre de nouvelles perspectives dans le domaine de la reconnaissance de signaux acoustiques.Abstract : The emphasis is put on the hierarchical structure, independence and sparseness aspects of auditory signal representations in high-dimensional spaces, so as to define the components of auditory objects. The concept of an auditory object and its neural representation is introduced. An illustrative application then follows, consisting in the analysis of various auditory signals : speech, music and natural outdoor environments. A new automatic speech recognition (ASR) system is then proposed and compared to a conventional statistical system. The proposed system clearly shows that an object-based analysis introduces a great flexibility and robustness for the task of speech recognition. The integration of knowledge from neuroscience and acoustic signal processing brings new ways of thinking to the field of classification of acoustic signals

Manipuler les données. Documenter le marché: Les implications organisationnelles du mouvement big data

International audienceWhat is big data? How to characterize it? What is its impact on the organization of the market? From a merchant point of view, big data consist in transforming the traces of consumers' activities into information which are transmit to the market participants. Big data is, therefore, a process of documentation. First, we argue that the dynamics of this process refers to a socio-technical evolution and a socio-cognitive revolution. Then, we underline the implications of this revolution on the market organization. In conclusion, we note that if big data documentation process can promote the reactivity and adaptability of commercial organizations, it can also lead to important knowledge biases in socioeconomic terms.Qu'est-ce que le big data ? Comment le caractériser ? Quel est son impact sur l'organisation du marché ? D'un point de vue marchand, le big data consiste à transformer les traces d'activités des consommateurs en informations dans le but de documenter les acteurs du marché. Le big data est donc un processus de documentation. D'abord, nous soutenons que la dynamique de ce processus renvoie à une évolution sociotechnique et une révolution sociocognitive. Ensuite, nous pointons les implications de cette révolution sur l'organisation du marché. En conclusion, nous soulignons que si le processus de documentation big data peut favoriser la réactivité et l'adaptabilité des organisations marchandes, il peut également engendrer des biais de connaissance importants sur le plan socioéconomique