A propos de l'utilisation des méthodes de Monte Carlo séquentielles pour l'estimation de paramètres dans les modèles de Markov cachés

A part dans quelques cas particuliers (modèles à espace d'état fini, modèles d'état linéaires gaussiens), l'estimation de paramètres au sens du maximum de vraisemblance dans les modèles de Markov cachés est une tâche difficile. La possibilité d'utiliser les techniques de Monte Carlo séquentielles (dites également de filtrage particulaire) à cette fin semble naturelle mais n'a, à ce jour, pas trouvé de concrétisation réellement convaincante. Dans cette communication, nous détaillons les liens entre l'estimation au sens du maximum de vraisemblance et la tâche de lissage de fonctionnelles additives de l'état caché. Nous proposons une solution simple permettant d'accroître la fiabilité des estimateurs en utilisant les propriétés d'oubli du filtre exact

Estimation adaptative de signaux localement harmoniques

Nous nous intéressons dans cet article à une nouvelle modélisation à temps discret de signaux localement harmoniques. Nous étudions ensuite une méthode d'estimation des paramètres du modèle reposant sur l'approximation locale polynomiale. Après avoir présenté les performances asymptotiques de ces estimateurs, nous proposons une application au débruitage d'un signal de parole voisé

Estimation semi-autodidacte par méthode sous-espace pour systèmes de réception multicapteurs

Cette article présente une analyse asymptotique de l'estimateur semi-autodidacte proposé par A. Gorokhov dans [3] combinant linéairement le critère des moindres carrés sur la séquence d'apprentissage et le critère sous-espace autodidacte [6]. Cette analyse s'inscrit dans le contexte des radiocommunications numériques à accès multiple à répartition dans le temps (AMRT) et à réception multicapteurs. Nous présentons l'analyse asymptotique de l'estimateur semi-autodidacte pour deux hypothèses asymptotiques différentes et proposons deux techniques issues des résultats de cette analyse permettant de régler de façon optimale le compromis entre le critère des moindres carrés (utilisant la séquence d'apprentissage) et le critère sous-espace autodidacte. Les simulations effectuées montrent que ces approches permettent d'améliorer significativement les performances de la méthode tant en termes d'estimation que de réduction du taux d'erreur

Recursive version of EM algorithm for on-line parameter estimation of hidden Markov models

Cette contribution est consacrée à l'estimation en ligne (ou récursive) de paramètres de modèles de Markov cachés. L'algorithme proposé constitue une version récursive de l'algorithme EM (Expectation-Maximization) qui généralise la construction de Mongillo et Denève (2008) au cas où les observations ne prennent plus un nombre fini de valeurs. On montre également comment cet algorithme peut être relié à l'existence d'un algorithme EM limite ainsi qu'à l'implémentation récursive du lissage de fonctionnelles additives de l'état pour les modèles de Markov cachés

Estimation dans les modèles localement sinusoïdaux et localement harmoniques, avec application au débruitage de signaux de parole

PARIS-Télécom ParisTech (751132302) / SudocSudocFranceF

Traitement statistique des distorsions non-linéaires pour la restauration des enregistrements sonores

L'objet de la thèse est l'étude, la modélisation et le traitement des distorsions non linéaires sonores, pour lesquelles les techniques actuelles s'avèrent impuissantes. L'approche retenue consiste à représenter, globalement, à la fois le signal audio à restaurer et le processus de distorsion, dans le cadre d'un modèle statistique. Cette approche présente un bon compromis entre une souhaitable généricité -possibilité de traiter à l'aide d'une méthode globale plusieurs types de distorsions- et l'utilisation de connaissances spécifiques, notamment concernant les sources de distorsions. La première étape de la thèse consiste en une analyse des mécanismes de la distorsion basée sur une série de mesures où plusieurs séquences audio sont enregistrées en entrée et en sortie d'appareils audiofréquences standards (amplificateurs de puissance, convertisseurs numérique-analogique, enregistreurs sur bandes magnétiques). Les éléments d'analyse retenus conduisent à la présentation des hypothèses principales du traitement. La méthode est basée sur un modèle de transmission non-linéaire choisi parmi ceux étudiés dans la littérature (modèles en cascades de Hammerstein simple), ainsi qu'un modèle des signaux à restaurer (modélisation autorégressive et modèle gaussien à écart-type variable). La seconde étape définit d'une part, la méthode d'identification autodidacte'' (à partir de la donnée seule du signal distordu) du modèle de distorsion et d'autre part, la technique de reconstruction de l'extrait sonore associée aux modèles de distorsion et de signal.The object of the thesis is the study, the modeling and the enhancement of nonlinearly distorted signals. The proposed approach consists in representing, the audio signal to be restored and the distortion process, within the framework of a statistical model. This approach presents a good compromise between desirable generics - possibility of treating several types of distortions using a single method - and the use of specific knowledge, in particular concerning the causes of distortions. The first part of the thesis contains an analysis of the distortion mechanisms based on series of measurements where several audio sequences are recorded at the input and output of audio devices (power amplifier, analogic-digital converter, magnetic tapes recorder). Characterization results lead to the presentation of the principal assumptions of the proposed method. The method is based on a non-linear model of transmission choosed among those studied in the literature (Hammerstein cascade model), as well as a model of the signal to be restored (autoregression modeling and Gaussian model with adaptive variance). The second part defines on the one hand, the blind identification (when only the distorted signal is known) of the distortion model and, on the other hand, the technique of sound compensation adapted to the distortion and signal models.PARIS-Télécom ParisTech (751132302) / SudocSudocFranceF

Stratégies optimistes en apprentissage par renforcement

This thesis concerns model-based methods to solve reinforcement learning problems: these methods define a set of models which could explain the interaction between an agent and an environment. We consider different models of interaction : (partially observed) Markov decision processes and bandit models. We show that our novel algorithms perform well in practice and theoretically. The first algorithm consists of following an exploration policy during which the model is estimated and then an exploitation one. The duration of the exploration phase is controlled in an adaptative way. We then obtain a logarithmic regret for a parametric Markov decision problem even if the state is partially observed. This model is motivated by an application of interest in cognitive radio : the opportunistic access of a communication network by a secondary user. We are also interested in optimistic algorithms: the agent chooses the optimal actions for the best possible model. We construct such an algorithm in a parametric bandit model for a generalized linear model. We consider an online advertisement application. We then use the Kullback-Leibler divergence to construct the set of likely models in optimistic algorithms for finite Markov decision processes. This change in metric is studied in details and leads to significant improvement in practice.Cette thèse traite de méthodes model-based pour résoudre des problèmes d apprentissage par renforcement qui consistent à construire à chaque instant un ensemble de modèles permettant d expliquer au mieux l interaction entre un agent et un environnement. Nous considérons différents modèles d interactions : les processus de décisions markoviens observés ou partiellement observés et les modèles de bandits. Les algorithmes proposés dans chacun de ses environnements se veulent performants tant en pratique que d'un point de vue théorique. Le premier algorithme consiste à suivre successivement une stratégie d estimation du modèle d interaction, puis une stratégie d exploitation. La durée de la phase d exploration est contrôlée de manière adaptative. Ceci permet d obtenir un regret logarithmique dans un processus de décision markovien paramétrique partiellement observé particulier motivé par une application d intérêt en radio cognitive qu est l accès opportuniste à un réseau de communication par un utilisateur secondaire. Nous nous intéressons de plus à des algorithmes optimistes : l agent suit la politique optimale du meilleur des modèles possibles. Nous construisons un tel algorithme pour un modèle de bandit paramétrique dans un cas de modèles linéaires généralisés permettant ainsi de considérer des applications telles que la gestion de publicité sur internet. De plus, nous utilisons de la divergence de Kullback-Leibler pour la construction de l ensemble des modèles vraisemblables dans des algorithmes optimistes pour des processus de décision markoviens à espaces d états et d actions finis, ce qui améliore significativement la performance pratique des algorithmes optimistesPARIS-Télécom ParisTech (751132302) / SudocSudocFranceF

Méthodes probabilistes pour l'analyse exploratoire de données textuelles

Nous abordons le problème de la classification non supervisée de documents par des méthodes probabilistes. Notre étude se concentre sur le modèle de mélange de lois multinomiales avec variables latentes thématiques au niveau des documents. La construction de groupes de documents thématiquement homogènes est une des technologies de base de la fouille de texte, et trouve de multiples applications, aussi bien en recherche documentaire qu'en catégorisation de documents, ou encore pour le suivi de thèmes et la construction de résumés. Diverses propositions récentes ont été faites de modèles probabilistes permettant de déterminer de tels regroupements. Les modèles de classification probabilistes peuvent également être vus comme des outils de construction de représentations numériques synthétiques d'informations contenues dans le document. Ces modèles, qui offrent des facilités pour la généralisation et l'interprétation des résultats, posent toutefois des problèmes d'estimation difficiles, dûs en particulier à la très grande dimensionnalité du vocabulaire. Notre contribution à cette famille de travaux est double : nous présentons d'une part plusieurs algorithmes d'inférence, certains originaux, pour l'estimation du modèle de mélange de multinomiales ; nous présentons également une étude systématique des performances de ces algorithmes, fournissant ainsi de nouveaux outils méthodologiques pour mesurer les performances des outils de classification non supervisée. Les bons résultats obtenus par rapport à d'autres algorithmes classiques illustrent, à notre avis, la pertinence de ce modèle de mélange simple pour les corpus regroupant essentiellement des documents monothématiques.In this thesis, we investigate the use of a probabilistic model for unsupervised clustering of text collections. We focus in particular on the multinomial mixture model, with one latent theme variable per document. Unsupervised clustering has become a basic module for many intelligent text processing applications, such as information retrieval, text classification or information extraction. Recent proposals have been made of probabilistic clustering models, which build "soft'' theme-document associations. These models allow to compute, for each document, a probability vector whose values can be interpreted as the strength of the association between documents and clusters. As such, these vectors can also serve to project texts into a lower-dimensional "semantic'' space. These models however pose non-trivial estimation problems, which are aggravated by the very high dimensionality of the parameter space. The contribution of this study is twofold. First, we present and contrast various estimation procedures for the multinomial mixture model, some of which had not been tested before in this context. Second, we propose a systematic evaluation of the performances of these algorithms, thereby defining a framework to assess the quality of unsupervised text clustering methods. The comparison with the performances of other classical models demonstrates, in our opinion, the relevance of the simple multinomial mixture model for clustering corpus mainly composed of monothematic documents.PARIS-Télécom ParisTech (751132302) / SudocSudocFranceF