Unsupervised learning of pictures by genetic hibrydization of hidden Markov chain

This paper presents a learning algorithm using hidden Markov models (HMMs) and genetic algorithms (GAs) . Two standard problems to be solved with HMMs are how to determine the probabilities and the number of hidden states of the learned models . Generally, this number of states is determined either by the trial-error method that needs experimentation, or by the background knowledge available . The presented algorithm uses a GA in order to determine at the same time both the number of states and the probabilities of learned HMMs . This hybrid algorithm uses the Baum-Welch algorithm to optimise precisely the probabilities of HMMs . Several algorithms, either hybrid or not, are compared in a face recognition task . The obtained results highlight the strength of our approach for the concerned problem .Cet article présente un algorithme d'apprentissage non supervisé par chaînes de Markov cachées (CMC) et algorithmes génétiques (AG). Deux des problèmes rencontrés lors de l'utilisation des CMC sont de déterminer les probabilités de la CMC et le nombre d'états de cette chaîne. Bien souvent, ce nombre d'états est déterminé soit par expériences successives, soit à l'aide de connaissances a priori du domaine. L'algorithme présenté ici emploie un algorithme génétique afin de déterminer le nombre d'états cachés de la CMC ainsi que les différentes probabilités qui la constituent. Cet algorithme est couplé à l'algorithme de Baum-Welch qui permet une réestimation efficace des probabilités de la CMC. Différents algorithmes, hybrides ou non, sont comparés entre eux sur une application d'apprentissage et de reconnaissance d'images représentant des visages. Les résultats montrent la supériorité de l'approche génétique pour ce type de problème

Apprentissage du nombre d'états d'une chaîne de Markov cachée pour la reconnaissance d'images

L'apprentissage d'images par Chaînes de Markov cachée (C.M.C.) est un problème difficile, principalement à cause de la quantité de données à faire apprendre à la CMC. De nombreux algorithmes d'apprentissage existent dans ce domaine. Cet article présente un algorithme hybride d'apprentissage de CMC. Cet algorithme optimise à la fois le nombre d'états et les paramètres (probabilités) de la CMC. Il repose sur une recherche génétique d'un bon modèle parmi une population hétérogène de CMC (contenant différentes architectures) et une optimisation par un algorithme de gradient (Baum-Welch). Ce nouvel algorithme converge rapidement et permet une amélioration significative de l'apprentissage d'images et du taux de reconnaissance par rapport aux algorithmes traditionnels

NAR time-series prediction: a Bayesian framework and an experiment

We extend the Bayesian framework to Multi-Layer Perceptron models of Non-linear Auto-Regressive time-series. The approach is evaluated on an artificial time-series and some common simplifications are discussed. 1. Introduction Non-linear Auto-Regressive (NAR, [Box et al. 94]) time-series models are a quite common prediction tool. Because of their general approximating capabilities ([Hornik et al. 89]), feed-forward neural networks (NN) of the Multi-Layer Perceptron (MLP) type ([Rumelhart et al. 86]) are often used to develop NAR models. However, we usually build a single NAR model embodied in a single NN. One of the drawbacks of this approach is that it doesn't allow us to compute confidence limits for the predictions. This problem was partly solved in the Bayesian framework, developed for non-sequential problems (see [MacKay 92], [Neal 92]), by taking into account the influence of model variance on the output distribution. We shortly present here an extention of this Bayesian frame..