Functional Multi-Layer Perceptron: a Nonlinear Tool for Functional Data Analysis

In this paper, we study a natural extension of Multi-Layer Perceptrons (MLP) to functional inputs. We show that fundamental results for classical MLP can be extended to functional MLP. We obtain universal approximation results that show the expressive power of functional MLP is comparable to that of numerical MLP. We obtain consistency results which imply that the estimation of optimal parameters for functional MLP is statistically well defined. We finally show on simulated and real world data that the proposed model performs in a very satisfactory way.Comment: http://www.sciencedirect.com/science/journal/0893608

Classification d’images hyperspectrales par des méthodes fonctionnelles non-paramétriques

la classification supervisée d’images hyperspectrales est rendue difficile par le grand nombre de variables spectrales et par le petit nombre d’échantillons de références pour l’entraînement. Plusieurs méthodes ont été proposées pour aborder ce problème. Citons par exemple les méthodes Bayésiennes, les méthodes d’extraction de caractéristiques, les forêts aléatoires, les réseaux de neurones ainsi que les méthodes à noyau. En particulier, les Machines à Vecteurs de Support ou Séparateur à Vaste Marge (SVM) ont montré de très bonnes performances en termes de bonnes classification. Cependant, une des caractéristiques principales de l’imagerie hyperspectrale n’a pas été encore étudiée : la très forte corrélation entre deux bandes spectrales consécutives, liée à la nature physique des spectres de réflectance. Une façon de prendre en compte cette propriété est de ne pas considérer les spectres comme des vecteurs de variables spectrales mais comme la discrétisation de fonctions continues de la longueur d’onde. Cette modélisation permet ainsi de prendre en compte naturellement l’ordre des bandes spectrales, la forme des spectres ou la dérivée des spectres de longueurs d’ondes. De plus, l’utilisation de mesures de proximité spécifiques appelées « pseudo-métriques » sur les fonctions permet une plus grande robustesse face à la grande dimension spectrale. Dans cette présentation, nous introduirons une approche non-paramétrique de classification de fonctions à l’aide d’un modèle statistique fonctionnel. En particulier, la construction de 3 pseudo-métriques adaptées à la comparaison de courbes sera présentée. La première pseudo-métrique considérée est une extension de la distance vectorielle L2 aux espaces fonctionnels, la seconde est basée sur l’Analyse Fonctionnelle en Composante Principale (FPCA) et la troisième utilise sur la Régression Multiples des Moindres Carrés Partiels (MPLSR). Des résultats obtenus sur des images hyperspectrales réelles seront présentés. Pour comparaison, un modèle de mélange Gaussien et des SVM ont été appliqués. En termes de taux d’erreurs de classification, la méthode proposée avec la pseudo-métrique MPLSR donnent les meilleurs résultats. Nous conclurons la présentation sur les perspectives qu’offre la modélisation fonctionnelle pour le traitement d’images hyperspectrales

Découpage de courbes de densité : Application au dépistage du cancer

International audienceLe dépistage actuel du cancer broncho-pulmonaire est effectué à l'aide d'une radiographie pulmonaire, d'un scanner thoracique et d'un examen cytologique des expectorations. La cytologie automatisée des expectorations est une méthode permettant l'analyse informatique des cellules d'un crachat sur la lame d'un microscope. Comme une personne est représentée par l'ensemble des cellules de sa lame, il nous a paru intéressant d'utiliser la densité de probabilité comme unité statistique. La modélisation fonctionnelle des données, méthode pour laquelle l'unité statistique est à valeurs dans un espace infini, répond bien à cette problématique statistique puisque, par définition, une densité de probabilité est une fonction. Lors de cet exposé nous présenterons la méthode de classification supervisée de courbes de densité que nous avons développée, pour discriminer des personnes ayant un cancer et des personnes saines, et nous vous donnerons quelques résultats issus de données réelles

Polychotomous regression : application to landcover prediction

An important field of investigation in Geography is the modelization of the evolution of land cover in view of analyzing the dynamics of this evolution and then to build predictive maps. This is possible with the apparatus of measure : sattelite image... In this paper, we propose to use a polychotomous regression model to modelize and to predict land cover of a given area : we shox how to adapt this model in order to take into account the spatial correlation and the temporal evolution of the vegetation indexes. This study concerns an area in the Pyrenees mountains

Utilisation de tests de structure en régression sur variable fonctionnelle.

International audienceCe travail s'intéresse à la construction et à l'utilisation de tests de structure en régression sur variable fonctionnelle. Nous proposons, de manière générale, de construire notre statistique de test à partir d'un estimateur spécifique au modèle particulier dont nous voulons tester la validité et de méthodes d'estimation à noyau fonctionnel. Un résultat théorique montre, sous des hypothèses générales, la normalité asymptotique de notre statistique de test sous l'hypothèse nulle (c'est à dire lorsque l'hypothèse sur la structure du modèle est valide) et sa divergence sous des alternatives locales. Ce résultat permet d'envisager la construction de tests de structure de nature très variée permettant par exemple de tester si la variable explicative n'a pas d'effet, si cet effet est linéaire, ou bien si l'effet de la variable explicative fonctionnelle se résume par l'effet de quelques caractéristiques réelles associées à celle-ci. Différentes méthodes de rééchantillonnage sont proposées pour calculer la valeur seuil du test. La méthode la plus adaptée (au vu de simulations) est ensuite utilisée dans le cadre de l'étude de données spectrométriques. L'utilisation de différents tests construits à partir de l'approche que nous proposons permet d'apporter des éléments de réponses à des questions concrètes liées à ces données. Nous discutons finalement les points qui peuvent être améliorés et présentons brièvement des perspectives intéressantes qu'offre l'utilisation de tests de structure dans le cadre de procédures s'intéressant à l'extraction de caractéristiques importantes pour la prédiction au sein de la courbe explicative mais aussi au choix de la semi-métrique

Gaussian process regression with functional covariates and multivariate response

Gaussian process regression (GPR) has been shown to be a powerful and effective nonparametric method for regression, classification and interpolation, due to many of its desirable properties. However, most GPR models consider univariate or multivariate covariates only. In this paper we extend the GPR models to cases where the covariates include both functional and multivariate variables and the response is multidimensional. The model naturally incorporates two different types of covariates: multivariate and functional, and the principal component analysis is used to de-correlate the multivariate response which avoids the widely recognised difficulty in the multi-output GPR models of formulating covariance functions which have to describe the correlations not only between data points but also between responses. The usefulness of the proposed method is demonstrated through a simulated example and two real data sets in chemometrics

Representation of Functional Data in Neural Networks

Functional Data Analysis (FDA) is an extension of traditional data analysis to functional data, for example spectra, temporal series, spatio-temporal images, gesture recognition data, etc. Functional data are rarely known in practice; usually a regular or irregular sampling is known. For this reason, some processing is needed in order to benefit from the smooth character of functional data in the analysis methods. This paper shows how to extend the Radial-Basis Function Networks (RBFN) and Multi-Layer Perceptron (MLP) models to functional data inputs, in particular when the latter are known through lists of input-output pairs. Various possibilities for functional processing are discussed, including the projection on smooth bases, Functional Principal Component Analysis, functional centering and reduction, and the use of differential operators. It is shown how to incorporate these functional processing into the RBFN and MLP models. The functional approach is illustrated on a benchmark of spectrometric data analysis.Comment: Also available online from: http://www.sciencedirect.com/science/journal/0925231

Efficient Bayesian hierarchical functional data analysis with basis function approximations using Gaussian-Wishart processes

Functional data are defined as realizations of random functions (mostly smooth functions) varying over a continuum, which are usually collected with measurement errors on discretized grids. In order to accurately smooth noisy functional observations and deal with the issue of high-dimensional observation grids, we propose a novel Bayesian method based on the Bayesian hierarchical model with a Gaussian-Wishart process prior and basis function representations. We first derive an induced model for the basis-function coefficients of the functional data, and then use this model to conduct posterior inference through Markov chain Monte Carlo. Compared to the standard Bayesian inference that suffers serious computational burden and unstableness for analyzing high-dimensional functional data, our method greatly improves the computational scalability and stability, while inheriting the advantage of simultaneously smoothing raw observations and estimating the mean-covariance functions in a nonparametric way. In addition, our method can naturally handle functional data observed on random or uncommon grids. Simulation and real studies demonstrate that our method produces similar results as the standard Bayesian inference with low-dimensional common grids, while efficiently smoothing and estimating functional data with random and high-dimensional observation grids where the standard Bayesian inference fails. In conclusion, our method can efficiently smooth and estimate high-dimensional functional data, providing one way to resolve the curse of dimensionality for Bayesian functional data analysis with Gaussian-Wishart processes.Comment: Under revie