Nonlinear blind mixture identification using local source sparsity and functional data clustering

International audienceIn this paper we propose several methods, using the same structure but with different criteria, for estimating the nonlinearities in nonlinear source separation. In particular and contrary to the state-of-art methods, our proposed approach uses a weak joint-sparsity sources assumption: we look for tiny temporal zones where only one source is active. This method is well suited to non-stationary signals such as speech. We extend our previous work to a more general class of nonlinear mixtures, proposing several nonlinear single-source confidence measures and several functional clustering techniques. Such approaches may be seen as extensions of linear instantaneous sparse component analysis to nonlinear mixtures. Experiments demonstrate the effectiveness and relevancy of this approach

Blind identification and separation methods for linear-quadratic mixtures and/or linearly independent non-stationary signals

International audienc

Méthodes de séparation aveugle de sources et application à la télédétection spatiale

Cette thèse concerne la séparation aveugle de sources, qui consiste à estimer un ensemble de signaux sources inconnus à partir d'un ensemble de signaux observés qui sont des mélanges à paramètres inconnus de ces signaux sources. C'est dans ce cadre que le travail de recherche de cette thèse concerne le développement et l'utilisation de méthodes linéaires innovantes de séparation de sources pour des applications en imagerie de télédétection spatiale. Des méthodes de séparation de sources sont utilisées pour prétraiter une image multispectrale en vue d'une classification supervisée de ses pixels. Deux nouvelles méthodes hybrides non-supervisées, baptisées 2D-Corr-NLS et 2D-Corr-NMF, sont proposées pour l'extraction de cartes d'abondances à partir d'une image multispectrale contenant des pixels purs. Ces deux méthodes combinent l'analyse en composantes parcimonieuses, le clustering et les méthodes basées sur les contraintes de non-négativité. Une nouvelle méthode non-supervisée, baptisée 2D-VM, est proposée pour l'extraction de spectres à partir d'une image hyperspectrale contenant des pixels purs. Cette méthode est basée sur l'analyse en composantes parcimonieuses. Enfin, une nouvelle méthode est proposée pour l'extraction de spectres à partir d'une image hyperspectrale ne contenant pas de pixels purs, combinée avec une image multispectrale, de très haute résolution spatiale, contenant des pixels purs. Cette méthode est fondée sur la factorisation en matrices non-négatives couplée avec les moindres carrés non-négatifs. Comparées à des méthodes de la littérature, d'excellents résultats sont obtenus par les approches méthodologiques proposées.This thesis concerns the blind source separation problem, which consists in estimating a set of unknown source signals from a set of observed signals which are mixtures of these source signals, with unknown mixing coefficients. In this thesis, we develop and use innovative linear source separation methods for applications in remote sensing imagery. Source separation methods are used and applied in order to preprocess a multispectral image for a supervised classification of this image. Two new unsupervised methods, called 2D-Corr-NLS and 2D-Corr-NMF, are proposed in order to extract abundance maps from a multispectral image with pure pixels. These methods are based on sparse component analysis, clustering and non-negativity constraints. A new unsupervised method, called 2D-VM, is proposed in order to extract endmember spectra from a hyperspectral image with pure pixels. This method is based on sparse component analysis. Also, a new method is proposed for extracting endmember spectra from a hyperspectral image without pure pixels, combined with a very high spatial resolution multispectral image with pure pixels. This method is based on non-negative matrix factorization coupled with non-negative least squares. Compared to literature methods, excellent results are obtained by the proposed methodological approaches

Méthodes de séparation aveugle de sources pour l'imagerie hyperspectrale : application à la télédétection urbaine et à l'astrophysique

Au cours de cette thèse nous avons développé des méthodes de Séparation Aveugle de Sources (SAS) pour des images hyperspectrales, dans le cadre de deux champs d'application : la télédétection urbaine et l'astrophysique. Dans la première partie de la thèse nous nous sommes intéressés au démélange hyperspectral pour des images urbaines, le but étant de retrouver d'une manière non supervisée les matériaux présents sur la scène en extrayant leurs spectres et leurs proportions. La plupart des méthodes de la littérature sont basées sur un modèle linéaire, qui n'est pas valide en milieu urbain à cause des structures 3D. Une première étape a donc été d'établir un modèle de mélange adapté aux milieux urbains, en partant d'équations physiques basées sur la théorie du transfert radiatif. Le modèle final de forme linéaire quadratique invariant spectralement, ainsi que les possibles hypothèses sur les coefficients de mélange, sont justifiés par les résultats obtenus sur des images simulées réalistes. Nous avons ensuite proposé, pour le démélange, des méthodes de SAS fondées sur la FMN (Factorisation en Matrices Non-négatives). Ces méthodes sont basées sur un calcul de gradient qui tient compte des termes quadratiques. La première méthode utilise un algorithme de gradient à pas fixe, à partir de laquelle une version de Newton a aussi été proposée. La dernière méthode est un algorithme FMN multiplicatif. Les méthodes proposées donnent de meilleures performances qu'une méthode linéaire de la littérature. En astrophysique nous avons développé des méthodes de SAS pour des images de champs denses d'étoiles du spectro-imageur MUSE. A cause de la PSF (Point Spread Function), les informations contenues dans les pixels peuvent résulter des contributions de plusieurs étoiles. C'est là que réside l'intérêt de la SAS : extraire, à partir de ces signaux qui sont des mélanges, les spectres des étoiles qui sont donc nos "sources". Le modèle de mélange est linéaire non invariant spectralement. Nous avons proposé une méthode de SAS basée sur la positivité des données. Cette approche exploite le modèle paramétrique de la FSF (Field Spread Function) de MUSE. La méthode mise en place est itérative et alterne l'estimation des spectres par moindres carrés (avec contraintes de positivité) et estimation des paramètres de la FSF par un algorithme de gradient projeté. La méthode proposée donne de bonnes performances sur des images simulées de MUSE.In this work, we developed Blind Source Separation methods (BSS) for hyperspectral images, concerning two applications : urban remote sensing and astrophysics. The first part of this work concerned spectral unmixing for urban images, with the aim of finding, by an unsupervised method, the materials present in the scene, by extracting their spectra and their proportions. Most existing methods rely on a linear model, which is not valid in urban environments because of 3D structures. Therefore, the first step was to derive a mixing model adapted to urban environments, starting from physical equations based on radiative transfer theory. The derived linear-quadratic model, and possible hypotheses on the mixing coefficients, are justified by results obtained with simulated realistic images. We then proposed, for the unmixing, BSS methods based on NMF (Non-negative Matrix Factorization). These methods are based on gradient computation taking into account the quadratic terms.The first method uses a gradient descent algorithm with a constant step, from which we then derived a Newton version. The last proposed method is a multiplicative NMF algorithm. These methods give better performance than a linear method from the literature. Concerning astrophysics, we developed BSS methods for dense field images of the MUSE instrument. Due to the PSF (Point Spread Function) effect, information contained in the pixels can result from contributions of many stars. Hence, there is a need for BSS, to extract from these signals that are mixtures, the star spectra which are our "sources". The mixing model is linear but spectrally non-invariant. We proposed a BSS method based on positivity. This approach uses the parametric model of MUSE FSF (Field Spread Function). The implemented method is iterative and alternates spectra estimation using least squares (with positivity constraint) and FSF parameter estimation by a projected gradient descent algorithm. The proposed method yields good performance with simulated MUSE images

Separation Of Sparse Signals In Overdetermined Linear-quadratic Mixtures

In this work, we deal with the problem of nonlinear blind source separation (BSS). We propose a new method for BSS in overdetermined linear-quadratic (LQ) mixtures. By exploiting the assumption that the sources are sparse in a transformed domain, we define a framework for canceling the nonlinear part of the mixing process. After that, separation can be conducted by linear BSS algorithms. Experiments with synthetic data are performed to assess the viability of our proposal. © 2012 Springer-Verlag.7191 LNCS239246Yitzhak Chaya Weinstein Res. Inst. Signal Process.,Tel-Aviv University,The Technion - Israel Institute of Technology,Bar-Ilan University,The Advanced Communication CenterComon, P., Jutten, C., (2010) Handbook of Blind Source Separation, Independent Component Analysis and Applications, , Academic Press, ElsevierRomano, J.M.T., Attux, R.R.F., Cavalcante, C.C., Suyama, R., (2011) Unsupervised Signal Processing: Channel Equalization and Source Separation, , CRC PressDuarte, L.T., Jutten, C., Moussaoui, S., A Bayesian nonlinear source separation method for smart ion-selective electrode arrays (2009) IEEE Sensors Journal, 9 (12), pp. 1763-1771Meganem, I., Deville, Y., Hosseini, S., Déliot, P., Briottet, X., Duarte, L.T., Linear-quadratic and polynomial non-negative matrix factorizationapplication to spectral unmixing (2011) Proc. of the 19th European Signal Processing Conference, EUSIPCO 2011Jutten, C., Karhunen, J., Advances in blind source separation (BSS) and independent component analysis (ICA) for nonlinear mixtures (2004) International Journal of Neural Systems, 14, pp. 267-292Comon, P., Independent component analysis, a new concept? (1994) Signal Processing, 36, pp. 287-314Hosseini, S., Deville, Y., Blind Separation of Linear-Quadratic Mixtures of Real Sources Using a Recurrent Structure (2003) LNCS, 2687, pp. 241-248. , Mira, J., Álvarez, J.R. (eds.) IWANN 2003. Springer, HeidelbergMerrikh-Bayat, F., Babaie-Zadeh, M., Jutten, C., Linear-quadratic blind source separating structure for removing show-through in scanned documents (2010) International Journal on Document Analysis and Recognition, pp. 1-15Bedoya, G., (2006) Nonlinear Blind Signal Separation for Chemical Solid-state Sensor Arrays, , PhD thesis, Universitat Politecnica de CatalunyaDeville, Y., Hosseini, S., Recurrent networks for separating extractable-target non-linear mixtures. part i: Non-blind configurations (2009) Signal Processing, 89, pp. 378-393Castella, M., Inversion of polynomial systems and separation of nonlinear mixtures of finite-alphabet sources (2008) IEEE Trans. on Sig. Proc., 56 (8), pp. 3905-3917Abed-Meraim, K., Belouchrani, A., Hua, Y., Blind identification of a linear-quadratic mixture of independent components based on joint diagonalization procedure Proc. of the IEEE Inter. Conf. on Acous., Spee., and Signal Processing, ICASSP (1996)Deville, Y., Hosseini, S., Blind identification and separation methods for linear-quadratic mixtures and/or linearly independent non-stationary signals Proc. of the 9th Int. Symp. on Sig. Proc. and Its App., ISSPA (2007)Duarte, L.T., Suyama, R., Attux, R., Deville, Y., Romano, J.M.T., Jutten, C., Blind Source Separation of Overdetermined Linear-Quadratic Mixtures (2010) LNCS, 6365, pp. 263-270. , Vigneron, V., Zarzoso, V., Moreau, E., Gribonval, R., Vincent, E. (eds.) LVA/ICA 2010. Springer, HeidelbergElad, M., (2010) Sparse and Redundant Representations from Theory to Applications in Signal and Image Processing, , Springer, HeidelbergMohimani, H., Babaie-Zadeh, M., Jutten, C., A fast approach for overcomplete sparse decomposition based on smoothed ℓ 0 norm (2009) IEEE Transactions on Signal Processing, 57 (1), pp. 289-301Duarte, L.T., Suyama, R., Attux, R., Romano, J.M.T., Jutten, C., Blind extraction of sparse components based on ℓ 0-norm minimization Proc. of the IEEE Statistical Signal Processing Workshop, SSP (2011