This paper proposes a new method for blindly inverting a nonlinear mapping which transforms a sum of random variables. This is the case of post-nonlinear (PNL) source separation mixtures. The importance of the method is based on the fact that it permits to decouple the estimation of the nonlinear part from the estimation of the linear one. Only the nonlinear part is inverted, without considering on the linear part. Hence the initial problem is transformed into a linear one that can then be solved with any convenient linear algorithm. The method is compared with other existing algorithms for blindly approximating nonlinear mappings. Experiments show that the proposed algorithm outperforms the results obtained with other algorithms and give a reasonably good linearized dat

Jutten, Christian

Solé-Casals, Jordi

RIUVic

  ESTIMACIÓN DE FUNCIONES NO LINEALES EN MEZCLAS POST-NO LINEALES  Jordi Solé-Casals(1), Christian Jutten(2)Jordi.Sole@uvic.cat, Christian.Jutten@inpg.fr (1) Grup de Processament de Senyal. Universitat de Vic. c/ de la Laura, 13, 08500 Vic (2) GIPSA Lab., INPG, 46 Av.Félix Viallet, 38031 Grenoble (France)  Abstract- This paper proposes a new method for blindly inverting a nonlinear mapping which transforms a sum of random variables. This is the case of post-nonlinear (PNL) source separation mixtures. The importance of the method is based on the fact that it permits to decouple the estimation of the nonlinear part from the estimation of the linear one. Only the nonlinear part is inverted, without considering on the linear part. Hence the initial problem is transformed into a linear one that can then be solved with any convenient linear algorithm. The method is compared with other existing algorithms for blindly approximating nonlinear mappings. Experiments show that the proposed algorithm outperforms the results obtained with other algorithms and give a reasonably good linearized data I. INTRODUCCIÓN La separación ciega de modelos post-no lineales (PNL) (ver Fig. 1) requiere la estimación de la inversa de la función no lineal y de la parte lineal (matriz de mezcla). Esto se puede realizar minimizando la información mutua de la salida de la estructura de inversión. Sin embargo, nos conduce a algoritmos lentos, puesto que las dos partes (no lineal y lineal) están en cascada y se optimizan con el mismo criterio. Un método simple y muy rápido para estimar de forma aproximada la inversa de la función no lineal se presenta en [1]. El método proporciona un buen punto de la inicialización que se puede utilizar como punto de partida de cualquier algoritmo para invertir la mezcla PNL. Esto no modifica el funcionamiento asintótico del algoritmo utilizado y aumenta su velocidad de convergencia, con un coste computacional adicional muy pequeño.  En este artículo, proponemos una generalización de esta idea, explotada ya en [1][4], para estimar la inversa de  la función no lineal. Esta estimación permite transformar el caso PNL a un problema lineal, que puede ser invertido con cualquier algoritmo lineal.    Fig. 1: El sistema de mezcla-separación para el caso PNL Generalizando resultados anteriores, proponemos un nuevo algoritmo para la estimación de la inversa de la función no lineal fi. El algoritmo consiste en el ajuste de una función no lineal gi de modo que la entropía de Shannon de Zi=gi(Ei) sea máxima bajo la condición de variancia unitaria. Aunque  parece que estamos haciendo lo mismo que [1], aquí la variable aleatoria recuperada z (después de que la inversión no lineal) no tiene forzosamente una distribución Gaussiana pero si una entropía máxima. La sección 2 explica los principios del algoritmo. La sección 3 muestra experimentalmente la robustez y el funcionamiento del método, y finalmente se presentan las conclusiones en la sección 4. II. ALGORITMO Considerar la entropía de Shannon de la variable aleatoria continua con varianza unidad : ( )EgZ =( ) ( ) (∫ −= duupupZH ZZlog )  (1)Donde ( )upZ  denota la función de densidad de probabilidad. Dado que la varianza es unitaria, la entropía de Shannon ( )ZH  es máxima si Z es Gaussiana [2], con lo cuál g se puede estimar de manera que ( ) ( )( )EgHZH =  sea máxima (bajo la condición de varianza unitaria).  En el caso discreto, las ecuaciones anteriores quedan como sigue: ( ) ( ) ( )∑=−=Nkkk zpzpZH1log  (2)Donde ( )kzp  son las probabilidades de un conjunto de mensajes { }nzz L,1  ocurriendo con probabilidades   npp L,1[2]. Dado que para variables continuas la entropía máxima para una varianza determinada corresponde a una distribución Gaussiana y que para el caso discreto corresponde a una distribución uniforme, el nuevo método que proponemos debe obtener buenos resultados en los dos casos, ya que no forzamos directamente la obtención de un tipo u otro de función de distribución para Z sino que maximizamos la entropía . Los resultados experimentales confirman este punto cuando comparamos ( )ZH   los tres algoritmos (Gaussianización, uniformización y maximización de entropía). La parametrización más simple consiste en utilizar un polinomio. Esto nos dará un algoritmo sencillo y con pocos parámetros.  Consideremos un polinomio de grado N para g(·): ( ) ∑+=−=111Nnnntatg  (3) De acuerdo con la Fig. 1, y eliminando los subíndices i de cada canal para simplificar la notación, obtenemos: ( ) ( ) ( )( ) ( )∑+=−==≈111Nnnn teategtztx  (4)Necesitamos calcular la entropía  de cada señal z. Esta entropía se escribe como: ( )ZH( ) ( ) ( )⎥⎦⎤⎢⎣⎡ ′+= ∑iiegEeHzH log  (5) Y las derivadas de esta ecuación con respecto a los parámetros ap (coeficientes del polinomio) son:  ( ) ( ) ( ) ( )( )( ) ( ) ( ) ( )⎥⎥⎦⎤⎢⎢⎣⎡ −⎟⎠⎞⎜⎝⎛ −=⎥⎥⎦⎤⎢⎢⎣⎡ ′⎟⎠⎞⎜⎝⎛ −=−−+=−−+=−∑∑211121112111pNnnnpNnnnpepenaEegaenaEazHτττ∂∂τ∂∂ (6)Finalmente, proponemos un algoritmo de gradiente para estimar la función inversa g que queda como: aaa Δ+← μ  (7) III. RESULTADOS EXPERIMENTALES Con el fin de poder comparar los resultados obtenidos con el nuevo método propuesto, vamos a realizar los experimentos con los tres métodos siguientes: Gaussianización [1], uniformización (similar a [1] pero forzando distribución uniforme para z) y el algoritmo propuesto (maximización de entropía). Se darán solamente los resultados de la inversión de la parte no lineal. La parte lineal se podría invertir con cualquier método de separación de mezclas lineales existente. En todos los experimentos fijamos los siguientes parámetros: • Matriz de mezcla:    ⎥⎦⎤⎢⎣⎡=17.06.01A• Funciones no lineales: ( ) xxff 1.03tanh21 +==  • Longitud de las señales: muestras 500=T• Grado de los polinomios para las estimaciones de 1g  y :2g    10=N• Numero máximo de iteraciones para la estimación de 1g  y : 2g 100=iter  • Ganancia de adaptación: 01.0=μ  La ganancia en la inversión de las funciones no lineales obtenida con los tres métodos la vamos a calcular mediante: ( ) ⎟⎟⎠⎞⎜⎜⎝⎛−= 222log10iiixzzdBSNRi  (9)Con . 2,1=iEn el primer experimento utilizamos dos ruidos aleatorios como señales fuente, generadas mediante la función de Matlab rand ([1 T]) - 0.5.  La Fig. 2 muestra la evolución de la SNR en dB obtenida con los tres métodos.   Podemos observar que el algoritmo propuesto obtiene mejores resultados que la Gaussianización o la uniformización. Además, obtenemos mejores resultados con la Gaussianización que con la uniformización. Esto es debido a que las fuentes son señales de ruido continuas. Por otra parte, aunque el método propuesto es un método iterativo, la convergencia es muy rápida, estabilizando el resultado en menos de 50 iteraciones. 0 10 20 30 40 50 60 70 80 90 100141618202224  0 10 20 30 40 50 60 70 80 90 100141618202224   Fig. 2: SNR (dB) de la compensación de la función no lineal para dos fuentes de ruido (continuo) aleatorio distribuido uniformemente. En la parte superior, los resultados para el canal 1, y en la parte inferior los resultados para el canal 2. El trazo sólido corresponde al método de maximización de entropía, el trazo discontinuo corresponde al método de Gaussianización, y el trazo de puntos corresponde al método de uniformización.  En el segundo experimento utilizamos una fuente de ruido aleatorio y otra determinista, generada mediante el siguiente código Matlab: sin((1:T)/sqrt(2))+ sin((1:T)/sqrt(3)). La Fig. 3 muestra evolución de la SNR en dB obtenida con los tres métodos. Una vez más, el método propuesto obtiene mejores resultados que los otros dos, pero en este caso el método de uniformización gana al de Gaussianización, dada la naturaleza determinista de una de las fuentes. 0 10 20 30 40 50 60 70 80 90 10016182022242628  0 10 20 30 40 50 60 70 80 90 100152025   Fig. 3: SNR (dB) de la compensación de la función no lineal para dos fuentes continuas (un ruido y una señal periódica). En la parte superior, los resultados para el canal 1, y en la parte inferior los resultados para el canal 2. El trazo sólido corresponde al método de maximización de entropía, el trazo discontinuo corresponde al método de Gaussianización, y el trazo de puntos corresponde al método de uniformización. Finalmente, en la Fig. 4 se muestran los resultados obtenidos con dos ruidos uniformes discretos de 5 niveles   (–0.4, –0.2, 0, +0.2, +0.4). En este caso, dado que las dos fuentes son discretas y tienen una distribución uniforme, el método de uniformización supera al de Gaussianización,    pero el método propuesto nos da una vez más el mejor resultado entre los tres. Para ilustrar mejor la calidad de la inversión conseguida con este método, en la  se muestra un ejemplo (ideal) de funciones f, g y (g·f). Podemos compararlo con el resultado (señales del primer ejemplo) de (g·f) obtenido mediante los tres métodos, mostrados en la figura . En la izquierda se muestra el resultado obtenido mediante maximización de entropía, en el centro el resultado obtenido mediante uniformización, y en la derecha el resultado obtenido mediante Gaussianización. Se puede observar que el nuevo método obtiene un resultado mejor que los otros dos, dando una función (g·f) casi lineal. La compensación es muy buena en todo el rango de valores, y especialmente mucho mejor que los otros dos métodos para los valores grandes de la distribución.  Fig. 5Fig. 60 10 20 30 40 50 60 70 80 90 10014151617181920  0 10 20 30 40 50 60 70 80 90 1001415161718192021   Fig. 4: SNR (dB) de la compensación de la función no lineal para dos fuentes de ruido (discreto) aleatorio distribuido uniformemente. En la parte superior, los resultados para el canal 1, y en la parte inferior los resultados para el canal 2. El trazo sólido corresponde al método de maximización de entropía, el trazo discontinuo corresponde al método de Gaussianización, y el trazo de puntos corresponde al método de uniformización IV. CONCLUSIONES En este artículo proponemos una generalización del método de Gaussianización para la inversión ciega de funciones no lineales en mezclas PNL.  El método se basa en la maximización de la entropía de las salidas no lineales para aproximar las funciones no lineales desconocidas g. Dado que la entropía máxima (para una varianza fijada) se obtiene para una distribución Gaussiana en el caso de variables aleatorias continuas, y para una distribución uniforme en el caso de variables aleatorias discretas, proponemos invertir la parte no lineal mediante la maximización de la entropía. Los resultados experimentales muestran que el método propuesto da buenos resultados y consigue linealizar las observaciones. De hecho, el método propuesto permite desacoplar la estimación de la parte no lineal de la estimación de la parte lineal (inversión de la matriz de mezcla). Una vez resuelta la inversión de la parte no lineal, cualquier algoritmo existente para la separación de mezclas lineales puede ser utilizado para invertir la matriz de mezcla. El uso de polinomios para la parametrización de las funciones desconocidas g nos da un algoritmo con pocos parámetros. De todas formas, se debe investigar otras posibilidades dado que un polinomio no sería útil en el caso de tener que invertir funciones con cambios bruscos. En este caso, se podría optar por una red neuronal o una aproximación con splines. −3 −2 −1 0 1 2 3−1−0.8−0.6−0.4−0.200.20.40.60.81f(x)−1 −0.5 0 0.5 1−3−2−10123g(x)−3 −2 −1 0 1 2 3−3−2−10123(gof)(x) Fig. 5: Izquierda: función no lineal f(x). Centro: función inversa (teórica) g(x) = f(x)-1. Izquierda: composición de las dos funciones (gof)(x), dando como resultado una recta. −3 −2 −1 0 1 2 3−3−2−10123−3 −2 −1 0 1 2 3−3−2−10123−3 −2 −1 0 1 2 3−4−3−2−101234 Fig. 6: Composición de las dos funciones no lineales (gof)(x) para los tres métodos. Izquierda: maximización de entropía. Centro: uniformización. Derecha: Gaussianización. Para poder comparar los tres métodos, se superpone la función identidad (caso ideal) a las tres gráficas. Finalmente, y como mostraremos en futuros trabajos, si una mezcla PNL se puede desacoplar en dos partes (no lineal y lineal) que se pueden invertir de forma separada, este método se puede utilizar también para mezclas convolutivas PNL. En este caso, una vez invertidas las funciones no lineales con nuestro método, se resuelve la parte lineal (inversión de la matriz de filtros) con cualquier de los métodos existentes de inversión de mezclas convolutivas. Los resultados experimentales obtenidos son muy satisfactorios y confirman la validez del método. AGRADECIMIENTOS Este trabajo se ha realizado gracias al proyecto R0912 de la  Universitat de Vic. REFERENCIAS [1] J. Solé-Casals, C. Jutten, D. T. Pham, “Fast approximation of nonlinearities for improving inversion algorithms of PNL mixtures and Wiener systems”, Signal Processing vol. 85 (2005) pp. 1780-1786. [2] T.M. Cover, J.A. Thomas, Elements of Information Theory, Wiley Series in Telecommunications, 1991. [3] A. Taleb, J. Solé-Casals, C. Jutten, “Quasi-Nonparametric Blind Inversion of Wiener Systems” IEEE Transactions on Signal Processing, vol. 49 (2001), pp. 917-924. [4] A. Ziehe, M. Kawanabe, S. Harmeling, K.-R. Müller, “Blind Separation of Post-Nolinear Mixtures using Gaussianizing Transformations and Temporal Decorrelation”, Proceedings of the 4th International Symposium on Independent Component Analysis (ICA2003), Nara (Japan), April 2003, pp. 269-274.  

Estimación de funciones no lineales en mezclas post-no lineales

http://dspace.uvic.cat/xmlui/bitstream/handle/10854/2850/artconlli_a2007_sole_casals_jordi_estimacion_funciones.pdf?sequence=1&isAllowed=y

Estimación de funciones no lineales en mezclas post-no lineales

Abstract

Similar works

Full text

Available Versions

RIUVic