Convergence behavior of NLMS algorithm for Gaussian inputs: Solutions using generalized Abelian integral functions and step size selection

This paper studies the mean and mean square convergence behaviors of the normalized least mean square (NLMS) algorithm with Gaussian inputs and additive white Gaussian noise. Using the Price's theorem and the framework proposed by Bershad in IEEE Transactions on Acoustics, Speech, and Signal Processing (1986, 1987), new expressions for the excess mean square error, stability bound and decoupled difference equations describing the mean and mean square convergence behaviors of the NLMS algorithm using the generalized Abelian integral functions are derived. These new expressions which closely resemble those of the LMS algorithm allow us to interpret the convergence performance of the NLMS algorithm in Gaussian environment. The theoretical analysis is in good agreement with the computer simulation results and it also gives new insight into step size selection. © 2009 Springer Science+Business Media, LLC.published_or_final_versionSpringer Open Choice, 01 Dec 201

On the performance analysis of the least mean M-estimate and normalized least mean M-estimate algorithms with Gaussian inputs and additive Gaussian and contaminated Gaussian noises

This paper studies the convergence analysis of the least mean M-estimate (LMM) and normalized least mean M-estimate (NLMM) algorithms with Gaussian inputs and additive Gaussian and contaminated Gaussian noises. These algorithms are based on the M-estimate cost function and employ error nonlinearity to achieve improved robustness in impulsive noise environment over their conventional LMS and NLMS counterparts. Using the Price's theorem and an extension of the method proposed in Bershad (IEEE Transactions on Acoustics, Speech, and Signal Processing, ASSP-34(4), 793-806, 1986; IEEE Transactions on Acoustics, Speech, and Signal Processing, 35(5), 636-644, 1987), we first derive new expressions of the decoupled difference equations which describe the mean and mean square convergence behaviors of these algorithms for Gaussian inputs and additive Gaussian noise. These new expressions, which are expressed in terms of the generalized Abelian integral functions, closely resemble those for the LMS algorithm and allow us to interpret the convergence performance and determine the step size stability bound of the studied algorithms. Next, using an extension of the Price's theorem for Gaussian mixture, similar results are obtained for additive contaminated Gaussian noise case. The theoretical analysis and the practical advantages of the LMM/NLMM algorithms are verified through computer simulations. © 2009 Springer Science+Business Media, LLC.published_or_final_versionSpringer Open Choice, 01 Dec 201

Algoritmos adaptativos com sinal de entrada normalizado: modelagem estatística e aprimoramentos

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2010Este trabalho apresenta uma análise estatística de três importantes algoritmos adaptativos baseados no gradiente estocástico utilizando sinais de entrada normalizados. Os algoritmos com sinal de entrada normalizado são utilizados como uma alternativa ao algoritmo LMS (least-mean-square) convencional, visando melhorar a velocidade de convergência (especialmente para sinais de entrada correlacionados), tornando o desempenho do filtro adaptativo mais robusto frente a variações de potência do sinal de entrada. São apresentados modelos estatísticos mais precisos para os algoritmos considerados, a saber: LMS normalizado (NLMS), LMS no domínio transformado (LMS-DT) e gradiente estocástico com restrições (Constrained Stochastic Gradient - CSG). Em particular, o algoritmo CSG, aqui discutido, é utilizado em controle de arranjos de antenas para sistemas celulares. Através do modelo do algoritmo CSG, é verificado um comportamento anômalo e é proposta uma versão melhorada para esse algoritmo. Para os outros algoritmos adaptativos estudados, os modelos obtidos apresentam maior precisão quando comparados com outros modelos disponíveis na literatura, permitindo um melhor domínio desses algoritmos para diferentes condições de operação.This research work presents a statistical analysis for three important adaptive algorithms based on the stochastic gradient using normalized input signal. Algorithms with normalized input signal are used as an alternative to the standard least-mean-square (LMS) algorithm aiming to improve the convergence speed (especially for correlated input signal), increasing the adaptive filter robustness under input signal power variations. More accurate statistical models for the normalized LMS (NLMS), transform domain LMS (TDLMS), and constrained stochastic gradient (CSG) algorithms are presented. In particular, the CSG algorithm here considered is used for controlling antenna arrays in cellular systems. Through the CSG algorithm model, an anomalous behavior in its standard version is verified and an improved algorithm is also proposed. For the other algorithms, the obtained models are more accurate than the ones available in the literature, allowing a better and deeper understanding of theses algorithms under different operating conditions

Modelagem estocástica do algoritmo NLMS: revisão e aprimoramentos

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia Elétrica.Este trabalho de pesquisa trata da modelagem estocástica de algoritmos adaptativos com sinal de entrada normalizado. Particularmente, visa se obter um modelo estocástico mais preciso para o algoritmo NLMS (normalized least-mean-square) do que os até então disponíveis na literatura. O modelo aqui proposto considera um problema de identificação de sistema com planta estacionária, apresenta solução analítica e contempla diferentes tipos de sinais de entrada gaussianos (complexos, reais, correlacionados e não correlacionados). A partir das expressões que descrevem o comportamento médio do algoritmo, são derivadas expressões para o valor do erro quadrático médio em excesso em regime permanente e o desajuste. Tais expressões possibilitam uma melhor compreensão de como e quais parâmetros afetam o desempenho do algoritmo em regime permanente. Além disso, considerando sinal de entrada branco, relações que permitem ajustar (através do passo de adaptação) a velocidade de convergência e o erro em regime permanente dos algoritmos NLMS e LMS são apresentadas. Resultados de simulação para diferentes cenários de operação são mostrados, atestando a precisão do modelo proposto frente a outros modelos da literatura

Contribuições à modelagem estocástica de algoritmos adaptativos normalizados

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2015.Este trabalho de pesquisa trata da modelagem estocástica de três algoritmos adaptativos bem conhecidos da literatura, a saber: o algoritmo NLMS (normalized least-mean-square), o algoritmo IAF PNLMS (individual-activation-factor proportionate NLMS) e o algoritmo TDLMS (transform-domain least-mean-square). Particularmente para o algoritmo NLMS, um modelo estocástico analítico é obtido levando em conta um ambiente não estacionário e sinais de entrada gaussianos complexos. Baseado nas expressões de modelo, o impacto dos parâmetros do algoritmo sobre o seu desempenho é discutido, evidenciando algumas das características de rastreamento do algoritmo NLMS frente ao ambiente não estacionário considerado. Para o algoritmo IAF-PNLMS, assumindo um ambiente estacionário, um modelo estocástico mais preciso do que os até então disponíveis na literatura é apresentado, considerando sinais de entrada gaussianos correlacionados tanto complexos quanto reais. Com respeito ao algoritmo TDLMS, um modelo estocástico melhorado é derivado focando em um ambiente não estacionário e sinais de entrada gaussianos correlacionados reais. A partir das expressões de modelo obtidas, o impacto dos parâmetros do algoritmo TDLMS sobre o seu desempenho é discutido. Resultados de simulação para diferentes cenários de operação são mostrados, confirmando a precisão dos modelos estocásticos propostos tanto na fase transitória quanto em regime permanente.Abstract : This research work focuses on the stochastic modeling of three well-known adaptive algorithms from the literature, namely: the normalized least-mean-square (NLMS) algorithm, the individual-activation-factor proportionate NLMS (IAF-PNLMS) algorithm, and the transform-domain least-mean-square (TDLMS) algorithm. Particularly for the NLMS algorithm, an analytical stochastic model is obtained taking into account a nonstationary environment and complex-valued Gaussian input data. Based on the obtained model expressions, the impact of the algorithm parameters on its performance is discussed, clarifying some of the tracking properties of the NLMS algorithm vis-à-vis the nonstationary environment considered. For the IAF-PNLMS algorithm, assuming a stationary environment, a more accurate stochastic model than those available so far in the literature is presented considering both complex- and real-valued Gaussian correlated input data. Regarding the TDLMS algorithm, an improved stochastic model is derived focusing on a nonstationary environment and real-valued Gaussian correlated input data. From the obtained model expressions, the impact of the TDLMS algorithm parameters on its performance is discussed. Simulation results for different operating scenarios are shown, confirming the accuracy of the proposed stochastic models for both transient and steady-state phases