Algoritmos adaptativos LMS normalizados proporcionais: proposta de um novo algoritmo e sua modelagem estocástica

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia Elétrica.Neste trabalho, um novo algoritmo LMS normalizado proporcional (PNLMS) é proposto. Tal algoritmo usa fatores de ativação individuais para cada coeficiente do filtro adaptativo, em vez de um fator de ativação global como no algoritmo PNLMS padrão. Os fatores de ativação individuais do algoritmo proposto são atualizados recursivamente a partir dos correspondentes coeficientes do filtro adaptativo. Essa abordagem conduz a uma melhor distribuição da energia de adaptação entre os coeficientes do filtro. Dessa forma, para respostas ao impulso com elevada esparsidade, o algoritmo proposto, denominado algoritmo PNLMS com fatores de ativação individuais (IAF PNLMS), atinge maior velocidade de convergência do que os algoritmos PNLMS padrão e PNLMS melhorado (IPNLMS). Também, uma metodologia de modelagem estocástica dos algoritmos da classe PNLMS é apresentada. Usando essa metodologia, obtém-se um modelo estocástico que prediz satisfatoriamente o comportamento do algoritmo IAF PNLMS tanto na fase transitória quanto na estacionária. Através de simulações numéricas, a eficácia do modelo proposto é verificada. Adicionalmente, uma versão melhorada do algoritmo IAF PNLMS, denominada EIAF PNLMS, é proposta neste trabalho, a qual usa uma estratégia de redistribuição de ganhos durante o processo de aprendizagem, visando aumentar os ganhos atribuídos aos coeficientes inativos quando os ativos aproximam-se da convergência. Resultados de simulação mostram que tal estratégia de redistribuição melhora significativamente as características de convergência do algoritm

Contribuições sobre algoritmos adaptativos LMS normalizados proporcionais

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2015.Este trabalho de pesquisa apresenta uma nova política de distribuição de ganho para algoritmos tipo proporcional baseada na convergência individual dos coeficientes. Para isso, uma taxa de variação suavizada e normalizada da magnitude do coeficiente é concebida para avaliação de convergência individual dos coeficientes. A nova abordagem visa melhorar a distribuição de ganho durante o processo adaptativo. Para tal, ganhos associados a coeficientes ativos que estão na vizinhança de seus valores ótimos são reduzidos e redistribuídos a outros coeficientes visando, assim, acelerar a velocidade de convergência global do algoritmo. A partir da nova política de distribuição de ganho, três novas versões de algoritmos tipo proporcional são derivadas. Além disso, uma nova versão do algoritmo adaptativo proporcional ao desvio quadrático médio dos coeficientes (z2 proportionate) é apresentada. Este último algoritmo combina uma distribuição de ganho proporcional com ganho uniforme. Tal estratégia é dependente do conhecimento do nível de potência do ruído de medição presente no sistema que, na prática, não está sempre disponível. Assim, para contornar essa dependência, um novo procedimento de distribuição de ganho baseado na autocorrelação do sinal de erro é apresentado e discutido. O novo algoritmo supera o algoritmo original em termos de velocidade de convergência e resposta a perturbações na planta. Por fim, uma nova política de distribuição de ganho para algoritmos tipo proporcional para operação em ambientes com elevada esparsidade é proposta. A nova política utiliza uma função de amplificação do ganho de coeficientes ativos visando aumentar sua velocidade de convergência. A partir da nova política, dois novos algoritmos para operação com plantas cujas respostas ao impulso exibem elevada esparsidade são introduzidos. Resultados de simulação corroboram a eficácia dos algoritmos propostos.Abstract : This research work presents a new gain distribution policy for proportionate-type algorithms based on individual-coefficient convergence. To this end, a normalized and smoothed variation rate of the individual-coefficient magnitude is derived in order to assess the individual-coefficient convergence. The new approach aims to enhance the gain distribution during the adaptation process. Thereby, gains of the active coefficients that are close to their optimum values are reduced and redistributed to other coefficients, increasing the convergence speed of the algorithm. By using this policy, three new versions of proportionate algorithms have been conceived. Moreover, an alternative version of the mean-square weight deviation-proportionate gain algorithm (z2 proportionate) is introduced. This latter algorithm applies a rule combining the mean-square weight deviation-proportionate gain and a uniform gain to obtain the whole algorithm gain distribution. Such a rule is strongly dependent on the knowledge of the measurement noise variance, requiring therefore its estimate. Thereby, a novel approach aiming to circumvent such a dependence, based on error autocorrelation, is presented and discussed. Lastly, a new proportionate gain distribution strategy for operating with plants exhibiting high sparseness is proposed. The new policy uses an amplification function of the gain assigned to active coefficients in order to increase their convergence rate. Thereby, two proportionate algorithms have been developed. Through numerical simulation results, the effectiveness of the proposed algorithms is verified

Contribuições à modelagem estocástica de algoritmos adaptativos normalizados

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2015.Este trabalho de pesquisa trata da modelagem estocástica de três algoritmos adaptativos bem conhecidos da literatura, a saber: o algoritmo NLMS (normalized least-mean-square), o algoritmo IAF PNLMS (individual-activation-factor proportionate NLMS) e o algoritmo TDLMS (transform-domain least-mean-square). Particularmente para o algoritmo NLMS, um modelo estocástico analítico é obtido levando em conta um ambiente não estacionário e sinais de entrada gaussianos complexos. Baseado nas expressões de modelo, o impacto dos parâmetros do algoritmo sobre o seu desempenho é discutido, evidenciando algumas das características de rastreamento do algoritmo NLMS frente ao ambiente não estacionário considerado. Para o algoritmo IAF-PNLMS, assumindo um ambiente estacionário, um modelo estocástico mais preciso do que os até então disponíveis na literatura é apresentado, considerando sinais de entrada gaussianos correlacionados tanto complexos quanto reais. Com respeito ao algoritmo TDLMS, um modelo estocástico melhorado é derivado focando em um ambiente não estacionário e sinais de entrada gaussianos correlacionados reais. A partir das expressões de modelo obtidas, o impacto dos parâmetros do algoritmo TDLMS sobre o seu desempenho é discutido. Resultados de simulação para diferentes cenários de operação são mostrados, confirmando a precisão dos modelos estocásticos propostos tanto na fase transitória quanto em regime permanente.Abstract : This research work focuses on the stochastic modeling of three well-known adaptive algorithms from the literature, namely: the normalized least-mean-square (NLMS) algorithm, the individual-activation-factor proportionate NLMS (IAF-PNLMS) algorithm, and the transform-domain least-mean-square (TDLMS) algorithm. Particularly for the NLMS algorithm, an analytical stochastic model is obtained taking into account a nonstationary environment and complex-valued Gaussian input data. Based on the obtained model expressions, the impact of the algorithm parameters on its performance is discussed, clarifying some of the tracking properties of the NLMS algorithm vis-à-vis the nonstationary environment considered. For the IAF-PNLMS algorithm, assuming a stationary environment, a more accurate stochastic model than those available so far in the literature is presented considering both complex- and real-valued Gaussian correlated input data. Regarding the TDLMS algorithm, an improved stochastic model is derived focusing on a nonstationary environment and real-valued Gaussian correlated input data. From the obtained model expressions, the impact of the TDLMS algorithm parameters on its performance is discussed. Simulation results for different operating scenarios are shown, confirming the accuracy of the proposed stochastic models for both transient and steady-state phases

Algoritmos adaptativos baseados em projeções e restrição de norma para identificação de sistemas esparsos : nova abordagem e modelagem estocástica

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2016Neste trabalho de pesquisa, novos algoritmos de filtragem adaptativa orientados à identificação de sistemas esparsos são desenvolvidos. Tais algoritmos baseiam-se no uso de restrição de norma aplicada ao vetor de coeficientes, de forma semelhante a outros algoritmos voltados a sistemas esparsos, destacando-se os algoritmos baseados nas projeções em esferas de norma l1 (l1 norm ball), recentemente propostos. Em contraste com tais algoritmos, a abordagem aqui proposta incorpora uma restrição de norma ao processo de otimização simultaneamente à restrição afim, que caracteriza o algoritmo NLMS (normalized least-mean-square algorithm). Com uma concepção mais simples do que alguns importantes algoritmos da literatura, essa nova abordagem leva a algoritmos eficazes com menor complexidade computacional e com parâmetros de controle de fácil ajuste. Uma formulação geral para obtenção dos algoritmos é proposta de maneira a permitir a utilização de diferentes tipos de normas em sua concepção. A partir de tal formulação, duas famílias de algoritmos são derivadas, a saber: os algoritmos com restrição de norma l1 [l1-norm constrained (l1NC) algorithms] e os algoritmos com restrição de norma l0 [l0-norm constrained (l0NC) algorithms], sendo que diferentes versões desses algoritmos são apresentadas e discutidas. Através de simulações numéricas, os algoritmos propostos são avaliados, exibindo resultados promissores quando comparados com outros algoritmos da literatura para aplicações em identificação de sistemas esparsos. Modelos estocásticos para os algoritmos propostos são também derivados, buscando predizer seu comportamento em diferentes condições de operação.Abstract: In this research work, novel adaptive algorithms for sparse system identification are developed. Such algorithms are based on norm constraint applied to the weight vector, similarly to other algorithms aimed at sparse systems, especially the projection-based algorithms using l1 norm ball recently proposed. In contrast to such algorithms, the proposed approach incorporates a norm constraint into the optimization process along with the affine constraint, which characterizes the normalized least-mean-square (NLMS) algorithm. With a simpler conception than some important algorithms from the literature, this new approach leads to efficient algorithms with a lower computational complexity and an easy adjustment of their control parameters. A general formulation is proposed allowing the use of different weight-vector norms in the algorithm development. From this formulation, two algorithm families have been derived, namely: the l1-norm constrained (l1NC) algorithm and the l0-norm constrained (l0NC) one. Different versions of these algorithms are presented and discussed. Through numerical simulations, the proposed algorithms are assessed. These algorithms have shown promising results as compared with other algorithms from the literature for applications in sparse system identification. Stochastic models for the proposed algorithms are also derived, aiming to predict their behavior in different operating conditions