From Nonlinear Identification to Linear Parameter Varying Models: Benchmark Examples

Linear parameter-varying (LPV) models form a powerful model class to analyze and control a (nonlinear) system of interest. Identifying a LPV model of a nonlinear system can be challenging due to the difficulty of selecting the scheduling variable(s) a priori, which is quite challenging in case a first principles based understanding of the system is unavailable. This paper presents a systematic LPV embedding approach starting from nonlinear fractional representation models. A nonlinear system is identified first using a nonlinear block-oriented linear fractional representation (LFR) model. This nonlinear LFR model class is embedded into the LPV model class by factorization of the static nonlinear block present in the model. As a result of the factorization a LPV-LFR or a LPV state-space model with an affine dependency results. This approach facilitates the selection of the scheduling variable from a data-driven perspective. Furthermore the estimation is not affected by measurement noise on the scheduling variables, which is often left untreated by LPV model identification methods. The proposed approach is illustrated on two well-established nonlinear modeling benchmark examples

A new kernel-based approach for overparameterized Hammerstein system identification

In this paper we propose a new identification scheme for Hammerstein systems, which are dynamic systems consisting of a static nonlinearity and a linear time-invariant dynamic system in cascade. We assume that the nonlinear function can be described as a linear combination of $p$ basis functions. We reconstruct the $p$ coefficients of the nonlinearity together with the first $n$ samples of the impulse response of the linear system by estimating an $np$-dimensional overparameterized vector, which contains all the combinations of the unknown variables. To avoid high variance in these estimates, we adopt a regularized kernel-based approach and, in particular, we introduce a new kernel tailored for Hammerstein system identification. We show that the resulting scheme provides an estimate of the overparameterized vector that can be uniquely decomposed as the combination of an impulse response and $p$ coefficients of the static nonlinearity. We also show, through several numerical experiments, that the proposed method compares very favorably with two standard methods for Hammerstein system identification.Comment: 17 pages, submitted to IEEE Conference on Decision and Control 201

Consistency aspects of Wiener-Hammerstein model identification in presence of process noise

The Wiener-Hammerstein model is a block-oriented model consisting of two linear blocks and a static nonlinearity in the middle. Several identification approaches for this model structure rely on the fact that the best linear approximation of the system is a consistent estimate of the two linear parts, under the hypothesis of Gaussian excitation. But, these approaches do not consider the presence of other disturbance sources than measurement noise. In this paper we consider the presence of a disturbance entering before the nonlinearity (process noise) and we show that, also in this case, the best linear approximation is a consistent estimate of underlying linear dynamics. Furthermore, we analyse the impact of the process noise on the nonlinearity estimation, showing that a standard prediction error method approach can lead to biased results

Nonlinear system modeling based on constrained Volterra series estimates

A simple nonlinear system modeling algorithm designed to work with limited \emph{a priori }knowledge and short data records, is examined. It creates an empirical Volterra series-based model of a system using an $l_{q}$-constrained least squares algorithm with $q\geq 1$. If the system $m\left( \cdot \right)$ is a continuous and bounded map with a finite memory no longer than some known $\tau$, then (for a $D$ parameter model and for a number of measurements $N$) the difference between the resulting model of the system and the best possible theoretical one is guaranteed to be of order $\sqrt{N^{-1}\ln D}$, even for $D\geq N$. The performance of models obtained for $q=1,1.5$ and $2$ is tested on the Wiener-Hammerstein benchmark system. The results suggest that the models obtained for $q>1$ are better suited to characterize the nature of the system, while the sparse solutions obtained for $q=1$ yield smaller error values in terms of input-output behavior

Identification of nonlinear processes based on Wiener-Hammerstein models and heuristic optimization.

[ES] En muchos campos de la ingeniería los modelos matemáticos son utilizados para describir el comportamiento de los sistemas, procesos o fenómenos. Hoy en día, existen varias técnicas o métodos que pueden ser usadas para obtener estos modelos. Debido a su versatilidad y simplicidad, a menudo se prefieren los métodos de identificación de sistemas. Por lo general, estos métodos requieren la definición de una estructura y la estimación computacional de los parámetros que la componen utilizando un conjunto de procedimientos y mediciones de las señales de entrada y salida del sistema. En el contexto de la identificación de sistemas no lineales, un desafío importante es la selección de la estructura. En el caso de que el sistema a identificar presente una no linealidad de tipo estático, los modelos orientados a bloques, pueden ser útiles para definir adecuadamente una estructura. Sin embargo, el diseñador puede enfrentarse a cierto grado de incertidumbre al seleccionar el modelo orientado a bloques adecuado en concordancia con el sistema real. Además de este inconveniente, se debe tener en cuenta que la estimación de algunos modelos orientados a bloques no es sencilla, como es el caso de los modelos de Wiener-Hammerstein que consisten en un bloque NL en medio de dos subsistemas LTI. La presencia de dos subsistemas LTI en los modelos de Wiener-Hammerstein es lo que principalmente dificulta su estimación. Generalmente, el procedimiento de identificación comienza con la estimación de la dinámica lineal, y el principal desafío es dividir esta dinámica entre los dos bloques LTI. Por lo general, esto implica una alta interacción del usuario para desarrollar varios procedimientos, y el modelo final estimado depende principalmente de estas etapas previas. El objetivo de esta tesis es contribuir a la identificación de los modelos de Wiener-Hammerstein. Esta contribución se basa en la presentación de dos nuevos algoritmos para atender aspectos específicos que no han sido abordados en la identificación de este tipo de modelos. El primer algoritmo, denominado WH-EA, permite estimar todos los parámetros de un modelo de Wiener-Hammerstein con un solo procedimiento a partir de un modelo dinámico lineal. Con WH-EA, una buena estimación no depende de procedimientos intermedios ya que el algoritmo evolutivo simultáneamente busca la mejor distribución de la dinámica, ajusta con precisión la ubicación de los polos y los ceros y captura la no linealidad estática. Otra ventaja importante de este algoritmo es que bajo consideraciones específicas y utilizando una señal de excitación adecuada, es posible crear un enfoque unificado que permite también la identificación de los modelos de Wiener y Hammerstein, que son casos particulares del modelo de Wiener-Hammerstein cuando uno de sus bloques LTI carece de dinámica. Lo interesante de este enfoque unificado es que con un mismo algoritmo es posible identificar los modelos de Wiener, Hammerstein y Wiener-Hammerstein sin que el usuario especifique de antemano el tipo de estructura a identificar. El segundo algoritmo llamado WH-MOEA, permite abordar el problema de identificación como un Problema de Optimización Multiobjetivo (MOOP). Sobre la base de este algoritmo se presenta un nuevo enfoque para la identificación de los modelos de Wiener-Hammerstein considerando un compromiso entre la precisión alcanzada y la complejidad del modelo. Con este enfoque es posible comparar varios modelos con diferentes prestaciones incluyendo como un objetivo de identificación el número de parámetros que puede tener el modelo estimado. El aporte de este enfoque se sustenta en el hecho de que en muchos problemas de ingeniería los requisitos de diseño y las preferencias del usuario no siempre apuntan a la precisión del modelo como un único objetivo, sino que muchas veces la complejidad es también un factor predominante en la toma de decisiones.[CA] En molts camps de l'enginyeria els models matemàtics són utilitzats per a descriure el comportament dels sistemes, processos o fenòmens. Hui dia, existeixen diverses tècniques o mètodes que poden ser usades per a obtindre aquests models. A causa de la seua versatilitat i simplicitat, sovint es prefereixen els mètodes d'identificació de sistemes. En general, aquests mètodes requereixen la definició d'una estructura i l'estimació computacional dels paràmetres que la componen utilitzant un conjunt de procediments i mesuraments dels senyals d'entrada i eixida del sistema. En el context de la identificació de sistemes no lineals, un desafiament important és la selecció de l'estructura. En el cas que el sistema a identificar presente una no linealitat de tipus estàtic, els models orientats a blocs, poden ser útils per a definir adequadament una estructura. No obstant això, el dissenyador pot enfrontar-se a cert grau d'incertesa en seleccionar el model orientat a blocs adequat en concordança amb el sistema real. A més d'aquest inconvenient, s'ha de tindre en compte que l'estimació d'alguns models orientats a blocs no és senzilla, com és el cas dels models de Wiener-Hammerstein que consisteixen en un bloc NL enmig de dos subsistemes LTI. La presència de dos subsistemes LTI en els models de Wiener-Hammerstein és el que principalment dificulta la seua estimació. Generalment, el procediment d'identificació comença amb l'estimació de la dinàmica lineal, i el principal desafiament és dividir aquesta dinàmica entre els dos blocs LTI. En general, això implica una alta interacció de l'usuari per a desenvolupar diversos procediments, i el model final estimat depén principalment d'aquestes etapes prèvies. L'objectiu d'aquesta tesi és contribuir a la identificació dels models de Wiener-Hammerstein. Aquesta contribució es basa en la presentació de dos nous algorismes per a atendre aspectes específics que no han sigut adreçats en la identificació d'aquesta mena de models. El primer algorisme, denominat WH-EA (Algorisme Evolutiu per a la identificació de sistemes de Wiener-Hammerstein), permet estimar tots els paràmetres d'un model de Wiener-Hammerstein amb un sol procediment a partir d'un model dinàmic lineal. Amb WH-EA, una bona estimació no depén de procediments intermedis ja que l'algorisme evolutiu simultàniament busca la millor distribució de la dinàmica, afina la ubicació dels pols i els zeros i captura la no linealitat estàtica. Un altre avantatge important d'aquest algorisme és que sota consideracions específiques i utilitzant un senyal d'excitació adequada, és possible crear un enfocament unificat que permet també la identificació dels models de Wiener i Hammerstein, que són casos particulars del model de Wiener-Hammerstein quan un dels seus blocs LTI manca de dinàmica. L'interessant d'aquest enfocament unificat és que amb un mateix algorisme és possible identificar els models de Wiener, Hammerstein i Wiener-Hammerstein sense que l'usuari especifique per endavant el tipus d'estructura a identificar. El segon algorisme anomenat WH-MOEA (Algorisme evolutiu multi-objectiu per a la identificació de models de Wiener-Hammerstein), permet abordar el problema d'identificació com un Problema d'Optimització Multiobjectiu (MOOP). Sobre la base d'aquest algorisme es presenta un nou enfocament per a la identificació dels models de Wiener-Hammerstein considerant un compromís entre la precisió aconseguida i la complexitat del model. Amb aquest enfocament és possible comparar diversos models amb diferents prestacions incloent com un objectiu d'identificació el nombre de paràmetres que pot tindre el model estimat. L'aportació d'aquest enfocament se sustenta en el fet que en molts problemes d'enginyeria els requisits de disseny i les preferències de l'usuari no sempre apunten a la precisió del model com un únic objectiu, sinó que moltes vegades la complexitat és també un factor predominant en la presa de decisions.[EN] In several engineering fields, mathematical models are used to describe the behaviour of systems, processes or phenomena. Nowadays, there are several techniques or methods for obtaining mathematical models. Because of their versatility and simplicity, system identification methods are often preferred. Generally, systems identification methods require defining a structure and estimating computationally the parameters that make it up, using a set of procedures y measurements of the system's input and output signals. In the context of nonlinear system identification, a significant challenge is the structure selection. In the case that the system to be identified presents a static type of nonlinearity, block-oriented models can be useful to define a suitable structure. However, the designer may face a certain degree of uncertainty when selecting the block-oriented model in accordance with the real system. In addition to this inconvenience, the estimation of some block-oriented models is not an easy task, as is the case with the Wiener-Hammerstein models consisting of a NL block in the middle of two LTI subsystems. The presence of two LTI subsystems in the Wiener-Hammerstein models is what mainly makes their estimation difficult. Generally, the identification procedure begins with the estimation of the linear dynamics, and the main challenge is to split this dynamic between the two LTI block. Usually, this implies a high user interaction to develop several procedures, and the final model estimated mostly depends on these previous stages. The aim of this thesis is to contribute to the identification of the Wiener-Hammerstein models. This contribution is based on the presentation of two new algorithms to address specific aspects that have not been addressed in the identification of this type of model. The first algorithm, called WH-EA (An Evolutionary Algorithm for Wiener-Hammerstein System Identification), allows estimating all the parameters of a Wiener-Hammerstein model with a single procedure from a linear dynamic model. With WH-EA, a good estimate does not depend on intermediate procedures since the evolutionary algorithm looks for the best dynamic division, while the locations of the poles and zeros are fine-tuned, and nonlinearity is captured simultaneously. Another significant advantage of this algorithm is that under specific considerations and using a suitable excitation signal; it is possible to create a unified approach that also allows the identification of Wiener and Hammerstein models which are particular cases of the Wiener-Hammerstein model when one of its LTI blocks lacks dynamics. What is interesting about this unified approach is that with the same algorithm, it is possible to identify Wiener, Hammerstein, and Wiener-Hammerstein models without the user specifying in advance the type of structure to be identified. The second algorithm called WH-MOEA (Multi-objective Evolutionary Algorithm for Wiener-Hammerstein identification), allows to address the identification problem as a Multi-Objective Optimisation Problem (MOOP). Based on this algorithm, a new approach for the identification of Wiener-Hammerstein models is presented considering a compromise between the accuracy achieved and the model complexity. With this approach, it is possible to compare several models with different performances, including as an identification target the number of parameters that the estimated model may have. The contribution of this approach is based on the fact that in many engineering problems the design requirements and user's preferences do not always point to the accuracy of the model as a single objective, but many times the complexity is also a predominant factor in decision-making.Zambrano Abad, JC. (2021). Identification of nonlinear processes based on Wiener-Hammerstein models and heuristic optimization [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/171739TESI

Multi Look-Up Table Digital Predistortion for RF Power Amplifier Linearization

Premi extraordinari doctorat curs 2007-2008, àmbit d’Enginyeria de les TICAquesta Tesi Doctoral se centra en el disseny d'un nou linealitzador de Predistorsió Digital (Digital Predistortion - DPD) capaç de compensar la dinàmica i els efectes no lineals introduïts pels Amplificadors de Potència (Power Amplifiers - PAs). Un dels trets més rellevants d'aquest nou predistorsionador digital i adaptatiu consisteix en ser deduïble a partir d'un model de PA anomenat Nonlinear Auto-Regressive Moving Average (NARMA). A més, la seva arquitectura multi-LUT (multi-Taula) permet la implementació en un dispositiu Field Programmable Gate Array (FPGA).La funció de predistorsió es realitza en banda base, per tant, és independent de la banda freqüencial on es durà a terme l'amplificació del senyal de RF, el que pot resultar útil si tenim en compte escenaris multibanda o reconfigurables. D'altra banda, el fet que aquest DPD tingui en compte els efectes de memòria introduïts pel PA, representa una clara millora de les prestacions aconseguides per un simple DPD sense memòria. En comparació amb d'altres DPDs basats en models més computacionalment complexos, com és el cas de les xarxes neuronals amb memòria (Time-Delayed Neural Networks - TDNN), la estructura recursiva del DPD proposat permet reduir el nombre de LUTs necessàries per compensar els efectes de memòria del PA. A més, la seva estructura multi-LUT permet l'escalabilitat, és a dir, activar or desactivar les LUTs que formen el DPD en funció de la dinàmica que presenti el PA.En una primera aproximació al disseny del DPD, és necessari identificar el model NARMA del PA. Un dels majors avantatges que presenta el model NARMA és la seva capacitat per trobar un compromís entre la fidelitat en l'estimació del PA i la complexitat computacional introduïda. Per reforçar aquest compromís, l' ús d'algoritmes heurístics de cerca, com són el Simulated Annealing o els Genetic Algorithms, s'utilitzen per trobar els retards que millor caracteritzen la memòria del PA i per tant, permeten la reducció del nombre de coeficients necessaris per caracteritzar-la. Tot i així, la naturalesa recursiva del model NARMA comporta que, de cara a garantir l'estabilitat final del DPD, cal dur a terme un estudi previ sobre l'estabilitat del model.Una vegada s'ha obtingut el model NARMA del PA i s'ha verificat l'estabilitat d'aquest, es procedeix a l'obtenció de la funció de predistorsió a través del mètode d'identificació predictiu. Aquest mètode es basa en la continua identificació del model NARMA del PA i posteriorment, a partir del model obtingut, es força al PA perquè es comporti de manera lineal. Per poder implementar la funció de predistorsió en la FPGA, cal primer expressar-la en forma de combinacions en paral·lel i cascada de les anomenades Cel·les Bàsiques de Predistorsió (BPCs), que són les unitats fonamentals que composen el DPD. Una BPC està formada per un multiplicador complex, un port RAM dual que actua com a LUT (taula de registres) i un calculador d'adreces. Les LUTs s'omplen tenint en compte una distribució uniforme dels continguts i l'indexat d'aquestes es duu a terme mitjançant el mòdul de l'envoltant del senyal. Finalment, l'adaptació del DPD consisteix en monitoritzar els senyals d'entrada i sortida del PA i anar duent a terme actualitzacions periòdiques del contingut de les LUTs que formen les BPCs. El procés d'adaptació del contingut de les LUTs es pot dur a terme en la mateixa FPGA encarregada de fer la funció de predistorsió, o de manera alternativa, pot ser duta a terme per un dispositiu extern (com per exemple un DSP - Digital Signal Processor) en una escala de temps més relaxada. Per validar l'exposició teòrica i provar el bon funcionalment del DPD proposat en aquesta Tesi, es proporcionen resultats tant de simulació com experimentals que reflecteixen els objectius assolits en la linealització del PA. A més, certes qüestions derivades de la implementació pràctica, tals com el consum de potència o la eficiència del PA, són també tractades amb detall.This Ph.D. thesis addresses the design of a new Digital Predistortion (DPD) linearizer capable to compensate the unwanted nonlinear and dynamic behavior of power amplifiers (PAs). The distinctive characteristic of this new adaptive DPD is its deduction from a Nonlinear Auto Regressive Moving Average (NARMA) PA behavioral model and its particular multi look-up table (LUT) architecture that allows its implementation in a Field Programmable Gate Array (FPGA) device.The DPD linearizer presented in this thesis operates at baseband, thus becoming independent on the final RF frequency band and making it suitable for multiband or reconfigurable scenarios. Moreover, the proposed DPD takes into account PA memory effects compensation which representsan step forward in overcoming classical limitations of memoryless predistorters. Compared to more computational complex DPDs with dynamic compensation, such Time-Delayed Neural Networks (TDNN), this new DPD takes advantage of the recursive nature of the NARMA structure to relax the number of LUTs required to compensate memory effects in PAs. Furthermore, its parallel multi-LUT architecture is scalable, that is, permits enabling or disabling the contribution of specific LUTs depending on the dynamics presented by a particular PA.In a first approach, it is necessary to identify a NARMA PA behavioral model. The extraction of PA behavioral models for DPD linearization purposes is carried out by means of input and output complex envelope signal observations. One of the major advantages of the NARMA structure regards its capacity to deal with the existing trade-off between computational complexity and accuracy in PA behavioral modeling. To reinforce this compromise, heuristic search algorithms such the Simulated Annealing or Genetic Algorithms are utilized to find the best sparse delays that permit accurately reproducing the PA nonlinear dynamic behavior. However, due to the recursive nature of the NARMA model, an stability test becomes a previous requisite before advancing towards DPD linearization.Once the PA model is identified and its stability verified, the DPD function is extracted applying a predictive predistortion method. This identification method relies just on the PA NARMA model and consists in adaptively forcing the PA to behave as a linear device. Focusing in the DPD implementation, it is possible to map the predistortion function in a FPGA, but to fulfill this objective it is first necessary to express the predistortion function as a combined set of LUTs.In order to store the DPD function into a FPGA, it has to be stated in terms of parallel and cascade Basic Predistortion Cells (BPCs), which are the fundamental building blocks of the NARMA based DPD. A BPC is formed by a complex multiplier, a dual port RAM memory block acting as LUT and an address calculator. The LUT contents are filled following an uniform spacing procedure and its indexing is performed with the amplitude (modulus) of the signal's envelope.Finally, the DPD adaptation consists in monitoring the input-output data and performing frequent updates of the LUT contents that conform the BPCs. This adaptation process can be carried out in the same FPGA in charge of performing the DPD function, or alternatively can be performed by an external device (i.e. a DSP device) in a different time-scale than real-time operation.To support all the theoretical design and to prove the linearization performance achieved by this new DPD, simulation and experimental results are provided. Moreover, some issues derived from practical experimentation, such as power consumption and efficiency, are also reported and discussed within this thesis.Award-winningPostprint (published version