Asymptotically Efficient Quasi-Newton Type Identification with Quantized Observations Under Bounded Persistent Excitations

This paper is concerned with the optimal identification problem of dynamical systems in which only quantized output observations are available under the assumption of fixed thresholds and bounded persistent excitations. Based on a time-varying projection, a weighted Quasi-Newton type projection (WQNP) algorithm is proposed. With some mild conditions on the weight coefficients, the algorithm is proved to be mean square and almost surely convergent, and the convergence rate can be the reciprocal of the number of observations, which is the same order as the optimal estimate under accurate measurements. Furthermore, inspired by the structure of the Cramer-Rao lower bound, an information-based identification (IBID) algorithm is constructed with adaptive design about weight coefficients of the WQNP algorithm, where the weight coefficients are related to the parameter estimates which leads to the essential difficulty of algorithm analysis. Beyond the convergence properties, this paper demonstrates that the IBID algorithm tends asymptotically to the Cramer-Rao lower bound, and hence is asymptotically efficient. Numerical examples are simulated to show the effectiveness of the information-based identification algorithm.Comment: 16 pages, 3 figures, submitted to Automatic

A new kernel-based approach to system identification with quantized output data

In this paper we introduce a novel method for linear system identification with quantized output data. We model the impulse response as a zero-mean Gaussian process whose covariance (kernel) is given by the recently proposed stable spline kernel, which encodes information on regularity and exponential stability. This serves as a starting point to cast our system identification problem into a Bayesian framework. We employ Markov Chain Monte Carlo methods to provide an estimate of the system. In particular, we design two methods based on the so-called Gibbs sampler that allow also to estimate the kernel hyperparameters by marginal likelihood maximization via the expectation-maximization method. Numerical simulations show the effectiveness of the proposed scheme, as compared to the state-of-the-art kernel-based methods when these are employed in system identification with quantized data.Comment: 10 pages, 4 figure

Fixed-order FIR approximation of linear systems from quantized input and output data

Abstract The problem of identifying a fixed-order FIR approximation of linear systems with unknown structure, assuming that both input and output measurements are subjected to quantization, is dealt with in this paper. A fixed-order FIR model providing the best approximation of the input-output relationship is sought by minimizing the worst-case distance between the output of the true system and the modeled output, for all possible values of the input and output data consistent with their quantized measurements. The considered problem is firstly formulated in terms of robust optimization. Then, two different algorithms to compute the optimum of the formulated problem by means of linear programming techniques are presented. The effectiveness of the proposed approach is illustrated by means of a simulation example

Large deviations of stochastic systems and applications

This dissertation focuses on large deviations of stochastic systems with applications to optimal control and system identification. It encompasses analysis of two-time-scale Markov processes and system identification with regular and quantized data. First, we develops large deviations principles for systems driven by continuous-time Markov chains with twotime scales and related optimal control problems. A distinct feature of our setup is that the Markov chain under consideration is time dependent or inhomogeneous. The use of two time-scale formulation stems from the effort of reducing computational complexity in a wide variety of applications in control, optimization, and systems theory. Starting with a rapidly fluctuating Markovian system, under irreducibility conditions, both large deviations upper and lower bounds are established first for a fixed terminal time and then for time-varying dynamic systems. Then the results are applied to certain dynamic systems and LQ control problems. Second, we study large deviations for identifications systems. Traditional system identification concentrates on convergence and convergence rates of estimates in mean squares, in distribution, or in a strong sense. For system diagnosis and complexity analysis, however, it is essential to understand the probabilities of identification errors over a finite data window. This paper investigates identification errors in a large deviations framework. By considering both space complexity in terms of quantization levels and time complexity with respect to data window sizes, this study provides a new perspective to understand the fundamental relationship between probabilistic errors and resources that represent data sizes in computer algorithms, sample sizes in statistical analysis, channel bandwidths in communications, etc. This relationship is derived by establishing the large deviations principle for quantized identification that links binary-valued data at one end and regular sensors at the other. Under some mild conditions, we obtain large deviations upper and lower bounds. Our results accommodate independent and identically distributed noise sequences, as well as more general classes of mixing-type noise sequences. Numerical examples are provided to illustrate the theoretical results

Kernel-based identification using Lebesgue-sampled data

Sampling in control applications is increasingly done non-equidistantly in time. This includes applications in motion control, networked control, resource-aware control, and event-based control. Some of these applications, like the ones where displacement is tracked using incremental encoders, are driven by signals that are only measured when their values cross fixed thresholds in the amplitude domain. This paper introduces a non-parametric estimator of the impulse response and transfer function of continuous-time systems based on such amplitude-equidistant sampling strategy, known as Lebesgue sampling. To this end, kernel methods are developed to formulate an algorithm that adequately takes into account the bounded output uncertainty between the event timestamps, which ultimately leads to more accurate models and more efficient output sampling compared to the equidistantly-sampled kernel-based approach. The efficacy of our proposed method is demonstrated through a mass-spring damper example with encoder measurements and extensive Monte Carlo simulation studies on system benchmarks.Comment: 16 pages, 8 figure

Sigma-Delta modulation based distributed detection in wireless sensor networks

We present a new scheme of distributed detection in sensor networks using Sigma-Delta modulation. In the existing works local sensor nodes either quantize the observation or directly scale the analog observation and then transmit the processed information independently over wireless channels to a fusion center. In this thesis we exploit the advantages of integrating modulation as a local processor into sensor design and propose a novel mixing topology of parallel and serial configurations for distributed detection system, enabling each sensor to transmit binary information to the fusion center, while preserving the analog information through collaborative processing. We develop suboptimal fusion algorithms for the proposed system and provide both theoretical analysis and various simulation results to demonstrate the superiority of our proposed scheme in both AWGN and fading channels in terms of the resulting detection error probability by comparison with the existing approaches

Периодограммная оценка спектральной плотности мощности на основе бинарно-знакового стохастического квантования сигналов с использованием оконных функций

Спектральный анализ сигналов используется как один из основных методов исследования систем и объектов различной физической природы. В условиях статистической неопределенности сигналы подвергаются случайным изменениям и зашумлениям. Анализ таких сигналов приводит к необходимости оценивания спектральной плотности мощности (СПМ). На практике для её оценивания широко используется периодограммный метод. Основу цифровых алгоритмов, реализующих этот метод, составляет дискретное преобразование Фурье. В этих алгоритмах операции цифрового умножения являются массовыми операциями. Применение оконных функций ведет к увеличению числа этих операций. Операции умножения относятся к наиболее трудоемким операциям. Они являются доминирующим фактором при определении вычислительных возможностей алгоритма и определяют его мультипликативную сложность. В статье рассматривается задача снижения мультипликативной сложности вычисления периодограммной оценки СПМ с применением оконных функций. Задача решается на основе использования бинарно-знакового стохастического квантования для преобразования сигнала в цифровую форму. Такое двухуровневое квантование сигналов осуществляется без систематической погрешности. На основе теории дискретно-событийного моделирования, результат бинарно-знакового стохастического квантования во времени рассматривается как хронологическая последовательность существенных событий, определяемых сменой его значений. Использование дискретно-событийной модели для результата бинарно-знакового стохастического квантования обеспечило аналитическое вычисление операций интегрирования при переходе от аналоговой формы периодограммной оценки СПМ к математическим процедурам ее вычисления в дискретном виде. Эти процедуры стали основой для разработки цифрового алгоритма. Основными вычислительными операциями алгоритма являются арифметические операции сложения и вычитания. Уменьшение количества операций умножения снижает общую вычислительную трудоемкость оценивания СПМ. С целью исследования работы алгоритма были проведены численные эксперименты. Они осуществлялись на основе имитационного моделирования дискретно-событийной процедуры бинарно-знакового стохастического квантования. В качестве примера приведены результаты вычисления оценок СПМ с применением ряда наиболее известных оконных функций. Полученные результаты свидетельствуют, что использование разработанного алгоритма позволяет вычислять периодограммные оценки СПМ с высокой точностью и частотным разрешением в условиях присутствия аддитивного белого шума при низком отношении сигнал/шум. Практическая реализация алгоритма осуществлена в виде функционально самостоятельного программного модуля. Данный модуль может использоваться как отдельный компонент в составе комплексного метрологически значимого программного обеспечения для оперативного анализа частотного состава сложных сигналов

Периодограммная оценка спектральной плотности мощности на основе бинарно-знакового стохастического квантования сигналов с использованием оконных функций

Spectral analysis of signals is used as one of the main methods for studying systems and objects of various physical natures. Under conditions of a priori statistical uncertainty, the signals are subject to random changes and noise. Spectral analysis of such signals involves the estimation of the power spectral density (PSD). One of the classical methods for estimating PSD is the periodogram method. The algorithms that implement this method in digital form are based on the discrete Fourier transform. Digital multiplication operations are mass operations in these algorithms. The use of window functions leads to an increase in the number of these operations. Multiplication operations are among the most time consuming operations. They are the dominant factor in determining the computational capabilities of an algorithm and determine its multiplicative complexity. The paper deals with the problem of reducing the multiplicative complexity of calculating the periodogram estimate of the PSD using window functions. The problem is solved based on the use of binary-sign stochastic quantization for converting a signal into digital form. This two-level signal quantization is carried out without systematic error. Based on the theory of discrete-event modeling, the result of a binary-sign stochastic quantization in time is considered as a chronological sequence of significant events determined by the change in its values. The use of a discrete-event model for the result of binary-sign stochastic quantization provided an analytical calculation of integration operations during the transition from the analog form of the periodogram estimation of the SPM to the mathematical procedures for calculating it in discrete form. These procedures became the basis for the development of a digital algorithm. The main computational operations of the algorithm are addition and subtraction arithmetic operations. Reducing the number of multiplication operations decreases the overall computational complexity of the PSD estimation. Numerical experiments were carried out to study the algorithm operation. They were carried out on the basis of simulation modeling of the discrete-event procedure of binary-sign stochastic quantization. The results of calculating the PSD estimates are presented using a number of the most famous window functions as an example. The results obtained indicate that the use of the developed algorithm allows calculating periodogram estimates of PSD with high accuracy and frequency resolution in the presence of additive white noise at a low signal-to-noise ratio. The practical implementation of the algorithm is carried out in the form of a functionally independent software module. This module can be used as a part of complex metrologically significant software for operational analysis of the frequency composition of complex signals.Спектральный анализ сигналов используется как один из основных методов исследования систем и объектов различной физической природы. В условиях статистической неопределенности сигналы подвергаются случайным изменениям и зашумлениям. Анализ таких сигналов приводит к необходимости оценивания спектральной плотности мощности (СПМ). На практике для её оценивания широко используется периодограммный метод. Основу цифровых алгоритмов, реализующих этот метод, составляет дискретное преобразование Фурье. В этих алгоритмах операции цифрового умножения являются массовыми операциями. Применение оконных функций ведет к увеличению числа этих операций. Операции умножения относятся к наиболее трудоемким операциям. Они являются доминирующим фактором при определении вычислительных возможностей алгоритма и определяют его мультипликативную сложность. В статье рассматривается задача снижения мультипликативной сложности вычисления периодограммной оценки СПМ с применением оконных функций. Задача решается на основе использования бинарно-знакового стохастического квантования для преобразования сигнала в цифровую форму. Такое двухуровневое квантование сигналов осуществляется без систематической погрешности. На основе теории дискретно-событийного моделирования, результат бинарно-знакового стохастического квантования во времени рассматривается как хронологическая последовательность существенных событий, определяемых сменой его значений. Использование дискретно-событийной модели для результата бинарно-знакового стохастического квантования обеспечило аналитическое вычисление операций интегрирования при переходе от аналоговой формы периодограммной оценки СПМ к математическим процедурам ее вычисления в дискретном виде. Эти процедуры стали основой для разработки цифрового алгоритма. Основными вычислительными операциями алгоритма являются арифметические операции сложения и вычитания. Уменьшение количества операций умножения снижает общую вычислительную трудоемкость оценивания СПМ. С целью исследования работы алгоритма были проведены численные эксперименты. Они осуществлялись на основе имитационного моделирования дискретно-событийной процедуры бинарно-знакового стохастического квантования. В качестве примера приведены результаты вычисления оценок СПМ с применением ряда наиболее известных оконных функций. Полученные результаты свидетельствуют, что использование разработанного алгоритма позволяет вычислять периодограммные оценки СПМ с высокой точностью и частотным разрешением в условиях присутствия аддитивного белого шума при низком отношении сигнал/шум. Практическая реализация алгоритма осуществлена в виде функционально самостоятельного программного модуля. Данный модуль может использоваться как отдельный компонент в составе комплексного метрологически значимого программного обеспечения для оперативного анализа частотного состава сложных сигналов