Сравнительный анализ методов нахождения М-оценок параметров экспоненциальной авторегрессии

The exponential auto-regression model is a discrete analog of the second-order nonlinear differential equations of the type of Duffing and van der Pol oscillators. It is used to describe nonlinear stochastic processes with discrete time, such as vehicle vibrations, ship roll, electrical signals in the cerebral cortex. When applying the model in practice, one of the important tasks is its identification, in particular, an estimate of the model parameters from observations of the stochastic process it described. A traditional technique to estimate autoregressive parameters is the nonlinear least squares method. Its disadvantage is high sensitivity to the measurement errors of the process observed. The M-estimate method largely has no such a drawback. The M-estimates are based on the minimization procedure of a non-convex function of several variables. The paper studies the effectiveness of several well-known minimization methods to find the M-estimates of the parameters of an exponential autoregressive model. The paper demonstrates that the sequential quadratic programming algorithm, the active set algorithm, and the interior-point algorithm have shown the best and approximately the same accuracy. The quasi-Newton algorithm is inferior to them in accuracy a little bit, but is not inferior in time. These algorithms had approximately the same speed and were one and a half times faster than the Nelder-Mead algorithm and 14 times faster than the genetic algorithm. The Nelder-Mead algorithm and the genetic algorithm have shown the worst accuracy. It was found that all the algorithms are sensitive to initial conditions. The estimate of parameters, on which the autoregressive equation linearly depends, is by an order of magnitude more accurate than that of the parameter on which the auto-regression equation depends in a nonlinear way.Модель экспоненциальной авторегрессии является дискретным аналогом нелинейных дифференциальных уравнений второго порядка типа типа осцилляторов Дуффинга и ван дер Поля. Она используется для описания нелинейных стохастических процессов с дискретным временем, таких как вибрации автомобиля, качка корабля, электрические сигналы в коре головного мозга. При применении модели на практике одной из важных задач является ее идентификация, в частности, оценивание параметров модели по наблюдениям описываемого ей стохастического процесса. Традиционным методом оценивания авторегрессионных параметров является нелинейный метод наименьших квадратов. Его недостатком является высокая чувствительность к ошибкам измерения наблюдаемого процесса. Этого недостатка в значительной мере лишен метод М-оценивания. Построение М-оценок основано на минимизационной процедуре невыпуклой функции нескольких переменных. В работе изучается эффективность нескольких известных методов минимизации для нахождения М-оценок параметров экспоненциальной авторегрессионной модели. В работе показано, что наилучшую и приблизительно одинаковую точность показали алгоритм последовательного квадратичного программирования, алгоритм активного набора и алгоритм внутренней точки. Не уступая им по времени немного уступает им по точности квазиньютоновский алгоритм. Эти алгоритмы имели приблизительно одинаковое быстродействие и были в полтора раза быстрее алгоритма Нелдера-Мида и в 14 раз быстрее генетического алгоритма. Наихудшую точность показали алгоритм Нелдера-Мида и генетический алгоритм. Было обнаружено, что все алгоритмы чувствительны к начальным условиям. Параметры, от которых авторегресионное уравнение зависит линейно, оцениваются  на порядок точнее параметра, от которого уравнение авторегресии зависит нелинейным образом

РАЗРАБОТКА И ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ НЕЙРОПОРТА ДЛЯ ТЕРАПИИ ГЛИОМЫ ГОЛОВНОГО МОЗГА

Current paper presents the results of the system development for intracranial implantation aimed on therapy and prevention of brain gliomas relapse. The main property of the system, in prospective,  will be to direct the growth of glioma cells localized in the region  adjacent to the site of the removed tumor along the fi bers towards  the proximal part of the fiber-optic scaffold (neuroport). Such  approach will allow carrying out cells diagnostics by the  photoluminescence signal and provide subsequent destruction of  malignant cells by photodynamic action. Besides, this system could  be used for monitoring the processes occurring in the probed area in order to control the possible relapses. The localization of cells along  the fi ber structures covered with gelatin compound, which is the  source of amino acids during cultivation, was shown during the glioma cells growth dynamics study. Moreover, four different designs of intracranial scaffold models, serving as ports for diagnostic and therapeutic laser radiation delivery, were developed and  successfully tested in the framework of the research. The results  obtained on the rats brain with induced tumors (glioma C6) after  neuroport implantation demonstrate sufficiently intense fluorescence in the tumor bed after intravenous injection of the  nonmetallic sulfonated phthalocyanine based photosensitizer, and a  pronounced photodynamic effect leading to total destruction of the  tumor. In this way, the results of this study open the prospects of creating the neuroport with an internal fi ber structure that focuses the glioma cells growth.В работе представлены результаты разработки системы для внутричерепной имплантации с целью терапии и предотвращения рецидивирования глиом головного. Основное свойство  системы в перспективе будет состоять в том, чтобы направить рост клеток глиомы,  локализованных в области, прилегающей к месту удаленной опухоли, вдоль волокон по  направлению к проксимальной части волоконно-оптического имплантата (нейропорт) с  целью их регистрации по сигналу фотолюминесценции и последующей их деструкции в  результате фотодинамического воздействия. Такое устройство должно обеспечить  мониторинг процессов, происходящих в зондируемой области с целью контроля процессов  рецидивирования. В ходе данного исследования динамики роста клеток глиомы показана  локализация клеток вдоль волоконных структур, покрытых желатином, который является  источником аминокислот при культивировании. Также в ходе работы были разработаны и  успешно апробированы четыре различных конструкции макетов внутричерепных  имплантатов, выполняющие роль портов для доставки диагностического и терапевтического лазерного излучения. Получены на головном мозге крыс с индуцированными опухолями  (глиома С6) после имплантации нейропорта, демонстрирующие достаточно интенсивную  флуоресценцию в ложе опухоли при внутривенном введении фотосенсибилизатора на  основе безметального сульфированного фталоцианина и выраженный фотодинамический  эффект, приведший к тотальному разрушению опухоли. Полученные результаты открывают  перспективы создания нейропорта с внутренней волоконной структурой, фокусирующей рост клеток глиомы

Threshold Estimation in Threshold Autoregression

One of the most important models to describe nonlinear time series is that of the threshold auto-regression. In solving a problem of the threshold autoregressive model identification, there is a need to estimate the threshold value. The most common method for estimating the threshold is a least-squares estimate technique.  The least absolute deviation method of estimation is less widespread. Both methods are the special cases of the M-method.The paper objective is to compare the accuracy of the above three threshold estimation methods in the threshold auto-regression model through computer simulation. For simplicity, we study a stationary threshold model at two modes and one threshold.The estimates of the autoregressive threshold were pairwise compared among themselves by calculating their relative effectiveness being equal to the inverse ratio of the estimate variances. The exact and asymptotic variances of the threshold estimates under study are still unknown. Therefore, the variance of estimates was determined through computer simulation.The paper focuses on studying the impact of the probability distribution type of the updating process of a threshold equation on the estimate accuracy. Considers the normal distribution as the most common in practice and also the typical deviations from the normal distribution: contaminated normal distribution, two-sided exponential distribution, logistic distribution, and Student distribution.The simulation results have shown that the least-squares estimate exceeds the other estimates only with the normal distribution of the updating sequence. Even with a light contamination of the normal distribution, the least-squares estimate is worse than the M-estimate, and with increasing contamination, it gets worse than the least absolute deviation estimate as well.For the logistic distribution and Student distribution with a large number of degrees of freedom, which in practice are easily confused with the normal distribution, the M-estimate is more effective than the least-squares estimate. If the updating sequence has a Student distribution with a small number of degrees of freedom, for example, with four, then the least-squares estimate is inferior not only to the M-estimate, but also to the least absolute deviation estimate. For the Laplace distribution, as in most other statistical models of time series, the least absolute deviation estimate is the best

Stable Parameter Estimation for Autoregressive Equations with Random Coefficients

In recent yearsthere has been a growing interest in non-linear time series models. They are more flexible than traditional linear models and allow more adequate description of real data. Among these models a autoregressive model with random coefficients plays an important role. It is widely used in various fields of science and technology, for example, in physics, biology, economics and finance. The model parameters are the mean values of autoregressive coefficients. Their evaluation is the main task of model identification. The basic method of estimation is still the least squares method, which gives good results for Gaussian time series, but it is quite sensitive to even small disturbancesin the assumption of Gaussian observations. In this paper we propose estimates, which generalize the least squares estimate in the sense that the quadratic objective function is replaced by an arbitrary convex and even function. Reasonable choice of objective function allows you to keep the benefits of the least squares estimate and eliminate its shortcomings. In particular, you can make it so that they will be almost as effective as the least squares estimate in the Gaussian case, but almost never loose in accuracy with small deviations of the probability distribution of the observations from the Gaussian distribution.The main result is the proof of consistency and asymptotic normality of the proposed estimates in the particular case of the one-parameter model describing the stationary process with finite variance. Another important result is the finding of the asymptotic relative efficiency of the proposed estimates in relation to the least squares estimate. This allows you to compare the two estimates, depending on the probability distribution of innovation process and of autoregressive coefficients. The results can be used to identify an autoregressive process, especially with nonGaussian nature, and/or of autoregressive processes observed with gross errors.</p

Сравнение классических и робастных оценок параметров пороговой авторегрессии

The study object is the first-order threshold auto-regression model with a single zero-located threshold. The model describes a stochastic temporal series with discrete time by means of a piecewise linear equation consisting of two linear classical first-order autoregressive equations. One of these equations is used to calculate a running value of the temporal series. A control variable that determines the choice between these two equations is the sign of the previous value of the same series.The first-order threshold autoregressive model with a single threshold depends on two real parameters that coincide with the coefficients of the piecewise linear threshold equation. These parameters are assumed to be unknown. The paper studies an estimate of the least squares, an estimate the least modules, and the M-estimates of these parameters. The aim of the paper is a comparative study of the accuracy of these estimates for the main probabilistic distributions of the updating process of the threshold autoregressive equation. These probability distributions were normal, contaminated normal, logistic, double-exponential distributions, a Student's distribution with different number of degrees of freedom, and a Cauchy distribution.As a measure of the accuracy of each estimate, was chosen its variance to measure the scattering of the estimate around the estimated parameter. An estimate with smaller variance made from the two estimates was considered to be the best. The variance was estimated by computer simulation. To estimate the smallest modules an iterative weighted least-squares method was used and the M-estimates were done by the method of a deformable polyhedron (the Nelder-Mead method). To calculate the least squares estimate, an explicit analytic expression was used.It turned out that the estimation of least squares is best only with the normal distribution of the updating process. For the logistic distribution and the Student's distribution with the large number of degrees of freedom, the M-estimate with the Huber rho-function exceeds the least squares estimate in the case of both distributions.For the Laplace distribution, the least squares estimate is the worst, and the least modulus estimate is the best among all estimates.For the Cauchy distribution, the least-squares estimate has incomparably low efficiency with respect to the remaining estimates.With decreasing number of degrees of freedom in the Student's distribution, the least squares estimate at first loses only the M-estimate with the Huber rho-function, then both M-estimates, and then the least moduli estimate.If the updating process has a contaminated normal distribution, then the M-estimate is a little bit lower than the least squares estimate only in case there is absolutely no contaminants.With increasing contamination share and level, relative effectiveness of the M-estimate with respect to the estimation of least squares grows, becoming above unit for typical contamination in practice.Объект исследования работы – модель пороговой авторегрессии первого порядка с одним порогом, расположенным в нуле. Эта модель описывает стохастический временной ряд с дискретным временем посредством кусочно-линейного уравнения, состоящего из двух линейных классических авторегрессионных уравнений первого порядка. Текущее значение временного ряда вычисляется при помощи одного из этих уравнений. Управляющей переменной, которая определяет выбор между этими двумя уравнениями, является знак предыдущего значения этого же ряда.Пороговая авторегрессионная модель первого порядка с одним порогом зависит от двух вещественных параметров, которые совпадают с коэффициентами кусочно-линейного порогового уравнения. Эти параметры предполагаются неизвестными. В работе изучаются оценка наименьших квадратов, оценка наименьших модулей и М-оценки указанных параметров. Целью работы является сравнительное исследование точности указанных оценок для основных вероятностных распределений обновляющего процесса порогового авторегрессионного уравнения. Этими распределениями вероятности были нормальное, загрязненное нормальное, логистическое, двойное-экспоненциальное распределения, распределение Стьюдента с различным числом степеней свободы и распределение Коши.В качестве меры точности каждой оценки была выбрана ее дисперсия, измеряющая величину рассеяния оценки вокруг оцениваемого параметра.  Из двух оценок лучшей считалась оценка с меньшей дисперсией. Дисперсия оценивалась методом компьютерного моделирования. Оценка наименьших модулей определялась при помощи итерационного взвешенного метода наименьших квадратов, М-оценки  находились  методом деформируемого многогранника (метода Нелдера – Мида). Для вычисления оценки наименьших квадратов использовалось явное аналитическое выражение.Оказалось, что оценка наименьших квадратов является лучшей только при нормальном распределении обновляющего процесса. Для логистического распределения и распределения Стьюдента с большим числом степеней свободы М-оценка с ро-функцией Хьюбера превосходит оценку наименьших квадратов в случае обоих распределений.Для распределения Лапласа оценка наименьших квадратов является наихудшей, а оценка наименьших модулей наилучшей среди всех оценок.Для распределения Коши оценка наименьших квадратов имеет несравнимо низкую эффективность по отношению к остальным оценкам.С уменьшением числа степеней свободы у распределения Стьюдента оценка наименьших квадратов сначала проигрывает только М-оценке с ро-функцией Хьюбера, потом обеим М-оценкам, а затем и оценке наименьших модулей.Если обновляющий процесс имеет загрязненное нормальное распределение, то М-оценка уступает, причем не намного, оценке наименьших квадратов только при практически полном отсутствии загрязнений.С ростом доли и уровня загрязнения относительная эффективность М-оценки по отношению к оценке наименьших квадратов  увеличивается, становясь больше единицы для типичного на практике загрязнения

Оценивание порога в пороговой авторегрессии

One of the most important models to describe nonlinear time series is that of the threshold auto-regression. In solving a problem of the threshold autoregressive model identification, there is a need to estimate the threshold value. The most common method for estimating the threshold is a least-squares estimate technique.  The least absolute deviation method of estimation is less widespread. Both methods are the special cases of the M-method.The paper objective is to compare the accuracy of the above three threshold estimation methods in the threshold auto-regression model through computer simulation. For simplicity, we study a stationary threshold model at two modes and one threshold.The estimates of the autoregressive threshold were pairwise compared among themselves by calculating their relative effectiveness being equal to the inverse ratio of the estimate variances. The exact and asymptotic variances of the threshold estimates under study are still unknown. Therefore, the variance of estimates was determined through computer simulation.The paper focuses on studying the impact of the probability distribution type of the updating process of a threshold equation on the estimate accuracy. Considers the normal distribution as the most common in practice and also the typical deviations from the normal distribution: contaminated normal distribution, two-sided exponential distribution, logistic distribution, and Student distribution.The simulation results have shown that the least-squares estimate exceeds the other estimates only with the normal distribution of the updating sequence. Even with a light contamination of the normal distribution, the least-squares estimate is worse than the M-estimate, and with increasing contamination, it gets worse than the least absolute deviation estimate as well.For the logistic distribution and Student distribution with a large number of degrees of freedom, which in practice are easily confused with the normal distribution, the M-estimate is more effective than the least-squares estimate. If the updating sequence has a Student distribution with a small number of degrees of freedom, for example, with four, then the least-squares estimate is inferior not only to the M-estimate, but also to the least absolute deviation estimate. For the Laplace distribution, as in most other statistical models of time series, the least absolute deviation estimate is the best.Одной из важнейших моделей описания нелинейных временных рядов является модель пороговой авторегрессии. При решении задачи идентификации пороговой авторегрессионной модели возникает необходимость в оценивании величины порога. Наиболее распространенным методом оценивания порога является метод наименьших квадратов, менее распространен метод наименьших модулей. Оба метода являются частными случаями М-метода.Целью работы является сравнение при помощи компьютерного моделирования точности перечисленных выше трех методов оценивания порога в модели пороговой авторегрессии. Для простоты изучается стационарная пороговая модель с двумя режимами и одним порогом.Оценки авторегрессионного порога сравнивались между собой попарно при помощи вычисления их относительной эффективности, равной обратному отношению дисперсий оценок. Точные и асимптотические дисперсии изучаемых оценок порога до сих пор неизвестны. Поэтому дисперсия оценок определялась при помощи компьютерного моделирования.Основное внимание уделено изучению влияния типа вероятностного распределения обновляющего процесса порогового уравнения на точность оценивания. В работе рассматривались нормальное распределение как наиболее распространенное на практике, а также типичные отклонения от нормального распределения: загрязненное нормальное распределение, двустороннее экспоненциальное распределение, логистическое распределение и распределение Стьюдента.Результаты моделирования показали, что оценка наименьших квадратов превосходит остальные оценки только при нормальном распределении обновляющей последовательности. Уже при небольшом загрязнении нормального распределения оценка наименьших квадратов становится хуже М-оценки, а с ростом загрязнения становится хуже и оценки наименьших модулей. Для логистического распределения и распределения Стьюдента с большим числом степеней свободы, которые на практике легко перепутать с нормальным распределением, М-оценка эффективнее оценки наименьших квадратов. Если же обновляющая последовательность имеет распределение Стьюдента с небольшим числом степеней свободы, например, с четырьмя, то оценка наименьших квадратов уступает в точности не только М-оценке, но также и оценке наименьших модулей. Для распределения Лапласа как и в большинстве других статистических моделях временных рядов лучшей является оценка наименьших модулей