Оцінювання параметрів лінійної регресії з експоненційним степеневим розподілом помилок методом максимізації поліномів

This paper considers the application of a method for maximizing polynomials in order to find estimates of the parameters of a multifactorial linear regression provided the random errors of the regression model follow an exponential power distribution. The method used is conceptually close to a maximum likelihood method because it is based on the maximization of selective statistics in the neighborhood of the true values of the evaluated parameters. However, in contrast to the classical parametric approach, it employs a partial probabilistic description in the form of a limited number of statistics of higher orders. The adaptive algorithm of statistical estimation has been synthesized, which takes into consideration the properties of regression residues and makes it possible to find refined values for the estimates of the parameters of a linear multifactorial regression using the numerical Newton-Rafson iterative procedure. Based on the apparatus of the quantity of extracted information, the analytical expressions have been derived that make it possible to analyze the theoretical accuracy (asymptotic variances) of estimates for the method of maximizing polynomials depending on the magnitude of the exponential power distribution parameters. Statistical modeling was employed to perform a comparative analysis of the variance of estimates obtained using the method of maximizing polynomials with the accuracy of classical methods: the least squares and maximum likelihood. Regions of the greatest efficiency for each studied method have been constructed, depending on the magnitude of the parameter of the form of exponential power distribution and sample size. It has been shown that estimates from the polynomial maximization method may demonstrate a much lower variance compared to the estimates from a least-square method. And, in some cases (for flat-topped distributions and in the absence of a priori information), may exceed the estimates from the maximum likelihood method in terms of accuracyРассматривается применение метода максимизации полиномов для нахождения оценок параметров многофакторной линейной регрессии при условии, что случайные ошибки регрессионной модели имеют экспоненциальное степенное распределение. Используемый метод концептуально близок к методу максимального правдоподобия, поскольку основан на максимизации выборочной статистики в окрестности истинных значений оцениваемых параметров.  Однако в отличие от классического параметрического подхода он использует частичное вероятностное описании в виде ограниченного количества статистик высших порядков. Синтезирован адаптивный алгоритм статистического оценивания, учитывающий свойства регрессионных остатков и позволяющий находить уточненные значения оценок параметров линейной многофакторной регрессии с использованием численной итерационной процедуры Ньютона-Рафсона. На основе аппарата количества извлекаемой информации получены аналитические выражения, позволяющие анализировать теоретическую точность (асимптотические дисперсии) оценок метода максимизации полиномов в зависимости от величины параметров экспоненциального степенного распределения. Путем статистического моделирования проведен сравнительный анализ дисперсий оценок, получаемых с помощью метода максимизации полиномов с точностью классических методов: наименьших квадратов и максимального правдоподобия. Построены области наибольшей эффективности для каждого из исследуемых методов в зависимости от величины параметра формы экспоненциального степенного распределения и объема выборки. Показано, что оценки метода максимизации полиномов могут иметь существенно меньшую дисперсию сравнительно с оценками метода наименьших квадратов. А в ряде случаев (для плосковершинных распределений и при отсутствии априорной информации) превышать точность оценок метода максимального правдоподобия.Розглядається застосування методу максимізації поліномів для знаходження оцінок параметрів багатофакторної лінійної регресії за умови, що випадкові помилки регресійній моделі мають експоненціальне степеневий розподіл. Метод, що використовується, концептуально близький до методу максимальної правдоподібності оскільки заснований на максимізації вибіркової статистики в околі істинних значень оцінюваних параметрів. Однак на відміну від класичного параметричного підходу він використовує частковий ймовірнісний опис у вигляді обмеженої кількості статистик вищих порядків. Синтезований адаптивний алгоритм статистичного оцінювання, що враховує властивості регресійних залишків і дозволяє знаходити уточнені значення оцінок параметрів лінійної багатофакторної регресії з використанням чисельної ітераційної процедури Ньютона-Рафсона. На основі апарату кількості добутої інформації отримано аналітичні вирази, що дозволяють аналізувати теоретичну точність (асимптотичні дисперсії) оцінок методу максимізації поліномів в залежності від величини параметрів експоненціального степеневого розподілу. Шляхом статистичного моделювання проведено порівняльний аналіз дисперсії оцінок, які отримуються за допомогою методу максимізації поліномів з точністю класичних методів: найменших квадратів і максимальної правдоподібності. Побудовано області найбільшої ефективності для кожного з досліджуваних методів в залежності від величини параметра форми експоненціального степеневого розподілу і обсягу вибірки. Показано, що оцінки методу максимізації поліномів можуть мати значно меншу дисперсію порівняно з оцінками методу найменших квадратів. А в ряді випадків (для плосковершинних розподілів та при відсутності апріорної інформації) за точністю перевищувати оцінки методу максимальної правдоподібності

Метод проверки гипотезы о среднем значении на основе разложения в пространстве с порождающим элементом

Полный текст доступен на сайте издания по подписке: http://radio.kpi.ua/article/view/S0021347018050060Предложен нестандартный метод проверки статистических гипотез о значении среднего случайных величин. Этот метод основан на аппарате стохастических степенных полиномов Кунченко и вероятностном описании с помощью статистик высших порядков (моментов и/или кумулянтов). Представлены аналитические выражения, которые позволяют оптимизировать решающие правила по определенному качественному критерию и рассчитывать вероятности ошибок принятия решения. Показано, что полиномиальные решающие правила при степени полинома S = 1 совпадают с классическим линейным решающим правилом, которое используется для сравнительного анализа. Полученные путем многоразовых статистических испытаний (метод Монте-Карло) результаты на примере использования критерия Неймана–Пирсона показали, что предложенные полиномиальные решающие правила характеризуются повышенной точностью (уменьшение вероятности ошибок 2-го рода) по сравнению с линейной обработкой. Эффективность метода возрастает с увеличением порядка стохастического полинома и ростом степени отличия распределения случайных величин от гауссовского закона распределения вероятностей

Полiномiальнi оцiнки параметрiв для даних з експоненцiйним степеневим розподiлом

В роботi запропонований оригiнальний пiдхiд до знаходження оцiнок результатiв багаторазових вимiрювань при випадкових похибках, що описується моделлю експоненцiйного степеневого (узагальненого гаусового) розподiлу. В основi даного пiдходу лежить метод максимiзацiї полiному (ММПл), який базується на математичному апаратi стохастичних полiномiв Кунченка та описi випадкових величин статистиками вищих порядкiв (моментами або кумулянтами). Приведено вирази для знаходження полiномiальних оцiнок з використанням аналiтичних (методом Кардано) i чисельних (метод Ньютона- Рафсона) розв’язкiв. Показано, що при степенi стохастичного полiнома r 6 2 полiномiальнi оцiнки вироджуються в лiнiйнi оцiнки середнього арифметичного. При використанi полiномiв ступеня r = 3 вiдносна точнiсть полiномiальної оцiнки збiльшується. Коефiцiєнт зменшення дисперсiї оцiнок за- лежить вiд величини кумулянтних коефiцiєнтiв 4-го i 6-го порядку, якi характеризують ступiнь вiдмiнностi вiд гаусової моделi. Шляхом багаторазових статистичних випробувань (методом Монте- Карло) дослiдженi властивостi нормалiзацiї полiномiальних оцiнок i проведено порiвняльний аналiз їх точностi з вiдомими оцiнками (середнiм, медiаною i серединою розмаху). Побудовано областi ефективностi для кожного iз методiв в залежностi вiд параметра форми експоненцiйного степеневого розподiлу i обсягу вибiрки.The paper proposes an original approach to obtain the results of multiple measurements at random errors, which are described by the exponential power (generalized Gaussian) distribution model. The approach is based on the polynomial maximization method (PMM), which is based on Kunchchenko’s mathematical apparatus using stochastic polynomials and a partial description of random variables of high-order statistics (moments or cumulants). The theoretical foundations of PMM are presented in relation to finding the estimates of the informative parameter from an equally distributed random variables sample. There are analytical expressions for finding polynomial estimations. It is shown that r 6 2, then polynomial estimates degenerate in linear arithmetic mean estimates . If the polynomial degree r = 3 then the relative accuracy of polynomial estimations increases. The features of numerical procedures (Newton-Raphson method) for finding the stochastic equation roots are considered. Obtained analytical that describe the dispersion of the PMM estimates for an asymptotic case (for n → ∞). It is shown that the theoretical value of reduction coefficient variance of PMM estimates (in comparison with the linear mean estimates) depends on the magnitude of the random error cumulative coefficients of the 4th and 6th order. Through multiple statistical tests (Monte Carlo method) carried out a comparative accuracy analysis of polynomial estimates with known nonparametric estimates (median, mid-range and mean). It is shown that with increasing size of sample the difference between theoretical and experimental data decreases. The efficiency areas for each method are constructed, depending on the exponential power distribution parameter and sample size. It is shown that the accuracy of the proposed approach can significantly (more than twofold) exceed the classical nonparametric estimation.В работе предложен оригинальный подход к нахождению оценок результатов многократных измерений при случайных погрешностях, описываемых моделью экспоненциального степенного (обобщенного гауссова) распределения. В основе данного подхода лежит метод максимизации полинома (ММПл), основанный на математическом аппарате стохастических полиномов Кунченко и частичном описании случайных величин статистиками высших порядков (моментами или кумулянтами). Приведены теоретические основы ММПл для нахождения оценок информативного параметра из выборки одинаково распределенных случайных величин. Получены аналитические выражения для нахождения полиномиальных оценок. Показано, что при степени стохастического полинома r 6 2 полиномиальные оценки вырождаются в линейные оценки среднего арифметического. При использовании полиномов степени r = 3 относительная точность полиномиальных оценок увеличивается. Рассмотрены особенности использования численных процедур (метод Ньютона-Рафсона) для нахождения решений стохастических уравнений. Для асимптотического случая (при n → ∞) получены аналитические выражения, описывающие дисперсию ММПл-оценок. Показано, что теоретическое значение коэффициента уменьшения дисперсии ММПл-оценок (по сравнению с линейными оценками среднего арифметического) зависит от величины кумулянтних коэффициентов 4-го и 6-го порядка случайной погрешности. Путем многократных статистических испытаний (метод Монте-Карло) осуществлен сравнительный анализ точности полиномиальных оценок с известными непараметрическими оценкам (средним, медианой и серединой размаха). Показано, что с увеличением объема выборки n расхождение между теоретическими и экспериментальными данными уменьшается. Построены области эффективности для каждого из методов в зависимости от параметра формы экспоненциального степенного распределения и объема выборки. Показано, что точность предложенного подхода может существенно (более чем в 2 раза) превышать точность классических непараметрических оценок

Conformal Tracking For Virtual Environments

A virtual environment is a set of surroundings that appears to exist to a user through sensory stimuli provided by a computer. By virtual environment, we mean to include environments supporting the full range from VR to pure reality. A necessity for virtual environments is knowledge of the location of objects in the environment. This is referred to as the tracking problem, which points to the need for accurate and precise tracking in virtual environments. Marker-based tracking is a technique which employs fiduciary marks to determine the pose of a tracked object. A collection of markers arranged in a rigid configuration is called a tracking probe. The performance of marker-based tracking systems depends upon the fidelity of the pose estimates provided by tracking probes. The realization that tracking performance is linked to probe performance necessitates investigation into the design of tracking probes for proponents of marker-based tracking. The challenges involved with probe design include prediction of the accuracy and precision of a tracking probe, the creation of arbitrarily-shaped tracking probes, and the assessment of the newly created probes. To address these issues, we present a pioneer framework for designing conformal tracking probes. Conformal in this work means to adapt to the shape of the tracked objects and to the environmental constraints. As part of the framework, the accuracy in position and orientation of a given probe may be predicted given the system noise. The framework is a methodology for designing tracking probes based upon performance goals and environmental constraints. After presenting the conformal tracking framework, the elements used for completing the steps of the framework are discussed. We start with the application of optimization methods for determining the probe geometry. Two overall methods for mapping markers on tracking probes are presented, the Intermediary Algorithm and the Viewpoints Algorithm. Next, we examine the method used for pose estimation and present a mathematical model of error propagation used for predicting probe performance in pose estimation. The model uses a first-order error propagation, perturbing the simulated marker locations with Gaussian noise. The marker locations with error are then traced through the pose estimation process and the effects of the noise are analyzed. Moreover, the effects of changing the probe size or the number of markers are discussed. Finally, the conformal tracking framework is validated experimentally. The assessment methods are divided into simulation and post-fabrication methods. Under simulation, we discuss testing of the performance of each probe design. Then, post-fabrication assessment is performed, including accuracy measurements in orientation and position. The framework is validated with four tracking probes. The first probe is a six-marker planar probe. The predicted accuracy of the probe was 0.06 deg and the measured accuracy was 0.083 plus/minus 0.015 deg. The second probe was a pair of concentric, planar tracking probes mounted together. The smaller probe had a predicted accuracy of 0.206 deg and a measured accuracy of 0.282 plus/minus 0.03 deg. The larger probe had a predicted accuracy of 0.039 deg and a measured accuracy of 0.017 plus/minus 0.02 deg. The third tracking probe was a semi-spherical head tracking probe. The predicted accuracy in orientation and position was 0.54 plus/minus 0.24 deg and 0.24 plus/minus 0.1 mm, respectively. The experimental accuracy in orientation and position was 0.60 plus/minus 0.03 deg and 0.225 plus/minus 0.05 mm, respectively. The last probe was an integrated, head-mounted display probe, created using the conformal design process. The predicted accuracy of this probe was 0.032 plus/minus 0.02 degrees in orientation and 0.14 plus/minus 0.08 mm in position. The measured accuracy of the probe was 0.028 plus/minus 0.01 degrees in orientation and 0.11 plus/minus 0.01 mm in position. These results constitute an order of magnitude improvement over current marker-based tracking probes in orientation, indicating the benefits of a conformal tracking approach. Also, this result translates to a predicted positional overlay error of a virtual object presented at 1m of less than 0.5 mm, which is well above reported overlay performance in virtual environments

Capacidade dos sistemas de medição para tarefas de inspeção 100% /

Tese (Doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico

Kriging regression in digital image correlation for error reduction and uncertainty quantification

Digital Image Correlation (DIC) is a widely used full-field measurement technique in the field of experimental mechanics because of its simplicity and ease of implementation. However, owing to the inherent complexity of DIC error sources, the problem of DIC error reduction and uncertainty quantification is still unsolved and has received considerable attention in recent years. The existing work on DIC error reduction is usually focused on specific error sources, e.g. local smoothing techniques are normally applied to reduce errors due to image acquisition noise. Moreover, DIC uncertainty quantification methods are usually derived from a subset-based DIC framework with an assumption of Gaussian image noise. Established methods are normally subject to an ad-hoc choice of parameterisation and might only be able to achieve a local optimum. On the other hand, originally developed in geo-statistics, Kriging is known as optimal interpolation to predict interpolated values using random variables as a realization of a Gaussian process. The Kriging technique has the excellent capability in global optimisation and uncertainty quantification. It is advisable to make an attempt to introduce the Kriging method to DIC to facilitate the solution of error and uncertainty issue. The main purpose of this thesis is to offer a generic and global method that can reduce general DIC errors and quantify measurement uncertainty for displacement and strain results based on Kriging regression from Gaussian Process (GP) and Bayesian perspective. Firstly, a new global DIC approach known as Kriging-DIC was developed through incorporating the Kriging regression model into the classical global DIC algorithm as a full-field shape function. The displacement field of the Region of Interest (RoI) is formulated as a best linear unbiased realisation that contains correlations between all the samples. The measurement errors of control points are accounted for through a global regularisation technique using a global error factor. With the aid of the Mean Squared Error (MSE) determined from the Kriging model, a self-adaptive updating strategy was developed to achieve an optimal control grid without artificial supervision. The developed Kriging DIC method was compared with subset-based DIC, FE-DIC and B-Spline DIC by using synthetic images and open-access experimental data. The effectiveness and robustness of Kriging DIC was verified by numerical examples and an experimental I-section beam test. Secondly, a Kriging-based DIC uncertainty quantification method was proposed to quantify uncertainty of displacement and strain results of the subset-based DIC through a post-processing analysis based on Kriging regression. The subset-by-subset uncertainty was estimated through the subset-based DIC framework and derived as a function of the inverse of the Hessian matrix and residual of Sum of Squared Difference (SSD). This local subset-based uncertainty was then integrated into Kriging regression formula allowing uncertainty quantification of displacement field from a global sense. Based on Cholesky decomposition and covariance matrix solved by the Kriging formula, a multivariate normal sampling process was used to quantify the strain uncertainty whereas displacement gradients were calculated by a Finite Difference technique. Both numerical case studies and an experimental cantilever beam test were employed to test the method, which was found to be able to improve the accuracy of displacement and strain results and quantify corresponding uncertainties. Furthermore, a new approach was developed to calculate strain results by means of Kriging gradients, which was also compared with a state-of-the-art PLS local fitting algorithm. In summary, the main contribution of this thesis is the development of a global DIC algorithm (i.e. Kriging-DIC) and a Kriging-based DIC uncertainty quantification approach. These two methods provide great potential to globally improve DIC measurement accuracy and quantify uncertainties of displacement and strain results

Vision Sensors and Edge Detection

Vision Sensors and Edge Detection book reflects a selection of recent developments within the area of vision sensors and edge detection. There are two sections in this book. The first section presents vision sensors with applications to panoramic vision sensors, wireless vision sensors, and automated vision sensor inspection, and the second one shows image processing techniques, such as, image measurements, image transformations, filtering, and parallel computing