Быстрый трекинг зрачка, основанный на исследовании гранично-ступенчатой модели изображения и многомерной оптимизации методом Хука-Дживса

Предлагается новый быстрый метод регистрации движения глаз в режиме реального времени на основе исследования гранично-ступенчатой модели полутонового изображения оператором Лапласиан – Гауссиана и нахождения нового предложенного дескриптора накопленных разностей (идентификатора точек), который отображает меру равноудаленности каждой точки от границ некоторой относительно монотонной области (например, зрачок глаза). Работа данного дескриптора исходит из предположения о том, что зрачок в кадре является наиболее округлой монотонной областью, имеющей высокий перепад яркости на границе, пиксели области должны иметь интенсивность меньше заранее заданного порога (но при этом зрачок может не являться самой темной областью на изображении). Учитывая все вышеперечисленные характеристики зрачка, дескриптор позволяет достичь высокой точности детектирования его центра и размера в отличии от методов, основанных на пороговой сегментации изображения, опирающихся на предположение о зрачке как наиболее темной области, морфологических методов (рекурсивная морфологическая эрозия), корреляционных или методов, исследующих только граничную модель изображения (преобразование Хафа и его вариации с двумерным и трехмерным пространствами параметров, алгоритм Starburst, Swirski, RANSAC, ElSe). Исследована возможность представления задачи трекинга зрачка как задачи многомерной оптимизации и ее решение неградиентным методом Хука –Дживса, где в качестве целевой функции выступает функция, выражающая дескриптор. При этом отпадает необходимость в вычислении дескриптора каждой точки изображения (составления специальной аккумуляторной функции), что значительно ускоряет работу метода. Проведен анализ предложенных дескриптора и метода, а также разработан программный комплекс на языке Python 3 (визуализация) и C++ (ядро трекинга) в лаборатории физико-математического факультета Камчатского государственного университета им. Витуса Беринга, позволяющий иллюстрировать работу метода и осуществлять трекинг зрачка в режиме реального времени

Быстрый трекинг зрачка, основанный на исследовании гранично-ступенчатой модели изображения и многомерной оптимизации методом Хука-Дживса

A new fast method for pupil detection and eyetracking real time is being developed based on the study of a boundary-step model of a grayscale image by the Laplacian-Gaussian operator and finding a new proposed descriptor of accumulated differences (point identifier), which displays a measure of the equidistance of each point from the boundaries of some relative monotonous area (for example, the pupil of the eye). The operation of this descriptor is based on the assumption that the pupil in the frame is the most rounded monotonic region with a high brightness difference at the border, the pixels of the region should have an intensity less than a predetermined threshold (but the pupil may not be the darkest region in the image). Taking into account all of the above characteristics of the pupil, the descriptor allows achieving high detection accuracy of its center and size, in contrast to methods based on threshold image segmentation, based on the assumption of the pupil as the darkest area, morphological methods (recursive morphological erosion), correlation or methods that investigate only the boundary image model (Hough transform and its variations with two-dimensional and three-dimensional parameter spaces, the Starburst algorithm, Swirski, RANSAC, ElSe). The possibility of representing the pupil tracking problem as a multidimensional unconstrained optimization problem and its solution by the Hook-Jeeves non-gradient method, where the function expressing the descriptor is used as the objective function, is investigated. In this case, there is no need to calculate the descriptor for each point of the image (compiling a special accumulator function), which significantly speeds up the work of the method. The proposed descriptor and method were analyzed, and a software package was developed in Python 3 (visualization) and C ++ (tracking kernel) in the laboratory of the Physics and Mathematics Faculty of Kamchatka State University of Vitus Bering, which allows illustrating the work of the method and tracking the pupil in real time.Предлагается новый быстрый метод регистрации движения глаз в режиме реального времени на основе исследования гранично-ступенчатой модели полутонового изображения оператором Лапласиан – Гауссиана и нахождения нового предложенного дескриптора накопленных разностей (идентификатора точек), который отображает меру равноудаленности каждой точки от границ некоторой относительно монотонной области (например, зрачок глаза). Работа данного дескриптора исходит из предположения о том, что зрачок в кадре является наиболее округлой монотонной областью, имеющей высокий перепад яркости на границе, пиксели области должны иметь интенсивность меньше заранее заданного порога (но при этом зрачок может не являться самой темной областью на изображении). Учитывая все вышеперечисленные характеристики зрачка, дескриптор позволяет достичь высокой точности детектирования его центра и размера в отличии от методов, основанных на пороговой сегментации изображения, опирающихся на предположение о зрачке как наиболее темной области, морфологических методов (рекурсивная морфологическая эрозия), корреляционных или методов, исследующих только граничную модель изображения (преобразование Хафа и его вариации с двумерным и трехмерным пространствами параметров, алгоритм Starburst, Swirski, RANSAC, ElSe). Исследована возможность представления задачи трекинга зрачка как задачи многомерной оптимизации и ее решение неградиентным методом Хука –Дживса, где в качестве целевой функции выступает функция, выражающая дескриптор. При этом отпадает необходимость в вычислении дескриптора каждой точки изображения (составления специальной аккумуляторной функции), что значительно ускоряет работу метода. Проведен анализ предложенных дескриптора и метода, а также разработан программный комплекс на языке Python 3 (визуализация) и C++ (ядро трекинга) в лаборатории физико-математического факультета Камчатского государственного университета им. Витуса Беринга, позволяющий иллюстрировать работу метода и осуществлять трекинг зрачка в режиме реального времени

An Intelligent and Low-cost Eye-tracking System for Motorized Wheelchair Control

In the 34 developed and 156 developing countries, there are about 132 million disabled people who need a wheelchair constituting 1.86% of the world population. Moreover, there are millions of people suffering from diseases related to motor disabilities, which cause inability to produce controlled movement in any of the limbs or even head.The paper proposes a system to aid people with motor disabilities by restoring their ability to move effectively and effortlessly without having to rely on others utilizing an eye-controlled electric wheelchair. The system input was images of the users eye that were processed to estimate the gaze direction and the wheelchair was moved accordingly. To accomplish such a feat, four user-specific methods were developed, implemented and tested; all of which were based on a benchmark database created by the authors.The first three techniques were automatic, employ correlation and were variants of template matching, while the last one uses convolutional neural networks (CNNs). Different metrics to quantitatively evaluate the performance of each algorithm in terms of accuracy and latency were computed and overall comparison is presented. CNN exhibited the best performance (i.e. 99.3% classification accuracy), and thus it was the model of choice for the gaze estimator, which commands the wheelchair motion. The system was evaluated carefully on 8 subjects achieving 99% accuracy in changing illumination conditions outdoor and indoor. This required modifying a motorized wheelchair to adapt it to the predictions output by the gaze estimation algorithm. The wheelchair control can bypass any decision made by the gaze estimator and immediately halt its motion with the help of an array of proximity sensors, if the measured distance goes below a well-defined safety margin.Comment: Accepted for publication in Sensor, 19 Figure, 3 Table

Understanding the use of Virtual Reality in Marketing: a text mining-based review

The current study intends to highlight the most relevant studies in simulated realities with special attention to VR and marketing, showing how studies have evolved over time and discussing the findings. A text-mining approach using a Bayesian statistical topic model called latent Dirichlet allocation is employed to conduct a comprehensive analysis of 150 articles from 115 journals, all indexed in Web of Science. The findings reveal seven relevant topics, as well as the number of articles published over time, the authors most cited in VR papers and the leading journals in each topic. The article also provides theoretical and practical implications and suggestions for further research.info:eu-repo/semantics/acceptedVersio

Handbook of Vascular Biometrics

This open access handbook provides the first comprehensive overview of biometrics exploiting the shape of human blood vessels for biometric recognition, i.e. vascular biometrics, including finger vein recognition, hand/palm vein recognition, retina recognition, and sclera recognition. After an introductory chapter summarizing the state of the art in and availability of commercial systems and open datasets/open source software, individual chapters focus on specific aspects of one of the biometric modalities, including questions of usability, security, and privacy. The book features contributions from both academia and major industrial manufacturers