Метод формирования цифровой тени процесса перемещения человека на основе объединения систем захвата движений

The article deals with the problem of forming a digital shadow of the process of moving a person. An analysis of the subject area was carried out, which showed the need to formalize the process of creating digital shadows to simulate human movements in virtual space, testing software and hardware systems that operate on the basis of human actions, as well as in various systems of musculoskeletal rehabilitation. It was revealed that among the existing approaches to the capture of human movements, it is impossible to single out a universal and stable method under various environmental conditions. A method for forming a digital shadow has been developed based on combining and synchronizing data from three motion capture systems (virtual reality trackers, a motion capture suit, and cameras using computer vision technologies). Combining the above systems makes it possible to obtain a comprehensive assessment of the position and condition of a person regardless of environmental conditions (electromagnetic interference, illumination). To implement the proposed method, a formalization of the digital shadow of the human movement process was carried out, including a description of the mechanisms for collecting and processing data from various motion capture systems, as well as the stages of combining, filtering, and synchronizing data. The scientific novelty of the method lies in the formalization of the process of collecting data on the movement of a person, combining and synchronizing the hardware of the motion capture systems to create digital shadows of the process of moving a person. The obtained theoretical results will be used as a basis for software abstraction of a digital shadow in information systems to solve the problems of testing, simulating a person, and modeling his reaction to external stimuli by generalizing the collected data arrays about his movement.В статье рассматривается задача формирования цифровой тени процесса перемещения человека. Проведен анализ предметной области, который показал необходимость формализации процесса создания цифровых теней для имитации движений человека в виртуальном пространстве, тестировании программно-аппаратных комплексов, функционирующих на основе действий человека, а также в различных системах опорно-двигательной реабилитации. Выявлено, что среди существующих подходов к захвату движений человека нельзя выделить универсальный и стабильно работающий при различных условиях внешней среды. Разработан метод формирования цифровой тени на основе комбинирования и синхронизации данных из трех систем захвата движений (трекеры виртуальной реальности, костюм motion capture и камеры с использованием технологий компьютерного зрения). Объединение перечисленных систем позволяет получить комплексную оценку положения и состояния человека независимо от условий внешней среды (электромагнитные помехи, освещенность). Для реализации предложенного метода проведена формализация цифровой тени процесса перемещения человека, включающая описание механизмов сбора и обработки данных от различных систем захвата движений, а также этапы объединения, фильтрации и синхронизации данных. Научная новизна метода заключается в формализации процесса сбора данных о перемещении человека, объединении и синхронизации аппаратного обеспечения используемых систем захвата движений для создания цифровых теней процесса перемещения человека. Полученные теоретические результаты будут использоваться в качестве основы для программной абстракции цифровой тени в информационных системах для решения задач тестирования, имитации человека и моделирования его реакции на внешние раздражители за счет обобщения собранных массивов данных о его перемещении

Метод формирования цифровой тени процесса перемещения человека на основе объединения систем захвата движений

В статье рассматривается задача формирования цифровой тени процесса перемещения человека. Проведен анализ предметной области, который показал необходимость формализации процесса создания цифровых теней для имитации движений человека в виртуальном пространстве, тестировании программно-аппаратных комплексов, функционирующих на основе действий человека, а также в различных системах опорно-двигательной реабилитации. Выявлено, что среди существующих подходов к захвату движений человека нельзя выделить универсальный и стабильно работающий при различных условиях внешней среды. Разработан метод формирования цифровой тени на основе комбинирования и синхронизации данных из трех систем захвата движений (трекеры виртуальной реальности, костюм motion capture и камеры с использованием технологий компьютерного зрения). Объединение перечисленных систем позволяет получить комплексную оценку положения и состояния человека независимо от условий внешней среды (электромагнитные помехи, освещенность). Для реализации предложенного метода проведена формализация цифровой тени процесса перемещения человека, включающая описание механизмов сбора и обработки данных от различных систем захвата движений, а также этапы объединения, фильтрации и синхронизации данных. Научная новизна метода заключается в формализации процесса сбора данных о перемещении человека, объединении и синхронизации аппаратного обеспечения используемых систем захвата движений для создания цифровых теней процесса перемещения человека. Полученные теоретические результаты будут использоваться в качестве основы для программной абстракции цифровой тени в информационных системах для решения задач тестирования, имитации человека и моделирования его реакции на внешние раздражители за счет обобщения собранных массивов данных о его перемещении

DiffMimic: Efficient Motion Mimicking with Differentiable Physics

Motion mimicking is a foundational task in physics-based character animation. However, most existing motion mimicking methods are built upon reinforcement learning (RL) and suffer from heavy reward engineering, high variance, and slow convergence with hard explorations. Specifically, they usually take tens of hours or even days of training to mimic a simple motion sequence, resulting in poor scalability. In this work, we leverage differentiable physics simulators (DPS) and propose an efficient motion mimicking method dubbed DiffMimic. Our key insight is that DPS casts a complex policy learning task to a much simpler state matching problem. In particular, DPS learns a stable policy by analytical gradients with ground-truth physical priors hence leading to significantly faster and stabler convergence than RL-based methods. Moreover, to escape from local optima, we utilize a Demonstration Replay mechanism to enable stable gradient backpropagation in a long horizon. Extensive experiments on standard benchmarks show that DiffMimic has a better sample efficiency and time efficiency than existing methods (e.g., DeepMimic). Notably, DiffMimic allows a physically simulated character to learn Backflip after 10 minutes of training and be able to cycle it after 3 hours of training, while the existing approach may require about a day of training to cycle Backflip. More importantly, we hope DiffMimic can benefit more differentiable animation systems with techniques like differentiable clothes simulation in future research.Comment: ICLR 2023 Code is at https://github.com/jiawei-ren/diffmimic Project page is at https://diffmimic.github.io

Learning predict-and-simulate policies from unorganized human motion data

The goal of this research is to create physically simulated biped characters equipped with a rich repertoire of motor skills. The user can control the characters interactively by modulating their control objectives. The characters can interact physically with each other and with the environment. We present a novel network-based algorithm that learns control policies from unorganized, minimally-labeled human motion data. The network architecture for interactive character animation incorporates an RNN-based motion generator into a DRL-based controller for physics simulation and control. The motion generator guides forward dynamics simulation by feeding a sequence of future motion frames to track. The rich future prediction facilitates policy learning from large training data sets. We will demonstrate the effectiveness of our approach with biped characters that learn a variety of dynamic motor skills from large, unorganized data and react to unexpected perturbation beyond the scope of the training data.N