Pose-Timeline for Propagating Motion Edits

Motion editing often requires repetitive operations for modifying similar action units to give a similar effector impression. This paper proposes a system for efficiently and flexibly editing the sequence of iterative actionsby a few intuitive operations. Our system visualizes a motion sequence on a summary timeline with editablepose-icons, and drag-and-drop operations on the timeline enable intuitive controls of temporal properties of themotion such as timing, duration, and coordination. This graphical interface is also suited to transfer kinematicaland temporal features between two motions through simple interactions with a quick preview of the resultingposes. Our method also integrates the concept of edit propagation by which the manual modification of one actionunit is automatically transferred to the other units that are robustly detected by similarity search technique. Wedemonstrate the efficiency of our pose-timeline interface with a propagation mechanism for the timing adjustmentof mutual actions and for motion synchronization with a music sequence

Pose-to-Motion: Cross-Domain Motion Retargeting with Pose Prior

Creating believable motions for various characters has long been a goal in computer graphics. Current learning-based motion synthesis methods depend on extensive motion datasets, which are often challenging, if not impossible, to obtain. On the other hand, pose data is more accessible, since static posed characters are easier to create and can even be extracted from images using recent advancements in computer vision. In this paper, we utilize this alternative data source and introduce a neural motion synthesis approach through retargeting. Our method generates plausible motions for characters that have only pose data by transferring motion from an existing motion capture dataset of another character, which can have drastically different skeletons. Our experiments show that our method effectively combines the motion features of the source character with the pose features of the target character, and performs robustly with small or noisy pose data sets, ranging from a few artist-created poses to noisy poses estimated directly from images. Additionally, a conducted user study indicated that a majority of participants found our retargeted motion to be more enjoyable to watch, more lifelike in appearance, and exhibiting fewer artifacts. Project page: https://cyanzhao42.github.io/pose2motionComment: Project page: https://cyanzhao42.github.io/pose2motio

Fractals in the Nervous System: conceptual Implications for Theoretical Neuroscience

This essay is presented with two principal objectives in mind: first, to document the prevalence of fractals at all levels of the nervous system, giving credence to the notion of their functional relevance; and second, to draw attention to the as yet still unresolved issues of the detailed relationships among power law scaling, self-similarity, and self-organized criticality. As regards criticality, I will document that it has become a pivotal reference point in Neurodynamics. Furthermore, I will emphasize the not yet fully appreciated significance of allometric control processes. For dynamic fractals, I will assemble reasons for attributing to them the capacity to adapt task execution to contextual changes across a range of scales. The final Section consists of general reflections on the implications of the reviewed data, and identifies what appear to be issues of fundamental importance for future research in the rapidly evolving topic of this review

Hierarchical multiple output gaussian processes for human motion data

Diferentes aplicaciones estadísticas implican el uso de diferentes parámetros y observaciones que en muchos casos están relacionadas de alguna manera dependiendo de la estructura del problema. Usualmente, estos parametros son usados como variables que codifican cierta información relacionada con las observaciones, además, ya estos parametros no son observables ni tampoco pueden ser medidos directamente, son inferidos de los datos observados gracias a las correlaciones dadas entre los mismos. De esa manera, se vuelve natural el modelar el fenómeno por medio de una estructura jerárquica en donde las variables observadas esten condicionadas a los parámetros, y a su vez estos parámetros condicionados a hiperparámetros, etc. Este tipo de modelos son relevantes en el sentido de que sirven cómo buenas aproximaciones al comportamiento de los datos. En el caso de regresión, modelos no paramétricos cómo los procesos Gausianos han sido propuestos también con algún tipo de estructura jerárquica, la cuál depende del problema a ser estudiado. Diferentes modelos jerárquicos han sido propuestos. Recientemente un novedoso método jerárquico para procesos Gausianos fue propuesto, en dicho modelo, se asumen que existen diferentes señales observadas que están relacionadas por una tendencia común a todas estas observaciones, la cuál puede ser predecida. Así, las señales observadas pueden ser vistas como versiones corruptas de esa tendencia común. Sin embargo, este tipo de modelos solo ha sido desarrollado para modelos de una sola salida, de esa manera se vuelve interesante explorar una extensión de este modelo a multiples salidas. Por tal motivo, en este trabajo se presenta una extension de un Proceso Gausiano jerÃarquico a multiples salidas, usando funciones de covarianza existentes con el objetivo de hacer interpolación y síntesis de movimiento humano. El modelo fue probado con datos tanto artificiales cómo reales, los resultados muestran que el modelo es exitoso interpolando y sintetizando movimiento humano en comparación a un modelo de procesos Gausianos de multiples salidas simple el cuál se usa en este trabajo como referencia

Hierarchical multiple output gaussian processes for human motion data

Diferentes aplicaciones estadísticas implican el uso de diferentes parámetros y observaciones que en muchos casos están relacionadas de alguna manera dependiendo de la estructura del problema. Usualmente, estos parametros son usados como variables que codifican cierta información relacionada con las observaciones, además, ya estos parametros no son observables ni tampoco pueden ser medidos directamente, son inferidos de los datos observados gracias a las correlaciones dadas entre los mismos. De esa manera, se vuelve natural el modelar el fenómeno por medio de una estructura jerárquica en donde las variables observadas esten condicionadas a los parámetros, y a su vez estos parámetros condicionados a hiperparámetros, etc. Este tipo de modelos son relevantes en el sentido de que sirven cómo buenas aproximaciones al comportamiento de los datos. En el caso de regresión, modelos no paramétricos cómo los procesos Gausianos han sido propuestos también con algún tipo de estructura jerárquica, la cuál depende del problema a ser estudiado. Diferentes modelos jerárquicos han sido propuestos. Recientemente un novedoso método jerárquico para procesos Gausianos fue propuesto, en dicho modelo, se asumen que existen diferentes señales observadas que están relacionadas por una tendencia común a todas estas observaciones, la cuál puede ser predecida. Así, las señales observadas pueden ser vistas como versiones corruptas de esa tendencia común. Sin embargo, este tipo de modelos solo ha sido desarrollado para modelos de una sola salida, de esa manera se vuelve interesante explorar una extensión de este modelo a multiples salidas. Por tal motivo, en este trabajo se presenta una extension de un Proceso Gausiano jerÃarquico a multiples salidas, usando funciones de covarianza existentes con el objetivo de hacer interpolación y síntesis de movimiento humano. El modelo fue probado con datos tanto artificiales cómo reales, los resultados muestran que el modelo es exitoso interpolando y sintetizando movimiento humano en comparación a un modelo de procesos Gausianos de multiples salidas simple el cuál se usa en este trabajo como referencia

Kernels for sequentially ordered data

We present a novel framework for learning with sequential data of any kind, such as multivariate time series, strings, or sequences of graphs. The main result is a ”sequentialization” that transforms any kernel on a given domain into a kernel for sequences in that domain. This procedure preserves properties such as positive definiteness, the associated kernel feature map is an ordered variant of sample (cross-)moments, and this sequentialized kernel is consistent in the sense that it converges to a kernel for paths if sequences converge to paths (by discretization). Further, classical kernels for sequences arise as special cases of this method. We use dynamic programming and low-rank techniques for tensors to provide efficient algorithms to compute this sequentialized kernel

A robust patch-based synthesis framework for combining inconsistent images

Current methods for combining different images produce visible artifacts when the sources have very different textures and structures, come from far view points, or capture dynamic scenes with motions. In this thesis, we propose a patch-based synthesis algorithm to plausibly combine different images that have color, texture, structural, and geometric inconsistencies. For some applications such as cloning and stitching where a gradual blend is required, we present a new method for synthesizing a transition region between two source images, such that inconsistent properties change gradually from one source to the other. We call this process image melding. For gradual blending, we generalized patch-based optimization foundation with three key generalizations: First, we enrich the patch search space with additional geometric and photometric transformations. Second, we integrate image gradients into the patch representation and replace the usual color averaging with a screened Poisson equation solver. Third, we propose a new energy based on mixed L2/L0 norms for colors and gradients that produces a gradual transition between sources without sacrificing texture sharpness. Together, all three generalizations enable patch-based solutions to a broad class of image melding problems involving inconsistent sources: object cloning, stitching challenging panoramas, hole filling from multiple photos, and image harmonization. We also demonstrate another application which requires us to address inconsistencies across the images: high dynamic range (HDR) reconstruction using sequential exposures. In this application, the results will suffer from objectionable artifacts for dynamic scenes if the inconsistencies caused by significant scene motions are not handled properly. In this thesis, we propose a new approach to HDR reconstruction that uses information in all exposures while being more robust to motion than previous techniques. Our algorithm is based on a novel patch-based energy-minimization formulation that integrates alignment and reconstruction in a joint optimization through an equation we call the HDR image synthesis equation. This allows us to produce an HDR result that is aligned to one of the exposures yet contains information from all of them. These two applications (image melding and high dynamic range reconstruction) show that patch based methods like the one proposed in this dissertation can address inconsistent images and could open the door to many new image editing applications in the future