Synthesis of variable dancing styles based on a compact spatiotemporal representation of dance

Dance as a complex expressive form of motion is able to convey emotion, meaning and social idiosyncrasies that opens channels for non-verbal communication, and promotes rich cross-modal interactions with music and the environment. As such, realistic dancing characters may incorporate crossmodal information and variability of the dance forms through compact representations that may describe the movement structure in terms of its spatial and temporal organization. In this paper, we propose a novel method for synthesizing beatsynchronous dancing motions based on a compact topological model of dance styles, previously captured with a motion capture system. The model was based on the Topological Gesture Analysis (TGA) which conveys a discrete three-dimensional point-cloud representation of the dance, by describing the spatiotemporal variability of its gestural trajectories into uniform spherical distributions, according to classes of the musical meter. The methodology for synthesizing the modeled dance traces back the topological representations, constrained with definable metrical and spatial parameters, into complete dance instances whose variability is controlled by stochastic processes that considers both TGA distributions and the kinematic constraints of the body morphology. In order to assess the relevance and flexibility of each parameter into feasibly reproducing the style of the captured dance, we correlated both captured and synthesized trajectories of samba dancing sequences in relation to the level of compression of the used model, and report on a subjective evaluation over a set of six tests. The achieved results validated our approach, suggesting that a periodic dancing style, and its musical synchrony, can be feasibly reproduced from a suitably parametrized discrete spatiotemporal representation of the gestural motion trajectories, with a notable degree of compression

Motion-Based Video Games for Stroke Rehabilitation with Reduced Compensatory Motions

Stroke is the leading cause of long-term disability among adults in industrialized nations, with 80% of people who survive strokes experiencing motor disabilities. Recovery requires daily exercise with a high number of repetitions, often without therapist supervision. Motion-based video games can help motivate people with stroke to perform the necessary exercises to recover. We explore the design space of video games for stroke rehabilitation using Wii remotes and webcams as input devices, and share the lessons we learned about what makes games therapeutically useful. We demonstrate the feasibility of using games for home-based stroke therapy with a six-week case study. We show that exercise with games can help recovery even 17 years after the stroke, and share the lessons that we learned for game systems to be used at home as a part of outpatient therapy. As a major issue with home-based therapy, we identify that unsupervised exercises lead to compensatory motions that can impede recovery and create new health issues. We reliably detect torso compensation in shoulder exercises using a custom harness, and develop a game that meaningfully uses both exercise and compensation as inputs. We provide in-game feedback that reduces compensation in a number of ways. We evaluate alternative ways for reducing compensation in controlled experiments and show that using techniques from operant conditioning are effective in significantly reducing compensatory behavior compared to existing approaches

Aportaciones y Aplicaciones de Disciplinas Bioinspiradas a la Creatividad Computacional

¿Puede una computadora presentar comportamientos creativos? Esta compleja cuestión ha despertado un creciente interés en las últimas décadas. Es un hecho evidente que las computadoras han superado la capacidad humana en múltiples dominios. Sin embargo, alcanzar la creatividad humana sigue suponiendo un reto para las computadoras, siendo considerada como un factor clave en el éxito intelectual de los humanos que los diferencia del resto de seres. Esto permite plantear la cuestión acerca de si los humanos poseen un cierto sentido especial, del cual surge la creatividad, que no puede ser transcrito a un algoritmo y por lo tanto, no puede ser implementado por una computadora. Como respuesta a esto, la creatividad computacional surge como un campo dentro de la inteligencia artificial que se encarga del estudio y desarrollo de sistemas hardware y software que sean capaces de exhibir un comportamiento creativo propio del ser humano. Por otra parte, la observación de la naturaleza ha sido una de las principales fuentes de inspiración para la propuesta de novedosas soluciones creativas en diferentes áreas y contextos. En este sentido, dentro de la inteligencia artificial, el paradigma bioinspirado de la computación evolutiva aborda la resolución de problemas mediante la evolución de poblaciones de individuos. La evolución natural representa un ejemplo extremo de proceso creativo ya que durante millones de años, la evolución de los seres vivos ha hecho posible la emergencia de un número inimaginable de diseños biológicos. Por este motivo e inspirados por la evolución natural, los algoritmos evolutivos, una de las técnicas que conforman la computación evolutiva, han sido empleados ampliamente en procesos creativos. Por definición, la creatividad requiere amplias dosis de innovación y diversidad. En el campo de la biología, recientes hipótesis apuntan a que el proceso de desarrollo, en el que una sola célula se transforma en un organismo complejo, es un mecanismo fundamental en el surgimiento de innovación y diversidad en los seres vivos. Por este motivo, el campo de la biología evolutiva del desarrollo (evo-devo) ha emergido para reclamar su incorporación como componente clave en la evolución de una gran diversidad de comportamientos y diseños estructurales innovadores. En el campo de la computación, la biología evolutiva del desarrollo ha inspirado dos disciplinas: el desarrollo artificial, que incorpora el proceso de desarrollo en los algoritmos evolutivos mediante codificación indirecta del esquema genotipo-fenotipo; y la ingeniería embriomórfica, que, imitando el proceso de desarrollo biológico, persigue el desarrollo de morfologías y comportamientos complejos artificiales mediante la agregación descentralizada y la auto-organización de una gran cantidad de pequeños agentes. Entrelazando la compleja cuestión planteada inicialmente sobre la capacidad creativa de las computadoras y la inspiración de la naturaleza como fuente de creatividad e innovación, este trabajo de tesis explora la aplicación de diferentes disciplinas bioinspiradas, concretamente los algoritmos evolutivos, el desarrollo artificial y la ingeniería embriomórfica, de forma individual o combinada para la generación de productos creativos. Para ello se presentan modelos computacionales que actúan de soporte a la creatividad humana, o que exhiben comportamiento creativo de forma independiente, y cuyas soluciones son aplicables en contextos tan diversos como la composición algorítmica, la medicina, la robótica y la animación por computador

La choréogénétique, ou, L'art de faire danser l'ADN

Ce projet de recherche-création tient du postulat qu'il est possible de composer des chorégraphies en l'absence du chorégraphe. Plus précisément, je propose dans ma thèse de simuler le processus de composition chorégraphique en évacuant tout choix subjectif de la part du chorégraphe. La choréogénétique, c'est l'approche expérimentale qui me permet de répondre à cet objectif théorique. L'ADN, c'est le substrat moléculaire qui me permet pratiquement de remplacer la partition chorégraphique. Deux questions principales motivent mes travaux de recherche doctorale : comment faire danser l'ADN et pourquoi faire danser l'ADN. La première question fait référence à l'aspect scientifique de ma démarche, tandis que la seconde fait appel à des considérations d'ordre artistique. L'ensemble de ma thèse s'inscrit au sein de ce dualisme philosophique : le comment du pourquoi, l'objectif et le subjectif, le quantitatif et le qualitatif. À l'interface des paradigmes de l'art et de la science, ma pratique hybride participe de la rencontre entre ces deux champs de la connaissance. Le chorégraphe est un mutagène sélectif. Ma démarche artistique repose sur cette définition toute simple qui fait office d'hypothèse et de prédiction à la fois. Pour être à même de mettre à l'épreuve la validité de cette hypothèse, j'adopte dans le cadre de ma thèse une approche exploratoire; un aller-retour perpétuel entre la théorie et la pratique. Par l'entremise de la méthode expérimentale, j'évalue mon hypothèse selon différents critères de composition chorégraphique et sous différentes conditions de représentation. Je présente les résultats de six expérimentations chorégraphiques réalisées dans le contexte précis de ma thèse création. Pour certaines œuvres, le chorégraphe est remplacé par un algorithme génétique qui simule in silico des séquences de mouvements. Pour d'autres, c'est la molécule d'ADN que j'utilise in vitro pour générer des partitions chorégraphiques. Dans tous les cas, l'œuvre choréogénétique découle des mutations de séquences de mouvements soumises à la sélection naturelle. Dans tous les cas, c'est un mutagène sélectif distinct qui préside à la composition. J'analyse les différences et les similitudes entre ces expérimentations sur la base de critères quantitatifs et qualitatifs. En prenant forme dans l'espace public, mes performances convoquent différents rapports du corps dansant avec l'espace-temps. Divers types de relation au lieu modulent les conditions de représentation de l'œuvre, tandis que la durée des performances affecte tout autant le danseur que le spectateur. J'aborde également les rapports au corps du danseur dans une perspective génétique et phénoménologique. Finalement, le rapport au public s'inscrit dans le cadre de l'esthétique relationnelle. J'accorde une importance toute particulière à la fonction pédagogique de ma pratique et je discute du rôle du médiateur qui incite à la rencontre du spectateur. J'analyse mes différentes expérimentations en fonction de plusieurs critères d'évaluation de l'art. Je me demande si l'expérimentation choréogénétique est une œuvre d'art, une expérience scientifique ou les deux. À l'aide des notions générique, génétique, intentionnelle, attentionnelle et institutionnelle de l'œuvre d'art, je pose un regard critique sur mon travail. Face aux critiques épistémologiques de ma démarche, j'offre une réponse qui tient d'une sociologie de la transgression en art contemporain. Dans quelles conditions l'art et la science peuvent-elles cohabiter? Cette question fondamentale tisse la trame de fond de ma recherche-création. À la recherche d'un langage commun, l'expérimentation présente une solution méthodologique à la rencontre de ces deux solitudes. De l'interdisciplinarité à la transdisciplinarité et à la paradisciplinarité, je revendique néanmoins le droit de pratiquer l'art et la science en parallèle : ni l'un, ni l'autre, mais les deux. À l'interface de la danse et de la génétique, ma recherche parle également d'art combinatoire, d'art biotechnologique, d'art génératif, d'art corporel, d'art contextuel, d'art relationnel, d'art conceptuel et de performance. Où me classer? Mon travail polymorphe s'apparente au corps protéiforme de l'amibe, en constante transformation, en mutation pour s'adapter à son environnement. Mon travail participe, tant dans le fond que dans la forme, de cette évolution créatrice. Pour terminer, je fais un retour sur l'hypothèse qui m'a permis de réaliser cette recherche-création. J'offre en guise de conclusion une nouvelle hypothèse qui généralise le mutagène sélectif à l'ensemble des pratiques artistiques.\ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : Art combinatoire, Art contextuel, Art corporel, Art génératif, Art génétique, Bioart, Danse, Performance, Scienc