Dance Gesture Recognition Using Space Component And Effort Component Of Laban Movement Analysis

Dance is a collection of gestures that have many meanings. Dance is a culture that is owned by every country whose every movement has beauty or meaning contained in the dance movement. One obstacle in the development of dance is to recognize dance moves. In the process of recognizing dance movements one of them is information technology by recording motion data using the Kinect sensor, where the results of the recording will produce a motion data format with the Biovision Hierarchy (BVH) file format. BVH motion data have position compositions (x, y, z). The results of the existing dance motion record will be extracted features using Laban Movement Analysis (LMA), where the LMA has four main components namely Body, Shape, Space, and Effort. After extracting the features, quantization, normalization, and classification will be performed. Using Hidden Markov Model (HMM). In this study using two LMA components, namely Space and Effort in extracting features in motion recognition patterns. From the results of the test and the resulting accuracy is approaching 99% for dance motion data

How Shall I Count the Ways? A Method for Quantifying the Qualitative Aspects of Unscripted Movement With Laban Movement Analysis

There is significant clinical evidence showing that creative and expressive movement processes involved in dance/movement therapy (DMT) enhance psycho-social well-being. Yet, because movement is a complex phenomenon, statistically validating which aspects of movement change during interventions or lead to significant positive therapeutic outcomes is challenging because movement has multiple, overlapping variables appearing in unique patterns in different individuals and situations. One factor contributing to the therapeutic effects of DMT is movement’s effect on clients’ emotional states. Our previous study identified sets of movement variables which, when executed, enhanced specific emotions. In this paper, we describe how we selected movement variables for statistical analysis in that study, using a multi-stage methodology to identify, reduce, code, and quantify the multitude of variables present in unscripted movement. We suggest a set of procedures for using Laban Movement Analysis (LMA)-described movement variables as research data. Our study used LMA, an internationally accepted comprehensive system for movement analysis, and a primary DMT clinical assessment tool for describing movement. We began with Davis’s (1970) three-stepped protocol for analyzing movement patterns and identifying the most important variables: (1) We repeatedly observed video samples of validated (Atkinson et al., 2004) emotional expressions to identify prevalent movement variables, eliminating variables appearing minimally or absent. (2) We use the criteria repetition, frequency, duration and emphasis to eliminate additional variables. (3) For each emotion, we analyzed motor expression variations to discover how variables cluster: first, by observing ten movement samples of each emotion to identify variables common to all samples; second, by qualitative analysis of the two best-recognized samples to determine if phrasing, duration or relationship among variables was significant. We added three new steps to this protocol: (4) we created Motifs (LMA symbols) combining movement variables extracted in steps 1–3; (5) we asked participants in the pilot study to move these combinations and quantify their emotional experience. Based on the results of the pilot study, we eliminated more variables; (6) we quantified the remaining variables’ prevalence in each Motif for statistical analysis that examined which variables enhanced each emotion. We posit that our method successfully quantified unscripted movement data for statistical analysis

A framework for emotion and sentiment predicting supported in ensembles

Humans are prepared to comprehend each other’s emotions through subtle body movements or facial expressions; using those expressions, individuals change how they deliver messages when communicating between them. Machines, user interfaces, or robots need to empower this ability, in a way to change the interaction from the traditional “human-computer interaction” to a “human-machine cooperation”, where the machine provides the “right” information and functionality, at the “right” time, and in the “right” way. This dissertation presents a framework for emotion classification based on facial, speech, and text emotion prediction sources, supported by an ensemble of open-source code retrieved from off-the-shelf available methods. The main contribution is integrating outputs from different sources and methods in a single prediction, consistent with the emotions presented by the system’s user. For each different source, an initial aggregation of primary classifiers was implemented: for facial emotion classification, the aggregation achieved an accuracy above 73% in both FER2013 and RAF-DB datasets; For the speech emotion classification, four datasets were used, namely: RAVDESS, TESS, CREMA-D, and SAVEE. The aggregation of primary classifiers, achieved for a combination of three of the mentioned datasets results above 86 % of accuracy; The text emotion aggregation of primary classifiers was tested with one dataset called EMOTIONLINES, the classification of emotions achieved an accuracy above 53 %. Finally, the integration of all the methods in a single framework allows us to develop an emotion multi-source aggregator (EMsA), which aggregates the results extracted from the primary emotion classifications from different sources, such as facial, speech, text etc. We describe the EMsA and results using the RAVDESS dataset, which achieved 81.99% accuracy, in the case of the EMsA using a combination of faces and speech. Finally, we present an initial approach for sentiment classification.Os humanos estão preparados para compreender as emoções uns dos outros por meio de movimentos subtis do corpo ou expressões faciais; i.e., a forma como esses movimentos e expressões são enviados mudam a forma de como são entregues as mensagens quando os humanos comunicam entre eles. Máquinas, interfaces de utilizador ou robôs precisam de potencializar essa capacidade, de forma a mudar a interação do tradicional “interação humano-computador” para uma “cooperação homem-máquina”, onde a máquina fornece as informações e funcionalidades “certas”, na hora “certa” e da maneira “certa”. Nesta dissertação é apresentada uma estrutura (um ensemble de modelos) para classificação de emoções baseada em múltiplas fontes, nomeadamente na previsão de emoções faciais, de fala e de texto. Os classificadores base são suportados em código-fonte aberto associados a métodos disponíveis na literatura (classificadores primários). A principal contribuição é integrar diferentes fontes e diferentes métodos (os classificadores primários) numa única previsão consistente com as emoções apresentadas pelo utilizador do sistema. Neste contexto, salienta-se que da análise ao estado da arte efetuada sobre as diferentes formas de classificar emoções em humanos, existe o reconhecimento de emoção corporal (não considerando a face). No entanto, não foi encontrado código-fonte aberto e publicado para os classificadores primários que possam ser utilizados no âmbito desta dissertação. No reconhecimento de emoções da fala e texto foram também encontradas algumas dificuldades em encontrar classificadores primários com os requisitos necessários, principalmente no texto, pois existem bastantes modelos, mas com inúmeras emoções diferentes das 6 emoções básicas consideradas (tristeza, medo, surpresa, repulsa, raiva e alegria). Para o texto ainda possível verificar que existem mais modelos com a previsão de sentimento do que de emoções. De forma isolada para cada uma das fontes, i.e., para cada componente analisada (face, fala e texto), foi desenvolvido uma framework em Python que implementa um agregador primário com n classificadores primários (nesta dissertação considerou-se n igual 3). Para executar os testes e obter os resultados de cada agregador primário é usado um dataset específico e é enviado a informação do dataset para o agregador. I.e., no caso do agregador facial é enviado uma imagem, no caso do agregador da fala é enviado um áudio e no caso do texto é enviado a frase para a correspondente framework. Cada dataset usado foi dividido em ficheiros treino, validação e teste. Quando a framework acaba de processar a informação recebida são gerados os respetivos resultados, nomeadamente: nome do ficheiro/identificação do input, resultados do primeiro classificador primário, resultados do segundo classificador primário, resultados do terceiro classificador primário e ground-truth do dataset. Os resultados dos classificadores primários são depois enviados para o classificador final desse agregador primário, onde foram testados quatro classificadores: (a) voting, que, no caso de n igual 3, consiste na comparação dos resultados da emoção de cada classificador primário, i.e., se 2 classificadores primários tiverem a mesma emoção o resultado do voting será esse, se todos os classificadores tiverem resultados diferentes nenhum resultado é escolhido. Além deste “classificador” foram ainda usados (b) Random Forest, (c) Adaboost e (d) MLP (multiplayer perceptron). Quando a framework de cada agregador primário foi concluída, foi desenvolvido um super-agregador que tem o mesmo princípio dos agregadores primários, mas, agora, em vez de ter os resultados/agregação de apenas 3 classificadores primários, vão existir n × 3 resultados de classificadores primários (n da face, n da fala e n do texto). Relativamente aos resultados dos agregadores usados para cada uma das fontes, face, fala e texto, obteve-se para a classificação de emoção facial uma precisão de classificação acima de 73% nos datasets FER2013 e RAF-DB. Na classificação da emoção da fala foram utilizados quatro datasets, nomeadamente RAVDESS, TESS, CREMA-D e SAVEE, tendo que o melhor resultado de precisão obtido foi acima dos 86% quando usado a combinação de 3 dos 4 datasets. Para a classificação da emoção do texto, testou-se com o um dataset EMOTIONLINES, sendo o melhor resultado obtido foi de 53% (precisão). A integração de todas os classificadores primários agora num único framework permitiu desenvolver o agregador multi-fonte (emotion multi-source aggregator - EMsA), onde a classificação final da emoção é extraída, como já referido da agregação dos classificadores de emoções primárias de diferentes fontes. Para EMsA são apresentados resultados usando o dataset RAVDESS, onde foi alcançado uma precisão de 81.99 %, no caso do EMsA usar uma combinação de faces e fala. Não foi possível testar EMsA usando um dataset reconhecido na literatura que tenha ao mesmo tempo informação do texto, face e fala. Por último, foi apresentada uma abordagem inicial para classificação de sentimentos

Continuous body emotion recognition system during theater performances

Understanding emotional human behavior in its multimodal and continuous aspect is necessary for studying human machine interaction and creating constituent social agents. As a first step, we propose a system for continuous emotional behavior recognition expressed by people during communication based on their gesture and their whole body dynamical motion. The features used to classify the motion are inspired by the Laban Movement Analysis entities [11] and are mapped onto the well-known Russell Circumplex Model [4]. We choose a specific case study that corresponds to an ideal case of multimodal behavior that emphasizes the body motion expression: theater performance. Using a trained neural network and annotated data, our system is able to describe the motion behavior as trajectories on the Russell Circumplex Model diagram during theater performances over time. This work contributes to the understanding of human behavior and expression and is a first step through a complete continuous emotion recognition system whose next step will be adding facial expressions

Aplicação das ações básicas de esforço de Laban em uma ferramenta interativa 2D para suporte à composição coreográfica

The planning of movement in space by choreographers is crucial in choreographic composition, requiring a complex cognitive effort to transform an abstract product into a visual representation. Different means, from symbols and notations to digital tools, have been used to record and simulate movements. However, due to the specific nature of dance and its lack of availability as a technical training in Brazil, the methods consolidated over time, such as the concepts developed by choreographer Rudolf Laban, are not widespread or accessible to professional and amateur choreographers. We thus developed the Move Note tool, which allowed the participants in this research to explore dancers' trajectories through abstract animations. The tool made it possible to apply effects to the dancers' displacements, providing an innovative approach to represent Laban's basic effort actions in a two-dimensional environment. The development of the tool was based on an extensive bibliographic review, analysis of the state of the art and a survey on potential users. In order to investigate whether the application of Laban's concepts in an interactive tool could support choreographic composition, evaluations of users' experiences were carried out, adapted from the TAM (Technology Acceptance Model) and TTF (Task-Technology Fit) models. The results indicated that the tool developed was able to provide adequate support, since the satisfaction rates obtained in the analyses, together with the positive comments from the participants, evidenced the contribution provided by the tool. This work presents contributions both in terms of discussion about the interpretation of the data collected and reflection on the practical relevance of the research theme. Additionally, it introduces to the academic community a model of representation of Laban's basic effort actions in a two-dimensional environment, thus expanding the possibilities of research and application of these concepts to the fields of dance and technology.A elaboração do planejamento de movimentação no espaço por coreógrafos é crucial na composição coreográfica, exigindo um esforço cognitivo complexo para transformar um produto abstrato em uma representação visual. Variados meios, desde símbolos e notações até ferramentas digitais, têm sido usados para registrar e simular movimentos. No entanto, devido à natureza específica da dança e à sua falta de disponibilidade como formação técnica no Brasil, os métodos consolidados ao longo do tempo, como os conceitos desenvolvidos pelo coreógrafo Rudolf Laban, são pouco difundidos e inacessíveis para coreógrafos profissionais e amadores. Nesse contexto, foi desenvolvida a ferramenta Move Note, que permitiu aos participantes desta pesquisa explorarem trajetórias de dançarinos por meio de animações abstratas. A ferramenta possibilitou a aplicação de efeitos nos deslocamentos dos dançarinos, proporcionando uma abordagem inovadora para representar as ações básicas de esforço de Laban em um ambiente bidimensional. O desenvolvimento da ferramenta baseou-se em uma revisão bibliográfica extensa, análise do estado da arte e levantamento junto a potenciais usuários. Com o intuito de investigar se a aplicação dos conceitos de Laban em uma ferramenta interativa poderia oferecer suporte à composição coreográfica, foram conduzidas avaliações das experiências dos usuários, adaptadas dos modelos TAM (Technology Acceptance Model) e TTF (Task-Technology Fit). Os resultados indicaram que a ferramenta desenvolvida foi capaz de fornecer suporte adequado, uma vez que os índices de satisfação obtidos nas análises, juntamente com os comentários positivos dos participantes, evidenciaram a contribuição proporcionada pela ferramenta. Este trabalho apresenta contribuições tanto em termos de discussão acerca da interpretação dos dados coletados quanto de reflexão sobre a relevância prática do tema. Adicionalmente, introduz à comunidade acadêmica um modelo de representação das ações básicas de esforço de Laban em um ambiente bidimensional, ampliando, assim, as possibilidades de pesquisa e aplicação desses conceitos nos campos da dança e da tecnologia

Analyse et synthèse de mouvements théâtraux expressifs

This thesis addresses the analysis and generation of expressive movements for virtual human character. Based on previous results from three different research areas (perception of emotions and biological motion, automatic recognition of affect and computer character animation), a low-dimensional motion representation is proposed. This representation consists of the spatio-temporal trajectories of end-effectors (i.e., head, hands and feet), and pelvis. We have argued that this representation is both suitable and sufficient for characterizing the underlying expressive content in human motion, and for controlling the generation of expressive whole-body movements. In order to prove these claims, this thesis proposes: (i) A new motion capture database inspired by physical theory, which contains three categories of motion (locomotion, theatrical and improvised movements), has been built for several actors; (ii) An automatic classification framework has been designed to qualitatively and quantitatively assess the amount of emotion contained in the data. It has been shown that the proposed low-dimensional representation preserves most of the motion cues salient to the expression of affect and emotions; (iii) A motion generation system has been implemented, both for reconstructing whole-body movements from the low-dimensional representation, and for producing novel end-effector expressive trajectories. A quantitative and qualitative evaluation of the generated whole body motions shows that these motions are as expressive as the movements recorded from human actors.Cette thèse porte sur l'analyse et la génération de mouvements expressifs pour des personnages humains virtuels. Sur la base de résultats de l’état de l’art issus de trois domaines de recherche différents - la perception des émotions et du mouvement biologique, la reconnaissance automatique des émotions et l'animation de personnages virtuels - une représentation en faible dimension des mouvements constituée des trajectoires spatio-temporelles des extrémités des chaînes articulées (tête, mains et pieds) et du pelvis a été proposée. Nous avons soutenu que cette représentation est à la fois appropriée et suffisante pour caractériser le contenu expressif du mouvement humain et pour contrôler la génération de mouvements corporels expressifs. Pour étayer cette affirmation, cette thèse propose:i) une nouvelle base de données de capture de mouvements inspirée par la théorie du théâtre physique. Cette base de données contient des exemples de différentes catégories de mouvements (c'est-à-dire des mouvements périodiques, des mouvements fonctionnels, des mouvements spontanés et des séquences de mouvements théâtraux), produits avec des états émotionnels distincts (joie, tristesse, détente, stress et neutre) et interprétés par plusieurs acteurs.ii) Une étude perceptuelle et une approche basée classification automatique conçus pour évaluer qualitativement et quantitativement l'information liée aux émotions véhiculées et encodées dans la représentation proposée. Nous avons observé que, bien que de légères différences dans la performance aient été trouvées par rapport à la situation où le corps entier a été utilisé, notre représentation conserve la plupart des marqueurs de mouvement liés à l'expression de laffect et des émotions.iii) Un système de synthèse de mouvement capable : a) de reconstruire des mouvements du corps entier à partir de la représentation à faible dimension proposée et b) de produire de nouvelles trajectoires extrémités expressives (incluant la trajectoire du bassin). Une évaluation quantitative et qualitative des mouvements du corps entier générés montre que ces mouvements sont aussi expressifs que les mouvements enregistrés à partir d'acteurs humains