Advanced Machine Learning for Gesture Learning and Recognition Based on Intelligent Big Data of Heterogeneous Sensors

With intelligent big data, a variety of gesture-based recognition systems have been developed to enable intuitive interaction by utilizing machine learning algorithms. Realizing a high gesture recognition accuracy is crucial, and current systems learn extensive gestures in advance to augment their recognition accuracies. However, the process of accurately recognizing gestures relies on identifying and editing numerous gestures collected from the actual end users of the system. This final end-user learning component remains troublesome for most existing gesture recognition systems. This paper proposes a method that facilitates end-user gesture learning and recognition by improving the editing process applied on intelligent big data, which is collected through end-user gestures. The proposed method realizes the recognition of more complex and precise gestures by merging gestures collected from multiple sensors and processing them as a single gesture. To evaluate the proposed method, it was used in a shadow puppet performance that could interact with on-screen animations. An average gesture recognition rate of 90% was achieved in the experimental evaluation, demonstrating the efficacy and intuitiveness of the proposed method for editing visualized learning gestures

Aplicação das ações básicas de esforço de Laban em uma ferramenta interativa 2D para suporte à composição coreográfica

The planning of movement in space by choreographers is crucial in choreographic composition, requiring a complex cognitive effort to transform an abstract product into a visual representation. Different means, from symbols and notations to digital tools, have been used to record and simulate movements. However, due to the specific nature of dance and its lack of availability as a technical training in Brazil, the methods consolidated over time, such as the concepts developed by choreographer Rudolf Laban, are not widespread or accessible to professional and amateur choreographers. We thus developed the Move Note tool, which allowed the participants in this research to explore dancers' trajectories through abstract animations. The tool made it possible to apply effects to the dancers' displacements, providing an innovative approach to represent Laban's basic effort actions in a two-dimensional environment. The development of the tool was based on an extensive bibliographic review, analysis of the state of the art and a survey on potential users. In order to investigate whether the application of Laban's concepts in an interactive tool could support choreographic composition, evaluations of users' experiences were carried out, adapted from the TAM (Technology Acceptance Model) and TTF (Task-Technology Fit) models. The results indicated that the tool developed was able to provide adequate support, since the satisfaction rates obtained in the analyses, together with the positive comments from the participants, evidenced the contribution provided by the tool. This work presents contributions both in terms of discussion about the interpretation of the data collected and reflection on the practical relevance of the research theme. Additionally, it introduces to the academic community a model of representation of Laban's basic effort actions in a two-dimensional environment, thus expanding the possibilities of research and application of these concepts to the fields of dance and technology.A elaboração do planejamento de movimentação no espaço por coreógrafos é crucial na composição coreográfica, exigindo um esforço cognitivo complexo para transformar um produto abstrato em uma representação visual. Variados meios, desde símbolos e notações até ferramentas digitais, têm sido usados para registrar e simular movimentos. No entanto, devido à natureza específica da dança e à sua falta de disponibilidade como formação técnica no Brasil, os métodos consolidados ao longo do tempo, como os conceitos desenvolvidos pelo coreógrafo Rudolf Laban, são pouco difundidos e inacessíveis para coreógrafos profissionais e amadores. Nesse contexto, foi desenvolvida a ferramenta Move Note, que permitiu aos participantes desta pesquisa explorarem trajetórias de dançarinos por meio de animações abstratas. A ferramenta possibilitou a aplicação de efeitos nos deslocamentos dos dançarinos, proporcionando uma abordagem inovadora para representar as ações básicas de esforço de Laban em um ambiente bidimensional. O desenvolvimento da ferramenta baseou-se em uma revisão bibliográfica extensa, análise do estado da arte e levantamento junto a potenciais usuários. Com o intuito de investigar se a aplicação dos conceitos de Laban em uma ferramenta interativa poderia oferecer suporte à composição coreográfica, foram conduzidas avaliações das experiências dos usuários, adaptadas dos modelos TAM (Technology Acceptance Model) e TTF (Task-Technology Fit). Os resultados indicaram que a ferramenta desenvolvida foi capaz de fornecer suporte adequado, uma vez que os índices de satisfação obtidos nas análises, juntamente com os comentários positivos dos participantes, evidenciaram a contribuição proporcionada pela ferramenta. Este trabalho apresenta contribuições tanto em termos de discussão acerca da interpretação dos dados coletados quanto de reflexão sobre a relevância prática do tema. Adicionalmente, introduz à comunidade acadêmica um modelo de representação das ações básicas de esforço de Laban em um ambiente bidimensional, ampliando, assim, as possibilidades de pesquisa e aplicação desses conceitos nos campos da dança e da tecnologia