Guante inteligente que reconoce gestos de manos para reproducción de audio

Debido al cambio continuo en la industria de la música, específicamente en la industria de la música electrónica, lo que siempre se ha buscado es innovar; esto ha sido posible gracias al crecimiento de la tecnología que ha brindado nuevas posibilidades de componer música y hacer performances en vivo. Sin embargo, lo que el performer también busca son nuevas maneras de interactuar con su audiencia en una performance en vivo, ya que no siempre es evidente para la audiencia que es lo que sucede cuando el performer está detrás de su laptop, loops u otros dispositivos. Por ello, para que los performers puedan interactuar con su música y audiencia de una nueva manera se propone el diseño de un guante, que reconozca gestos que el performer realice y un software, mediante el cual se permita reproducir audios que estén vinculados a un gesto; y así, dé la impresión al espectador de cómo “crea música” en frente de él. El guante está conformado por sensores de flexión, los cuales miden los ángulos de las articulaciones metacarpofalángicas de los dedos de la mano, y un sensor IMU, que mide los movimientos articulares de la muñeca. Los datos que se adquieren de los sensores son enviados a una PC para que sean ingresados al modelo de reconocimiento de gestos construido y consiguientemente se reproduzca el archivo de audio que esté vinculado al gesto entrenado. El entrenamiento del modelo de reconocimiento de gestos se realizó con el algoritmo de clasificación Random Forest. La ventaja de este sistema es que se proponen dos modos de uso: modo de usuarios múltiples y modo de usuario especifico, dándose en el último caso la oportunidad al usuario de obtener resultados más precisos a cambio de que se tomen el tiempo de tomar los datos de sus gestos para el entrenamiento del modelo. Los resultados de precisión que se obtuvieron para los modelos fueron de 92.80% para el modelo de usuarios múltiples y 92,52% para el modelo de usuario específico. Por último, se obtuvo un costo del sistema electrónico y mecánico de S/. 1438.40 y un costo de diseño de S/. 9000 para el proyecto, con lo cual se concluye que el costo de diseño se podría repartir y obtener un costo menor por guante en el caso que sea fabricado en volúmenes de producción alto.Tesi

A segmented-mean feature extraction method for glove-based system to enhance physiotherapy for accurate and speedy recuperation of limbs

It is always desirable to have an accurate system that allows fast recovery of patients undergoing physiotherapy in terms of integrated health and cost benefits. The caregivers and medical personnel too gain a lot of expertise through the innovations involved in treatment methodology. This system proposed here was developed successfully with a straightforward Segmented-Mean feature construction method that enables its portability to suit smart biomedical devices. In this work, four different exercises were completed by four different subjects in two sessions and the feedback system was generated from every single trial performance via a visual display in a smart phone. The accuracy of the system's output depends on the precise representation of two important things namely, correct gesture and timings. These two parameters have to be captured from the signals that are generated by the hand glove during the manual physiotherapy as guided by the experts during the teaching (i.e. Training) phase. Any deviation from the model should also be captured and reflected in the feedback to align the physio-movements towards perfection to minimise adverse effects. So the feature has to be constructed with complete representation and obviously, as fast as possible. The proposed Segmented-Mean method calculates the mean of data that arrives from the significant electrodes periodically, thus preserving the performance of the subject and is found suitable in estimating the enactment of exercises and required deviations (if any), accurately and as appropriate. The proposed Segmented-Mean method helps the construction of features easily than other conventional methods by reducing the computational complexity and therefore, the response time. Hence, shifting the importance to actual physiotherapy monitoring with an accurate system that works on simple feature construction made feasible