1,684 research outputs found

    Survey on Emotional Body Gesture Recognition

    Get PDF
    Automatic emotion recognition has become a trending research topic in the past decade. While works based on facial expressions or speech abound, recognizing affect from body gestures remains a less explored topic. We present a new comprehensive survey hoping to boost research in the field. We first introduce emotional body gestures as a component of what is commonly known as "body language" and comment general aspects as gender differences and culture dependence. We then define a complete framework for automatic emotional body gesture recognition. We introduce person detection and comment static and dynamic body pose estimation methods both in RGB and 3D. We then comment the recent literature related to representation learning and emotion recognition from images of emotionally expressive gestures. We also discuss multi-modal approaches that combine speech or face with body gestures for improved emotion recognition. While pre-processing methodologies (e.g., human detection and pose estimation) are nowadays mature technologies fully developed for robust large scale analysis, we show that for emotion recognition the quantity of labelled data is scarce. There is no agreement on clearly defined output spaces and the representations are shallow and largely based on naive geometrical representations

    Human-robot interaction and computer-vision-based services for autonomous robots

    Get PDF
    L'Aprenentatge per Imitació (IL), o Programació de robots per Demostració (PbD), abasta mètodes pels quals un robot aprèn noves habilitats a través de l'orientació humana i la imitació. La PbD s'inspira en la forma en què els éssers humans aprenen noves habilitats per imitació amb la finalitat de desenvolupar mètodes pels quals les noves tasques es poden transferir als robots. Aquesta tesi està motivada per la pregunta genèrica de "què imitar?", Que es refereix al problema de com extreure les característiques essencials d'una tasca. Amb aquesta finalitat, aquí adoptem la perspectiva del Reconeixement d'Accions (AR) per tal de permetre que el robot decideixi el què cal imitar o inferir en interactuar amb un ésser humà. L'enfoc proposat es basa en un mètode ben conegut que prové del processament del llenguatge natural: és a dir, la bossa de paraules (BoW). Aquest mètode s'aplica a grans bases de dades per tal d'obtenir un model entrenat. Encara que BoW és una tècnica d'aprenentatge de màquines que s'utilitza en diversos camps de la investigació, en la classificació d'accions per a l'aprenentatge en robots està lluny de ser acurada. D'altra banda, se centra en la classificació d'objectes i gestos en lloc d'accions. Per tant, en aquesta tesi es demostra que el mètode és adequat, en escenaris de classificació d'accions, per a la fusió d'informació de diferents fonts o de diferents assajos. Aquesta tesi fa tres contribucions: (1) es proposa un mètode general per fer front al reconeixement d'accions i per tant contribuir a l'aprenentatge per imitació; (2) la metodologia pot aplicar-se a grans bases de dades, que inclouen diferents modes de captura de les accions; i (3) el mètode s'aplica específicament en un projecte internacional d'innovació real anomenat Vinbot.El Aprendizaje por Imitación (IL), o Programación de robots por Demostración (PbD), abarca métodos por los cuales un robot aprende nuevas habilidades a través de la orientación humana y la imitación. La PbD se inspira en la forma en que los seres humanos aprenden nuevas habilidades por imitación con el fin de desarrollar métodos por los cuales las nuevas tareas se pueden transferir a los robots. Esta tesis está motivada por la pregunta genérica de "qué imitar?", que se refiere al problema de cómo extraer las características esenciales de una tarea. Con este fin, aquí adoptamos la perspectiva del Reconocimiento de Acciones (AR) con el fin de permitir que el robot decida lo que hay que imitar o inferir al interactuar con un ser humano. El enfoque propuesto se basa en un método bien conocido que proviene del procesamiento del lenguaje natural: es decir, la bolsa de palabras (BoW). Este método se aplica a grandes bases de datos con el fin de obtener un modelo entrenado. Aunque BoW es una técnica de aprendizaje de máquinas que se utiliza en diversos campos de la investigación, en la clasificación de acciones para el aprendizaje en robots está lejos de ser acurada. Además, se centra en la clasificación de objetos y gestos en lugar de acciones. Por lo tanto, en esta tesis se demuestra que el método es adecuado, en escenarios de clasificación de acciones, para la fusión de información de diferentes fuentes o de diferentes ensayos. Esta tesis hace tres contribuciones: (1) se propone un método general para hacer frente al reconocimiento de acciones y por lo tanto contribuir al aprendizaje por imitación; (2) la metodología puede aplicarse a grandes bases de datos, que incluyen diferentes modos de captura de las acciones; y (3) el método se aplica específicamente en un proyecto internacional de innovación real llamado Vinbot.Imitation Learning (IL), or robot Programming by Demonstration (PbD), covers methods by which a robot learns new skills through human guidance and imitation. PbD takes its inspiration from the way humans learn new skills by imitation in order to develop methods by which new tasks can be transmitted to robots. This thesis is motivated by the generic question of “what to imitate?” which concerns the problem of how to extract the essential features of a task. To this end, here we adopt Action Recognition (AR) perspective in order to allow the robot to decide what has to be imitated or inferred when interacting with a human kind. The proposed approach is based on a well-known method from natural language processing: namely, Bag of Words (BoW). This method is applied to large databases in order to obtain a trained model. Although BoW is a machine learning technique that is used in various fields of research, in action classification for robot learning it is far from accurate. Moreover, it focuses on the classification of objects and gestures rather than actions. Thus, in this thesis we show that the method is suitable in action classification scenarios for merging information from different sources or different trials. This thesis makes three contributions: (1) it proposes a general method for dealing with action recognition and thus to contribute to imitation learning; (2) the methodology can be applied to large databases which include different modes of action captures; and (3) the method is applied specifically in a real international innovation project called Vinbot

    Multimodaalsel emotsioonide tuvastamisel põhineva inimese-roboti suhtluse arendamine

    Get PDF
    Väitekirja elektrooniline versioon ei sisalda publikatsiooneÜks afektiivse arvutiteaduse peamistest huviobjektidest on mitmemodaalne emotsioonituvastus, mis leiab rakendust peamiselt inimese-arvuti interaktsioonis. Emotsiooni äratundmiseks uuritakse nendes süsteemides nii inimese näoilmeid kui kakõnet. Käesolevas töös uuritakse inimese emotsioonide ja nende avaldumise visuaalseid ja akustilisi tunnuseid, et töötada välja automaatne multimodaalne emotsioonituvastussüsteem. Kõnest arvutatakse mel-sageduse kepstri kordajad, helisignaali erinevate komponentide energiad ja prosoodilised näitajad. Näoilmeteanalüüsimiseks kasutatakse kahte erinevat strateegiat. Esiteks arvutatakse inimesenäo tähtsamate punktide vahelised erinevad geomeetrilised suhted. Teiseks võetakse emotsionaalse sisuga video kokku vähendatud hulgaks põhikaadriteks, misantakse sisendiks konvolutsioonilisele tehisnärvivõrgule emotsioonide visuaalsekseristamiseks. Kolme klassifitseerija väljunditest (1 akustiline, 2 visuaalset) koostatakse uus kogum tunnuseid, mida kasutatakse õppimiseks süsteemi viimasesetapis. Loodud süsteemi katsetati SAVEE, Poola ja Serbia emotsionaalse kõneandmebaaside, eNTERFACE’05 ja RML andmebaaside peal. Saadud tulemusednäitavad, et võrreldes olemasolevatega võimaldab käesoleva töö raames loodudsüsteem suuremat täpsust emotsioonide äratundmisel. Lisaks anname käesolevastöös ülevaate kirjanduses väljapakutud süsteemidest, millel on võimekus tunda äraemotsiooniga seotud ̆zeste. Selle ülevaate eesmärgiks on hõlbustada uute uurimissuundade leidmist, mis aitaksid lisada töö raames loodud süsteemile ̆zestipõhiseemotsioonituvastuse võimekuse, et veelgi enam tõsta süsteemi emotsioonide äratundmise täpsust.Automatic multimodal emotion recognition is a fundamental subject of interest in affective computing. Its main applications are in human-computer interaction. The systems developed for the foregoing purpose consider combinations of different modalities, based on vocal and visual cues. This thesis takes the foregoing modalities into account, in order to develop an automatic multimodal emotion recognition system. More specifically, it takes advantage of the information extracted from speech and face signals. From speech signals, Mel-frequency cepstral coefficients, filter-bank energies and prosodic features are extracted. Moreover, two different strategies are considered for analyzing the facial data. First, facial landmarks' geometric relations, i.e. distances and angles, are computed. Second, we summarize each emotional video into a reduced set of key-frames. Then they are taught to visually discriminate between the emotions. In order to do so, a convolutional neural network is applied to the key-frames summarizing the videos. Afterward, the output confidence values of all the classifiers from both of the modalities are used to define a new feature space. Lastly, the latter values are learned for the final emotion label prediction, in a late fusion. The experiments are conducted on the SAVEE, Polish, Serbian, eNTERFACE'05 and RML datasets. The results show significant performance improvements by the proposed system in comparison to the existing alternatives, defining the current state-of-the-art on all the datasets. Additionally, we provide a review of emotional body gesture recognition systems proposed in the literature. The aim of the foregoing part is to help figure out possible future research directions for enhancing the performance of the proposed system. More clearly, we imply that incorporating data representing gestures, which constitute another major component of the visual modality, can result in a more efficient framework

    Analysis of the Interlimb similarity of motor patterns for improving stroke assessment and neurorehabilitation

    Get PDF
    Stroke is the leading cause of adult disability, with upper limb hemiparesis being one of the most common consequences. Regaining voluntary arm movement is one of the major goals of rehabilitation. However, even with intensive rehabilitation, approximately 30% of patients remain permanently disabled and only 5 to 20% of them recover full independence. Hence, there is an increasing interest in incorporating the latest advances in neuroscience, medicine and engineering to improve the efficacy of conventional therapies. In the last years, a variety of promising targets have been identified to improve rehabilitation. However, there is no consensus on which measure should be applied as a gold standard to study functional recovery. This fact dramatically hinders the development of new interventions since it turns difficult to compare different clinical trials and draw consistent conclusions about therapeutic efficiency. In addition, available scales are subjective, qualitative and often lead to incongruent outcomes. Indeed, there is increasing suspicion that the lack of optimal assessment measures hampers the detection of benefits of new therapies. Moreover, existing scales totally ignore the neuromuscular state of the patient masking the ongoing recovery processes. In consequence, making appropriate clinical decisions in such environment is almost impossible. In light of all these facts, the need for new objective biomarkers to develop effective therapies is undeniable. To give response to these demands we have organized this thesis into two main branches. On the one hand, we have developed an innovative physiological scale that reveals the neuromuscular state of the patient and is able to discriminate between motor impairment levels. The innovation here resides in the concept of interlimb similarity (ILS). Based on the latest findings about the modular organization of the motor system and taking into account that stroke provokes unilateral motor damage, we propose comparing the control structure of the unaffected arm with the control structure of the paretic arm to quantify motor impairment. We have defined the control structure as the set of muscle synergies and activation coefficients needed to complete a task. The advantage of this approach is not only its capacity to provide neuromuscular information about the patient, but also that the ILS is personalized to each patient and can purposely guide rehabilitation based on the patient¿s own physiological patterns. This supposes a huge advance taking into account the heterogeneity of stroke pathogenesis. On other hand, we have characterized the therapeutic potential of Visual Feedback (VF) as a tool to purposely induce neuroplastic changes. We have chosen VF among the various interventions proven to improve motor performance, because VF is a cheap strategy that can be implemented in almost any rehabilitation center. We demonstrate that VF is able to modulate the human control structure. In healthy subjects, it seems that VF makes accessible the refined dominant motor programs for the nondominant hemisphere giving rise to an increased interlimb similarity of the control structure. Interestingly, in stroke patients VF is able to manipulate the ILS of upper-limb kinematics in favor of finer motor control but a single training session seems not to be enough to fix those changes in the neuromuscular system of a damaged brain. Overall, these findings offer a new promising framework to develop and assess an effective intervention to guide the restoration of the original neuromuscular patterns and avoid unwanted maladaptive neuroplasticity. In conclusion, this thesis seeks moving forward in the understanding of human motor recovery processes and their relationship with neuroplasticity. In this sense, it provides important advances in the design of a new biomarker of motor impairment and tests the power of VF to modulate the neuromuscular control of patients with stroke.L'ictus és la principal causa de discapacitat en adults, essent l'hemiparèsia del membre superior una de les conseqüències més comunes. Els programes de rehabilitació tenen com a objectiu fonamental restituir la mobilitat del braç afectat. No obstant això, es calcula que només entre el 5 i el 20% dels pacients aconsegueixen recuperar la seva independència mentre que el 30% queden incapacitats permanentment. En front d'aquest escenari es fa necessari incorporar els últims avenços de la neurociència, la medicina i l'enginyeria en aquesta àrea. En els darrers anys s'han identificat diversos aspectes clau per intentar millorar la rehabilitació. El problema, però, és que no hi ha consens per definir una mesura com a "gold estàndard" per avaluar la recuperació funcional, motiu pel qual, el desenvolupament de noves teràpies queda profundament afectat, ja que esdevé impossible poder comparar diferents assajos clínics i extreure conclusions consistents sobre la seva eficiència terapèutica. A més, les diverses mesures que s'utilitzen són subjectives, qualitatives i sovint donen resultats incongruents. De fet, se sospita que la manca de mesures d'avaluació òptimes dificulta la detecció dels beneficis de noves teràpies. A tot això se li ha d'afegir que les mesures actuals no consideren l'estat neuromuscular del pacient, emmascarant els processos reparadors subjacents. Així doncs, prendre les decisions clíniques adequades sota aquestes condicions esdevé pràcticament impossible. En aquestes circumstàncies, no es pot ignorar el requeriment de nous biomarcadors que proporcionin dades objectives per catalitzar el disseny de teràpies efectives. Per donar resposta a aquesta situació, la tesi s'ha estructurat en dues parts. Per una banda, s'ha desenvolupat una innovadora escala fisiològica que revela l'estat neuromuscular del pacient i és capaç de discriminar entre diferents nivells d'incapacitat motora. La innovació rau en el concepte de similitud entre membres (ILS, en anglès). Així, basant-nos en els darrers descobriments sobre l'organització modular del sistema motor, i en el fet que l'ictus provoca dany unilateral, proposem comparar l'estructura de control del braç no-afectat amb l'estructura de control del braç parètic per quantificar la incapacitat motora. L'estructura de control l'hem definida com el conjunt de sinergies musculars i coeficients d'activació que es necessiten per a dur a terme una tasca. L'avantatge d'aquesta proposta és doble, ja que proporciona informació sobre l'estat neuromuscular del pacient i en ser personalitzable, pot guiar la rehabilitació d'acord amb els patrons fisiològics propis de cada pacient. Això suposa un enorme avenç en aquesta àrea, donada la immensa heterogeneïtat de la patogènesi d'aquest trastorn. D'altra banda, s'ha caracteritzat el potencial terapèutic del feedback visual (VF) per induir canvis neuroplàstics. Aquesta és una eina molt interessant perquè a més de millorar el control motor, és assequible per gairebé qualsevol centre de rehabilitació. S'ha demostrat que el VF és capaç de modular l'estructura de control. Concretament, el VF sembla transferir els programes motors de l'hemisferi dominant al costat no dominant augmentant així el ILS dels subjectes sans. En pacients amb ictus, el VF és capaç d'augmentar el ILS cinemàtic afavorint patrons de control més fins. En conclusió, l'objectiu d'aquesta tesi és aprofundir en la comprensió dels processos de recuperació motora i la seva relació amb la neuroplasticitat. La tesi ofereix un nou i prometedor marc per desenvolupar i avaluar procediments efectius per guiar la restauració dels patrons neuromusculars originals i evitar que el cervell pateixi canvis neuroplàstics indesitjables. Així, la tesi proporciona avanços importants en el disseny d'un biomarcador per quantificar la incapacitat motora i avaluar el potencial del VF per modular el control neuromuscular de pacients amb ictus.Postprint (published version

    Medical imaging analysis with artificial neural networks

    Get PDF
    Given that neural networks have been widely reported in the research community of medical imaging, we provide a focused literature survey on recent neural network developments in computer-aided diagnosis, medical image segmentation and edge detection towards visual content analysis, and medical image registration for its pre-processing and post-processing, with the aims of increasing awareness of how neural networks can be applied to these areas and to provide a foundation for further research and practical development. Representative techniques and algorithms are explained in detail to provide inspiring examples illustrating: (i) how a known neural network with fixed structure and training procedure could be applied to resolve a medical imaging problem; (ii) how medical images could be analysed, processed, and characterised by neural networks; and (iii) how neural networks could be expanded further to resolve problems relevant to medical imaging. In the concluding section, a highlight of comparisons among many neural network applications is included to provide a global view on computational intelligence with neural networks in medical imaging

    Analysis of the Interlimb similarity of motor patterns for improving stroke assessment and neurorehabilitation

    Get PDF
    Stroke is the leading cause of adult disability, with upper limb hemiparesis being one of the most common consequences. Regaining voluntary arm movement is one of the major goals of rehabilitation. However, even with intensive rehabilitation, approximately 30% of patients remain permanently disabled and only 5 to 20% of them recover full independence. Hence, there is an increasing interest in incorporating the latest advances in neuroscience, medicine and engineering to improve the efficacy of conventional therapies. In the last years, a variety of promising targets have been identified to improve rehabilitation. However, there is no consensus on which measure should be applied as a gold standard to study functional recovery. This fact dramatically hinders the development of new interventions since it turns difficult to compare different clinical trials and draw consistent conclusions about therapeutic efficiency. In addition, available scales are subjective, qualitative and often lead to incongruent outcomes. Indeed, there is increasing suspicion that the lack of optimal assessment measures hampers the detection of benefits of new therapies. Moreover, existing scales totally ignore the neuromuscular state of the patient masking the ongoing recovery processes. In consequence, making appropriate clinical decisions in such environment is almost impossible. In light of all these facts, the need for new objective biomarkers to develop effective therapies is undeniable. To give response to these demands we have organized this thesis into two main branches. On the one hand, we have developed an innovative physiological scale that reveals the neuromuscular state of the patient and is able to discriminate between motor impairment levels. The innovation here resides in the concept of interlimb similarity (ILS). Based on the latest findings about the modular organization of the motor system and taking into account that stroke provokes unilateral motor damage, we propose comparing the control structure of the unaffected arm with the control structure of the paretic arm to quantify motor impairment. We have defined the control structure as the set of muscle synergies and activation coefficients needed to complete a task. The advantage of this approach is not only its capacity to provide neuromuscular information about the patient, but also that the ILS is personalized to each patient and can purposely guide rehabilitation based on the patient¿s own physiological patterns. This supposes a huge advance taking into account the heterogeneity of stroke pathogenesis. On other hand, we have characterized the therapeutic potential of Visual Feedback (VF) as a tool to purposely induce neuroplastic changes. We have chosen VF among the various interventions proven to improve motor performance, because VF is a cheap strategy that can be implemented in almost any rehabilitation center. We demonstrate that VF is able to modulate the human control structure. In healthy subjects, it seems that VF makes accessible the refined dominant motor programs for the nondominant hemisphere giving rise to an increased interlimb similarity of the control structure. Interestingly, in stroke patients VF is able to manipulate the ILS of upper-limb kinematics in favor of finer motor control but a single training session seems not to be enough to fix those changes in the neuromuscular system of a damaged brain. Overall, these findings offer a new promising framework to develop and assess an effective intervention to guide the restoration of the original neuromuscular patterns and avoid unwanted maladaptive neuroplasticity. In conclusion, this thesis seeks moving forward in the understanding of human motor recovery processes and their relationship with neuroplasticity. In this sense, it provides important advances in the design of a new biomarker of motor impairment and tests the power of VF to modulate the neuromuscular control of patients with stroke.L'ictus és la principal causa de discapacitat en adults, essent l'hemiparèsia del membre superior una de les conseqüències més comunes. Els programes de rehabilitació tenen com a objectiu fonamental restituir la mobilitat del braç afectat. No obstant això, es calcula que només entre el 5 i el 20% dels pacients aconsegueixen recuperar la seva independència mentre que el 30% queden incapacitats permanentment. En front d'aquest escenari es fa necessari incorporar els últims avenços de la neurociència, la medicina i l'enginyeria en aquesta àrea. En els darrers anys s'han identificat diversos aspectes clau per intentar millorar la rehabilitació. El problema, però, és que no hi ha consens per definir una mesura com a "gold estàndard" per avaluar la recuperació funcional, motiu pel qual, el desenvolupament de noves teràpies queda profundament afectat, ja que esdevé impossible poder comparar diferents assajos clínics i extreure conclusions consistents sobre la seva eficiència terapèutica. A més, les diverses mesures que s'utilitzen són subjectives, qualitatives i sovint donen resultats incongruents. De fet, se sospita que la manca de mesures d'avaluació òptimes dificulta la detecció dels beneficis de noves teràpies. A tot això se li ha d'afegir que les mesures actuals no consideren l'estat neuromuscular del pacient, emmascarant els processos reparadors subjacents. Així doncs, prendre les decisions clíniques adequades sota aquestes condicions esdevé pràcticament impossible. En aquestes circumstàncies, no es pot ignorar el requeriment de nous biomarcadors que proporcionin dades objectives per catalitzar el disseny de teràpies efectives. Per donar resposta a aquesta situació, la tesi s'ha estructurat en dues parts. Per una banda, s'ha desenvolupat una innovadora escala fisiològica que revela l'estat neuromuscular del pacient i és capaç de discriminar entre diferents nivells d'incapacitat motora. La innovació rau en el concepte de similitud entre membres (ILS, en anglès). Així, basant-nos en els darrers descobriments sobre l'organització modular del sistema motor, i en el fet que l'ictus provoca dany unilateral, proposem comparar l'estructura de control del braç no-afectat amb l'estructura de control del braç parètic per quantificar la incapacitat motora. L'estructura de control l'hem definida com el conjunt de sinergies musculars i coeficients d'activació que es necessiten per a dur a terme una tasca. L'avantatge d'aquesta proposta és doble, ja que proporciona informació sobre l'estat neuromuscular del pacient i en ser personalitzable, pot guiar la rehabilitació d'acord amb els patrons fisiològics propis de cada pacient. Això suposa un enorme avenç en aquesta àrea, donada la immensa heterogeneïtat de la patogènesi d'aquest trastorn. D'altra banda, s'ha caracteritzat el potencial terapèutic del feedback visual (VF) per induir canvis neuroplàstics. Aquesta és una eina molt interessant perquè a més de millorar el control motor, és assequible per gairebé qualsevol centre de rehabilitació. S'ha demostrat que el VF és capaç de modular l'estructura de control. Concretament, el VF sembla transferir els programes motors de l'hemisferi dominant al costat no dominant augmentant així el ILS dels subjectes sans. En pacients amb ictus, el VF és capaç d'augmentar el ILS cinemàtic afavorint patrons de control més fins. En conclusió, l'objectiu d'aquesta tesi és aprofundir en la comprensió dels processos de recuperació motora i la seva relació amb la neuroplasticitat. La tesi ofereix un nou i prometedor marc per desenvolupar i avaluar procediments efectius per guiar la restauració dels patrons neuromusculars originals i evitar que el cervell pateixi canvis neuroplàstics indesitjables. Així, la tesi proporciona avanços importants en el disseny d'un biomarcador per quantificar la incapacitat motora i avaluar el potencial del VF per modular el control neuromuscular de pacients amb ictus
    corecore