Development and evaluation of an emotion-sensitive assistance system for patients with bipolar disorder

In den letzten Jahren haben Internet- und mobilbasierte Interventionen für Bipolare Störungen mehr und mehr an Bedeutung gewonnen. Dabei ist insbesondere der Mobile Health-Ansatz ins Zentrum der Aufmerksamkeit geraten. Die entwickelten mobilbasierten Systeme nutzten bisher Selbstbeurteilungen von Patienten oder multiple Datenquellen, um den Stimmungsverlauf oder Stimmungsumschwünge abzubilden. Während Forschung und klinische Praxis sowohl die Bedeutung emotionaler Aspekte für den Störungsverlauf als auch die Relevanz von Fremdanamnesen für diagnostische Zwecke belegen, wurden beide Bereiche in mobilbasierten Systemen bislang nicht berücksichtigt. Das Forschungsziel für die vorliegende Dissertation war es daher, ein emotionssensitives Assistenzsystem für Bipolare Störungen zu entwickeln, das beides einbezieht: Das System sollte den verbalen und mimischen Emotionsausdruck von Patienten analysieren und zugleich ambulante Fremdbeurteilungen der Stimmung der Patienten durch nahestehende Personen ermöglichen. Die vorliegende Arbeit beschreibt den methodischen Ansatz und die Ergebnisse aus vier Abschnitten des Entwicklungsprozesses. Im ersten Schritt wurde mit einer Online-Umfrage und semi-strukturierten Interviews die Einstellung von Patienten zu technischen Assistenzsystemen und deren potentiellen Funktionen untersucht. Im zweiten Schritt wurden die theoretische und die technologische Basis des neuen Ansatzes erarbeitet und daraus das Systemkonzept abgeleitet. Im dritten Abschnitt wurde eine kleine Pilotstudie mit Patienten durchgeführt, in der ein erster Prototyp auf seine Akzeptanz und Machbarkeit hin untersucht wurde. Der letzte Schritt schließlich bestand aus drei Einzelfallstudien von Patienten, in denen der klinische Mehrwert des emotionssensitiven System-bestandteils (Fall 1 und 2) oder der Fremdbeurteilungen (Fall 3) untersucht wurde. Patienten zeigten positive Einstellungen in Bezug auf technische Assistenz oder innovative Funktionen wie Emotionserkennungsmodule (Schritt 1). Basierend auf diesen Erkenntnissen wurde das erste mobilbasierte Assistenzsystem für bipolare Störungen entwickelt, welches den Emotionsausdruck untersucht und Fremdbeurteilungen einbezieht (Schritt 2). Alle untersuchten Funktionen zeigten eine gute Akzeptanz. Selbstbeurteilungen zeigten zudem eine gute Machbarkeit, die Emotionserkennung war teilweise machbar, die Fremdbeurteilungen waren dies jedoch nicht. Mit Blick auf die technische Funktionalität erzeugte die verbale Emotionserkennung zuverlässigere Ergebnisse als die mimische Emotionserkennung (Schritt 3). Manische Symptome korrelierten mit Veränderungen verhaltens-bezogener Systemparameter. In einem Fall waren Stimmungsumschwünge mit Veränderungen des verbalen und mimischen Emotionsausdrucks assoziiert. Weiterhin gab es Hinweise auf einen diagnostischen und prognostischen Mehrwert der emotionssensitiven oder verhaltensbezogenen Parameter in Bezug auf Stimmungsveränderungen. Selbstbeurteilungen und Fremdbeurteilungen zeigten unabhängig der Machbarkeit eine hohe inhaltliche Übereinstimmung (Schritt 4). Bis auf die Online-Umfrage basieren alle Daten auf kleinen Stichproben oder Einzelfallstudien, was die Generalisierbarkeit der Ergebnisse einschränkt. Auch kann ein Selektionsbias durch eine hohe technische Affinität der Studienteilnehmer nicht ausgeschlossen werden. Zusätzlich erhöht der explorative Ansatz der Pilotstudie und der Fallstudien das Risiko der Alpha-Fehler-Kumulierung. Mehr Daten werden benötigt, um aussagekräftige Ergebnisse in Bezug auf die Machbarkeit und Validität der Systembestandteile zu erhalten. Dennoch deuten die Befunde auf eine gute Akzeptanz und moderate Machbarkeit des emotionssensitiven Ansatzes hin. Individuelle Unterschiede in der Wahrnehmung und Nutzung der Funktionen legen eine hohe Flexibilität technischer Systeme nahe, so dass einzelne Module ein- oder ausgeschaltet werden können. Die Ergebnisse deuten weiterhin auf einen klinischen Mehrwert der Emotionserkennung hin und belegen darüber hinaus die Individualität bipolarer Symptome und ihrer Auswirkungen. Zukünftige Forschung muss die Befunde bestätigen und den Fremdbeurteilungs-Ansatz evaluieren. Die Aufzeichnung des Emotionsausdrucks bipolarer Patienten könnte eine akzeptierte und machbare Ergänzung bisheriger Bestrebungen sein und zukünftig diagnostischen, prognostischen oder sogar therapeutischen Zwecken dienen.Over recent years, more and more attention has been paid to Internet- and Mobile-based Interventions for bipolar disorder. Especially the Mobile Health development has had a great impact on this field. Research projects have developed mobile-based systems that used self-assessment or multi-channel data to benefit mood monitoring or mood state recognition in bipolar disorder. Two potentially important factors, however, have not yet been considered within this context: Research and clinical practice indicate the importance of emotional aspects and third-party anamneses for the disease outcome or diagnostic purposes. Therefore, the objectives for this dissertation were the development and evaluation of an emotion-sensitive, technical assistance system for bipolar disorder that accounts for both: It was supposed to analyze the verbal and facial expressions of patients with respect to emotional cues. It was further supposed to allow for ambulatory third-party assessments of close contacts concerning the patients’ mood states. The current work describes the methodological approach and results of four different stages throughout the developmental process. As for the first stage, the attitudes of patients towards technical systems and potential features were examined during an online survey and semi-structured interviews. Within the second stage, the theoretical and the technological bases were worked out in order to develop the system concept. The third stage was a small pilot study with patients examining a prototype of the system in regard to its acceptability and feasibility. Finally, three cases of patients were selected and analyzed separately to establish the clinical value of either the emotion-sensitive module (Case 1 and 2) or the third-party assessments (Case 3). Patients with bipolar disorder showed positive attitudes towards technical assistance and innovative features such as emotion recognition modules (Stage 1). Based on these findings, the first mobile-based system for bipolar disorder has been developed that analyzes emotional expressions of patients and allows for optional third-party assessments (Stage 2). All examined features were well-accepted. The incorporated self-assessments were feasible with a small sample of patients, the emotion recognition was partly feasible, but the third-party assessments were not feasible. In regard to the technical functionality, the analysis of verbal expressions was more dependable than the recognition of facially expressed emotions (Stage 3). Manic symptoms correlated with behavioral changes within usage-related system parameters. With one patient, mood swings were associated with changes of verbally or facially expressed emotions. There were indications of a certain predictive value of expressed emotions or behavioral patterns with respect to occurring mood state changes. Furthermore, self-assessments and third-party assessments were highly correlated (Stage 4). Except for the online survey, the small samples or single case studies limit the generalizability of the results and a selection bias through a high technical affinity of participants cannot be excluded. Additionally, the exploratory approach of the pilot study and the case studies increases the risk of alpha inflation. More data is needed to generate substantial findings regarding the feasibility and validity of system features. However, the results indicate a good acceptability and a moderate feasibility of the emotion-sensitive module. Individual differences within the perception and usage of the features call for flexible systems, which allow to activate or deactivate modules. The results further support the individuality of bipolar symptoms and ramifications and they suggest a diagnostic and prognostic value of emotion recognition. More research is necessary to confirm these findings and to examine the third-party assessments. Yet, in the future, the long-term monitoring of emotional expressions in bipolar disorder may be an acceptable and feasible feature and might possibly be helpful to diagnostic, prognostic or even therapeutic purposes

Development of an Emotion-Sensitive mHealth Approach for Mood-State Recognition in Bipolar Disorder

Internet- and mobile-based approaches have become increasingly significant to psychological research in the field of bipolar disorders. While research suggests that emotional aspects of bipolar disorders are substantially related to the social and global functioning or the suicidality of patients, these aspects have so far not sufficiently been considered within the context of mobile-based disease management approaches. As a multiprofessional research team, we have developed a new and emotion-sensitive assistance system, which we have adapted to the needs of patients with bipolar disorder. Next to the analysis of self-assessments, third-party assessments, and sensor data, the new assistance system analyzes audio and video data of these patients regarding their emotional content or the presence of emotional cues. In this viewpoint, we describe the theoretical and technological basis of our emotion-sensitive approach and do not present empirical data or a proof of concept. To our knowledge, the new assistance system incorporates the first mobile-based approach to analyze emotional expressions of patients with bipolar disorder. As a next step, the validity and feasibility of our emotion-sensitive approach must be evaluated. In the future, it might benefit diagnostic, prognostic, or even therapeutic purposes and complement existing systems with the help of new and intuitive interaction models