Competitive active video games: Physiological and psychological responses in children and adolescents

[EN] CONCLUSION: Competitive active video games improved children's psychological responses (affect and rate of perceived exertion) compared with single play, providing a solution that may contribute toward improved adherence to physical activity.Lison, JF.; Cebolla, A.; Guixeres Provinciale, J.; Alvarez-Pitti, J.; Escobar, P.; Bruñó, A.; Lurbe, E.... (2015). Competitive active video games: Physiological and psychological responses in children and adolescents. Paediatrics & Child Health. 20(7):373-376. https://doi.org/10.1093/pch/20.7.373S373376207World Health OrganizationGlobal health risks: Mortality and burden of disease attributable to selected major risks2009 (Accessed May 10, 2015)Cummings, H. M., & Vandewater, E. A. (2007). Relation of Adolescent Video Game Play to Time Spent in Other Activities. Archives of Pediatrics & Adolescent Medicine, 161(7), 684. doi:10.1001/archpedi.161.7.684Chaput, J.-P., LeBlanc, A. G., Goldfield, G. S., & Tremblay, M. S. (2013). Are Active Video Games Useful in Increasing Physical Activity and Addressing Obesity in Children? JAMA Pediatrics, 167(7), 677. doi:10.1001/jamapediatrics.2013.2424Smallwood, S. R., Morris, M. M., Fallows, S. J., & Buckley, J. P. (2012). Physiologic Responses and Energy Expenditure of Kinect Active Video Game Play in Schoolchildren. Archives of Pediatrics & Adolescent Medicine, 166(11), 1005. doi:10.1001/archpediatrics.2012.1271Peng, W., & Crouse, J. (2013). Playing in Parallel: The Effects of Multiplayer Modes in Active Video Game on Motivation and Physical Exertion. Cyberpsychology, Behavior, and Social Networking, 16(6), 423-427. doi:10.1089/cyber.2012.0384Chin A Paw, M. J. M., Jacobs, W. M., Vaessen, E. P. G., Titze, S., & van Mechelen, W. (2008). The motivation of children to play an active video game. Journal of Science and Medicine in Sport, 11(2), 163-166. doi:10.1016/j.jsams.2007.06.001Williams, D. M., Dunsiger, S., Ciccolo, J. T., Lewis, B. A., Albrecht, A. E., & Marcus, B. H. (2008). Acute affective response to a moderate-intensity exercise stimulus predicts physical activity participation 6 and 12 months later. Psychology of Sport and Exercise, 9(3), 231-245. doi:10.1016/j.psychsport.2007.04.002Gavarry, O., Bernard, T., Giacomoni, M., Seymat, M., Euzet, J. P., & Falgairette, G. (1997). Continuous heart rate monitoring over 1 week in teenagers aged 11-16 years. European Journal of Applied Physiology and Occupational Physiology, 77(1-2), 125-132. doi:10.1007/s004210050310Svebak, S., & Murgatroyd, S. (1985). Metamotivational dominance: A multimethod validation of reversal theory constructs. Journal of Personality and Social Psychology, 48(1), 107-116. doi:10.1037/0022-3514.48.1.107Eston, R. G., Lambrick, D. M., & Rowlands, A. V. (2009). The perceptual response to exercise of progressively increasing intensity in children aged 7-8 years: Validation of a pictorial curvilinear ratings of perceived exertion scale. Psychophysiology, 46(4), 843-851. doi:10.1111/j.1469-8986.2009.00826.xRobbins, L. B., Pis, M. B., Pender, N. J., & Kazanis, A. S. (2004). Exercise Self-Efficacy, Enjoyment, and Feeling States Among Adolescents. Western Journal of Nursing Research, 26(7), 699-715. doi:10.1177/0193945904267300Haddock, B. L., Siegel, S. R., & Wikin, L. D. (2009). The Addition of a Video Game to Stationary Cycling: The Impact on Energy Expenditure in Overweight Children. The Open Sports Sciences Journal, 2(1), 42-46. doi:10.2174/1875399x00902010042Zabinski, M. F., Saelens, B. E., Stein, R. I., Hayden-Wade, H. A., & Wilfley, D. E. (2003). Overweight Children’s Barriers to and Support for Physical Activity. Obesity Research, 11(2), 238-246. doi:10.1038/oby.2003.37Sallis, J. F., Hovell, M. F., & Richard Hofstetter, C. (1992). Predictors of adoption and maintenance of vigorous physical activity in men and women. Preventive Medicine, 21(2), 237-251. doi:10.1016/0091-7435(92)90022-aTauer, J. M., & Harackiewicz, J. M. (2004). The Effects of Cooperation and Competition on Intrinsic Motivation and Performance. Journal of Personality and Social Psychology, 86(6), 849-861. doi:10.1037/0022-3514.86.6.84

Emotion Recognition in Immersive Virtual Reality: From Statistics to Affective Computing

[EN] Emotions play a critical role in our daily lives, so the understanding and recognition of emotional responses is crucial for human research. Affective computing research has mostly used non-immersive two-dimensional (2D) images or videos to elicit emotional states. However, immersive virtual reality, which allows researchers to simulate environments in controlled laboratory conditions with high levels of sense of presence and interactivity, is becoming more popular in emotion research. Moreover, its synergy with implicit measurements and machine-learning techniques has the potential to impact transversely in many research areas, opening new opportunities for the scientific community. This paper presents a systematic review of the emotion recognition research undertaken with physiological and behavioural measures using head-mounted displays as elicitation devices. The results highlight the evolution of the field, give a clear perspective using aggregated analysis, reveal the current open issues and provide guidelines for future research.This research was funded by European Commission, grant number H2020-825585 HELIOS.Marín-Morales, J.; Llinares Millán, MDC.; Guixeres Provinciale, J.; Alcañiz Raya, ML. (2020). Emotion Recognition in Immersive Virtual Reality: From Statistics to Affective Computing. Sensors. 20(18):1-26. https://doi.org/10.3390/s20185163S126201

Rzeczywistość wirtualna, lekcje z tablicą interaktywną czy edukacja tradycyjna? Analiza stopnia akceptacji poszczególnych form działania przez uczniów z poziomu edukacji wczesnoszkolnej

The article serves as a summary of one of the parts of the research carried out as part of the research grant: Initiative of Excellence – Débuts (“Initiative of Excellence – Research University” program) in the years 2020–2021. The presented analyses concern the comparison of the degree of acceptance of traditional and interactive classes taught with the use of a multimedia board and tablets with interactive classes carried out with the use of VR goggles with motion controllers. The issue of acceptance of classes taught with the use of various techniques and didactic tools is extremely important. A student-friendly environment and working methods influence students’ interest and their willingness to be active during lessons. The above-mentioned research was carried out in a group of 570 students in the 2nd and 3rd grade of primary schools from the Kuyavian-Pomeranian Voivodeship. The analyses presented to the readers are mainly based on the quantitative data obtained on the basis of observations and surveys. The research material is supplemented with qualitative data obtained through interviews. During the statistical verification, the following tests were used: analysis of variance (ANOVA) with Welch’s correction, post-hoc analysis with Games Howell’s pair wise comparison test, and V-Cramer’s correlation. The calculations have shown that there is a statistically significant difference in the level of acceptance of the analysed types of classes.Artykuł jest podsumowaniem jednej z części badań zrealizowanych w ramach grantu badawczego Inicjatywa Doskonałości – Debiuty (program „Inicjatywa Doskonałości – Uczelnia Badawcza”) w latach 2020–2021. Zaprezentowane analizy dotyczą porównania stopnia akceptacji zajęć tradycyjnych oraz interaktywnych realizowanych z użyciem tablicy multimedialnej i tabletów z zajęciami interaktywnymi realizowanymi z użyciem gogli VR z kontrolerami ruchu. W ramach badań przyjrzano się również temu, czy poziom akceptacji zajęć ma związek z interaktywno-immersyjnym charakterem zasobów edukacyjnych. Problematyka akceptacji zajęć realizowanych przy udziale różnych technik oraz narzędzi dydaktycznych jest niezmiernie ważna. Przyjazne uczniom środowisko oraz metody pracy w sposób bezpośredni przekładają się bowiem na zainteresowanie uczniów oraz ich chęć do aktywnego działania podczas lekcji. Przywołane badania przeprowadzone zostały w grupie 570 uczniów klas II i III szkół podstawowych z województwa kujawsko-pomorskiego. Przedłożone czytelnikom analizy w głównej mierze opierają się na danych ilościowych pozyskanych na podstawie obserwacji, jak również ankiet. Materiał badawczy uzupełniony został o dane jakościowe otrzymane dzięki przeprowadzonym wywiadom. Podczas weryfikacji statystycznej zastosowano testy: analizę wariancji (ANOVA) z poprawką Welcha oraz analizę post hoc testem porównania parami Gamesa-Howella, korelację V-Cramera. Dokonane obliczenia wykazały, że istnieje statystycznie istotna równica w poziomie akceptacji analizowanych typów zajęć

Rzeczywistość wirtualna, lekcje z tablicą interaktywną, czy edukacja tradycyjna? Analiza stopnia akceptacji poszczególnych form działania przez uczniów z poziomu edukacji wczesnoszkolnej

The article serves as a summary of one of the parts of the research carried out as part of the research grant: Initiative of Excellence - Débuts ("Initiative of Excellence - Research University" program) in the years 2020-2021. The presented analyses concern the comparison of the degree of acceptance of traditional and interactive classes taught with the use of a multimedia board and tablets with interactive classes carried out with the use of VR goggles with motion controllers. The issue of acceptance of classes taught with the use of various techniques and didactic tools is extremely important. A student-friendly environment and working methods influence students' interest and their willingness to be active during lessons. The above-mentioned research was carried out in a group of 570 students in the 2nd and 3rd grade of primary schools from the Kuyavian-Pomeranian Voivodeship. The analyses presented to the readers are mainly based on the quantitative data obtained on the basis of observations and surveys. The research material is supplemented with qualitative data obtained through interviews. During the statistical verification, the following tests were used: analysis of variance (ANOVA) with Welch's correction, post-hoc analysis with Games Howell's pair wise comparison test, and V-Cramer’s correlation. The calculations have shown that there is a statistically significant difference in the level of acceptance of the analysed types of classes.Artykuł jest podsumowaniem jednej z części badań zrealizowanych w ramach grantu badawczego Inicjatywa Doskonałości – Debiuty (program „Inicjatywa Doskonałości – Uczelnia Badawcza”) w latach 2020–2021. Zaprezentowane analizy dotyczą porównania stopnia akceptacji zajęć tradycyjnych oraz interaktywnych realizowanych z użyciem tablicy multimedialnej i tabletów z zajęciami interaktywnymi realizowanymi z użyciem gogli VR z kontrolerami ruchu. W ramach badań przyjrzano się również temu, czy poziom akceptacji zajęć ma związek z interaktywno-immersyjnym charakterem zasobów edukacyjnych. Problematyka akceptacji zajęć realizowanych przy udziale różnych technik oraz narzędzi dydaktycznych jest niezmiernie ważna. Przyjazne uczniom środowisko oraz metody pracy w sposób bezpośredni przekładają się bowiem na zainteresowanie uczniów oraz ich chęć do aktywnego działania podczas lekcji. Przywołane badania przeprowadzone zostały w grupie 570 uczniów klas II i III szkół podstawowych z województwa kujawsko-pomorskiego. Przedłożone czytelnikom analizy w głównej mierze opierają się na danych ilościowych pozyskanych na podstawie obserwacji, jak również ankiet. Materiał badawczy uzupełniony został o dane jakościowe otrzymane dzięki przeprowadzonym wywiadom. Podczas weryfikacji statystycznej zastosowano testy: analizę wariancji (ANOVA) z poprawką Welcha oraz analizę post hoc testem porównania parami Gamesa-Howella, korelację V-Cramera. Dokonane obliczenia wykazały, że istnieje statystycznie istotna równica w poziomie akceptacji analizowanych typów zajęć

Extended Reality for the Clinical, Affective, and Social Neurosciences

Article highlighting the promise of extended reality platforms for greater ecological validity in the clinical, affective, and social neurosciences. This article belongs to the Special Issue: A Decade of Brain Sciences

Lasten kokemukset VR-teknologiasta ja sen vaikutuksista

Tiivistelmä. Virtuaalitodellisuus (VR) ja virtuaalitodellisuuspelit kasvattavat suosiotaan kovaa vauhtia erityisesti nuorten ja lasten keskuudessa. VR-pelien suosion kasvun myötä myös niiden vaikutuksia on alettu pohtimaan enemmän ja erityisesti VR-pelien mahdolliset negatiiviset vaikutukset herättävät huolta. Erityistä huolta ovat herättäneet aikuisilla todetut yleiset negatiiviset vaikutukset, kuten huonovointisuus, huimaus ja epätasapaino. Toisaalta taas on myös pohdittu VR-pelien mahdollisia positiivisia vaikutuksia sekä mahdollisia tapoja hyödyntää VR-laitteita. Tämän tutkimuksen tavoitteena oli selvittää, millaisia vaikutuksia VR-teknologialla ja VR-pelien pelaamisella on lapsiin. Tutkimuksen aineistonkeruumenetelmänä käytettiin puolistrukturoitua ryhmähaastattelua. Haastattelun lisäksi kaikki osallistujat saivat kokeilla VR-laitteita viiden minuutin ajan ennen haastattelua. Tutkimukseen osallistui kahdeksan 13–14-vuotiasta oppilasta, joista kolmella ei ollut minkäänlaista aiempaa kokemusta VR-peleistä. Tutkimuksen tulokset toivat esiin niin positiivisia kuin negatiivisia vaikutuksia. Negatiivisista vaikutuksista yleisin on tutkimuksen mukaan huonovointisuus ja noin puolet tutkimuksen osallistujista kertoikin kokeneensa huonoa oloa VR-pelejä pelatessa. Muita mahdollisia negatiivisia vaikutuksia ovat päänsärky, epämukavuus ja silmien väsymys. Tutkimuksessa tehdyn kirjallisuuskatsauksen mukaan lapsilla huonovointisuutta ja muita aiemmin todettuja negatiivisia vaikutuksia vaikuttaisi kuitenkin olevan vähemmän kuin aikuisilla. VR-pelien positiivisista vaikutuksista selkeimmin esiin nousi VR-pelien vaikutus liikkumisen lisääntymiseen. Muita positiivisia vaikutuksia ovat muun muassa oppimisen ja ongelmanratkaisukyvyn kehittyminen, rentoutuminen, sekä sosiaalistuminen, erityisesti jos pelejä pelaa kavereiden kanssa. Lisäksi VR-pelit voivat motivoida opiskelemaan. Tutkimuksessa pohdittiin myös mahdollisia tapoja hyödyntää VR-laitteita. Haastateltavien mukaan VR-laitteita voitaisiin hyödyntää esimerkiksi erilaisten paikkojen tai tapahtumien havainnollistamiseen. Tämän uskottiin olevan hyödyksi erityisesti opetuksessa. Tutkimuksen myötä saimme siis jonkinlaisen käsityksen VR-teknologian ja VR-pelien pelaamisen vaikutuksista lapsiin. VR-pelien pelaamisella on joitain negatiivisia vaikutuksia, joista yleisin on huonovointisuus pelatessa, mutta VR-teknologia ja VR-pelit tuovat mukanaan myös paljon positiivisia vaikutuksia, joista selkeimmin esiin nousi liikkumisen lisääntyminen. Aihetta voi kuitenkin aina tutkia lisää. Voisi esimerkiksi olla mielenkiintoista selvittää, olisivatko VR-pelien vaikutukset erilaisia, jos tutkimus suoritettaisiin alle 13-vuotiaiden lasten kanssa

Modelling human emotions using immersive virtual reality, physiological signals and behavioural responses

Tesis por compendio[ES] El uso de la realidad virtual (RV) se ha incrementado notablemente en la comunidad científica para la investigación del comportamiento humano. En particular, la RV inmersiva ha crecido debido a la democratización de las gafas de realidad virtual o head mounted displays (HMD), que ofrecen un alto rendimiento con una inversión económica. Uno de los campos que ha emergido con fuerza en la última década es el Affective Computing, que combina psicofisiología, informática, ingeniería biomédica e inteligencia artificial, desarrollando sistemas que puedan reconocer emociones automáticamente. Su progreso es especialmente importante en el campo de la investigación del comportamiento humano, debido al papel fundamental que las emociones juegan en muchos procesos psicológicos como la percepción, la toma de decisiones, la creatividad, la memoria y la interacción social. Muchos estudios se han centrado en intentar obtener una metodología fiable para evocar y automáticamente identificar estados emocionales, usando medidas fisiológicas objetivas y métodos de aprendizaje automático. Sin embargo, la mayoría de los estudios previos utilizan imágenes, audios o vídeos para generar los estados emocionales y, hasta donde llega nuestro conocimiento, ninguno de ellos ha desarrollado un sistema de reconocimiento emocional usando RV inmersiva. Aunque algunos trabajos anteriores sí analizan las respuestas fisiológicas en RV inmersivas, estos no presentan modelos de aprendizaje automático para procesamiento y clasificación automática de bioseñales. Además, un concepto crucial cuando se usa la RV en investigación del comportamiento humano es la validez: la capacidad de evocar respuestas similares en un entorno virtual a las evocadas por el espacio físico. Aunque algunos estudios previos han usado dimensiones psicológicas y cognitivas para comparar respuestas entre entornos reales y virtuales, las investigaciones que analizan respuestas fisiológicas o comportamentales están mucho menos extendidas. Según nuestros conocimientos, este es el primer trabajo que compara entornos físicos con su réplica en RV, empleando respuestas fisiológicas y algoritmos de aprendizaje automático y analizando la capacidad de la RV de transferir y extrapolar las conclusiones obtenidas al entorno real que se está simulando. El objetivo principal de la tesis es validar el uso de la RV inmersiva como una herramienta de estimulación emocional usando respuestas psicofisiológicas y comportamentales en combinación con algoritmos de aprendizaje automático, así como realizar una comparación directa entre un entorno real y virtual. Para ello, se ha desarrollado un protocolo experimental que incluye entornos emocionales 360º, un museo real y una virtualización 3D altamente realista del mismo museo. La tesis presenta novedosas contribuciones del uso de la RV inmersiva en la investigación del comportamiento humano, en particular en lo relativo al estudio de las emociones. Esta ayudará a aplicar metodologías a estímulos más realistas para evaluar entornos y situaciones de la vida diaria, superando las actuales limitaciones de la estimulación emocional que clásicamente ha incluido imágenes, audios o vídeos. Además, en ella se analiza la validez de la RV realizando una comparación directa usando una simulación altamente realista. Creemos que la RV inmersiva va a revolucionar los métodos de estimulación emocional en entornos de laboratorio. Además, su sinergia junto a las medidas fisiológicas y las técnicas de aprendizaje automático, impactarán transversalmente en muchas áreas de investigación como la arquitectura, la salud, la evaluación psicológica, el entrenamiento, la educación, la conducción o el marketing, abriendo un nuevo horizonte de oportunidades para la comunidad científica. La presente tesis espera contribuir a caminar en esa senda.[EN] In recent years the scientific community has significantly increased its use of virtual reality (VR) technologies in human behaviour research. In particular, the use of immersive VR has grown due to the introduction of affordable, high performance head mounted displays (HMDs). Among the fields that has strongly emerged in the last decade is affective computing, which combines psychophysiology, computer science, biomedical engineering and artificial intelligence in the development of systems that can automatically recognize emotions. The progress of affective computing is especially important in human behaviour research due to the central role that emotions play in many background processes, such as perception, decision-making, creativity, memory and social interaction. Several studies have tried to develop a reliable methodology to evoke and automatically identify emotional states using objective physiological measures and machine learning methods. However, the majority of previous studies used images, audio or video to elicit emotional statements; to the best of our knowledge, no previous research has developed an emotion recognition system using immersive VR. Although some previous studies analysed physiological responses in immersive VR, they did not use machine learning techniques for biosignal processing and classification. Moreover, a crucial concept when using VR for human behaviour research is validity: the capacity to evoke a response from the user in a simulated environment similar to the response that might be evoked in a physical environment. Although some previous studies have used psychological and cognitive dimensions to compare responses in real and virtual environments, few have extended this research to analyse physiological or behavioural responses. Moreover, to our knowledge, this is the first study to compare VR scenarios with their real-world equivalents using physiological measures coupled with machine learning algorithms, and to analyse the ability of VR to transfer and extrapolate insights obtained from VR environments to real environments. The main objective of this thesis is, using psycho-physiological and behavioural responses in combination with machine learning methods, and by performing a direct comparison between a real and virtual environment, to validate immersive VR as an emotion elicitation tool. To do so we develop an experimental protocol involving emotional 360º environments, an art exhibition in a real museum, and a highly-realistic 3D virtualization of the same art exhibition. This thesis provides novel contributions to the use of immersive VR in human behaviour research, particularly in relation to emotions. VR can help in the application of methodologies designed to present more realistic stimuli in the assessment of daily-life environments and situations, thus overcoming the current limitations of affective elicitation, which classically uses images, audio and video. Moreover, it analyses the validity of VR by performing a direct comparison using highly-realistic simulation. We believe that immersive VR will revolutionize laboratory-based emotion elicitation methods. Moreover, its synergy with physiological measurement and machine learning techniques will impact transversely in many other research areas, such as architecture, health, assessment, training, education, driving and marketing, and thus open new opportunities for the scientific community. The present dissertation aims to contribute to this progress.[CA] L'ús de la realitat virtual (RV) s'ha incrementat notablement en la comunitat científica per a la recerca del comportament humà. En particular, la RV immersiva ha crescut a causa de la democratització de les ulleres de realitat virtual o head mounted displays (HMD), que ofereixen un alt rendiment amb una reduïda inversió econòmica. Un dels camps que ha emergit amb força en l'última dècada és el Affective Computing, que combina psicofisiologia, informàtica, enginyeria biomèdica i intel·ligència artificial, desenvolupant sistemes que puguen reconéixer emocions automàticament. El seu progrés és especialment important en el camp de la recerca del comportament humà, a causa del paper fonamental que les emocions juguen en molts processos psicològics com la percepció, la presa de decisions, la creativitat, la memòria i la interacció social. Molts estudis s'han centrat en intentar obtenir una metodologia fiable per a evocar i automàticament identificar estats emocionals, utilitzant mesures fisiològiques objectives i mètodes d'aprenentatge automàtic. No obstant això, la major part dels estudis previs utilitzen imatges, àudios o vídeos per a generar els estats emocionals i, fins on arriba el nostre coneixement, cap d'ells ha desenvolupat un sistema de reconeixement emocional mitjançant l'ús de la RV immersiva. Encara que alguns treballs anteriors sí que analitzen les respostes fisiològiques en RV immersives, aquests no presenten models d'aprenentatge automàtic per a processament i classificació automàtica de biosenyals. A més, un concepte crucial quan s'utilitza la RV en la recerca del comportament humà és la validesa: la capacitat d'evocar respostes similars en un entorn virtual a les evocades per l'espai físic. Encara que alguns estudis previs han utilitzat dimensions psicològiques i cognitives per a comparar respostes entre entorns reals i virtuals, les recerques que analitzen respostes fisiològiques o comportamentals estan molt menys esteses. Segons els nostres coneixements, aquest és el primer treball que compara entorns físics amb la seua rèplica en RV, emprant respostes fisiològiques i algorismes d'aprenentatge automàtic i analitzant la capacitat de la RV de transferir i extrapolar les conclusions obtingudes a l'entorn real que s'està simulant. L'objectiu principal de la tesi és validar l'ús de la RV immersiva com una eina d'estimulació emocional usant respostes psicofisiològiques i comportamentals en combinació amb algorismes d'aprenentatge automàtic, així com realitzar una comparació directa entre un entorn real i virtual. Per a això, s'ha desenvolupat un protocol experimental que inclou entorns emocionals 360º, un museu real i una virtualització 3D altament realista del mateix museu. La tesi presenta noves contribucions de l'ús de la RV immersiva en la recerca del comportament humà, en particular quant a l'estudi de les emocions. Aquesta ajudarà a aplicar metodologies a estímuls més realistes per a avaluar entorns i situacions de la vida diària, superant les actuals limitacions de l'estimulació emocional que clàssicament ha inclòs imatges, àudios o vídeos. A més, en ella s'analitza la validesa de la RV realitzant una comparació directa usant una simulació altament realista. Creiem que la RV immersiva revolucionarà els mètodes d'estimulació emocional en entorns de laboratori. A més, la seua sinergia al costat de les mesures fisiològiques i les tècniques d'aprenentatge automàtic, impactaran transversalment en moltes àrees de recerca com l'arquitectura, la salut, l'avaluació psicològica, l'entrenament, l'educació, la conducció o el màrqueting, obrint un nou horitzó d'oportunitats per a la comunitat científica. La present tesi espera contribuir a caminar en aquesta senda.Marín Morales, J. (2020). Modelling human emotions using immersive virtual reality, physiological signals and behavioural responses [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/148717TESISCompendi

Emotion and Stress Recognition Related Sensors and Machine Learning Technologies

This book includes impactful chapters which present scientific concepts, frameworks, architectures and ideas on sensing technologies and machine learning techniques. These are relevant in tackling the following challenges: (i) the field readiness and use of intrusive sensor systems and devices for capturing biosignals, including EEG sensor systems, ECG sensor systems and electrodermal activity sensor systems; (ii) the quality assessment and management of sensor data; (iii) data preprocessing, noise filtering and calibration concepts for biosignals; (iv) the field readiness and use of nonintrusive sensor technologies, including visual sensors, acoustic sensors, vibration sensors and piezoelectric sensors; (v) emotion recognition using mobile phones and smartwatches; (vi) body area sensor networks for emotion and stress studies; (vii) the use of experimental datasets in emotion recognition, including dataset generation principles and concepts, quality insurance and emotion elicitation material and concepts; (viii) machine learning techniques for robust emotion recognition, including graphical models, neural network methods, deep learning methods, statistical learning and multivariate empirical mode decomposition; (ix) subject-independent emotion and stress recognition concepts and systems, including facial expression-based systems, speech-based systems, EEG-based systems, ECG-based systems, electrodermal activity-based systems, multimodal recognition systems and sensor fusion concepts and (x) emotion and stress estimation and forecasting from a nonlinear dynamical system perspective

Progettazione, realizzazione e testing di un ambiente di realtà virtuale immersiva per l’apprendimento

This thesis presents the results of the research activities carried out during the PhD course in Philosophy, Epistemology and History of Culture at the University of Cagliari. The doctorate is part of the "Innovative Doctorates with industrial characterization" (PON-RI - XXXIII cycle), aimed at the promotion and strengthening of higher education in line with the needs of the national production system and with the National Strategy of Intelligent Specialization 2014-2020 approved by the European Commission. The research project mainly concerned the study of perception-action cycles in immersive virtual reality (VR) environments in order to understand how to better design virtual environments for learning and teaching, testing the collaboration between psychology, education and computer science. During the doctoral period, through the close collaboration between the research group of the Department of Pedagogy, Psychology and Philosophy of the University of Cagliari, the Lawrence Technological University of Detroit and the Software House "Infora", it was possible to design and develop a laboratory for immersive virtual reality called VirtuaLab (VLab), with the aim of analysing the impact on procedural learning of different combinations of structural and functional characteristics and implementable scenarios. The thesis is structured in three parts. The first part examines the theoretical aspects related to the use of virtual reality in areas ranging from learning to health professions, including entertainment and industrial training: the first chapter is dedicated to the definition of the concept of virtual reality and a detailed description of the different types of virtual reality available to the broad public. The following chapter contains a reasoned bibliographic review of the studies that have examined the different applications and objectives that virtual reality has encountered over time, regarding virtual environments dedicated to learning and professional training. The second part introduces the VirtuaLab software (VLab) which was developed for the thesis work and its main characteristics. The third part of the thesis presents two experiments carried out with the designed software: starting with the presentation of the first experiment carried out with a first version of the VLab software, Virtual Kitchen 1.0, focused on the analysis of the effects of different approaches in the presentation and execution of a procedure (implicit feedback VS explicit feedback), in order to evaluate its effectiveness in relation to procedural learning in immersive virtual reality environments. In the next chapter the main changes to which the VLab environment has been subjected are exposed thanks to the analysis carried out on the user experience of the subjects participating in the experiment with VK 1.0, and subsequently a second experiment is presented realized with the modified VLab software (Virtual Kitchen 2.0 or VK 2.0), aimed to verify the effects on performance and learning of two different tutorial modes (textual VS visual), to test the effect on the procedural learning in immersive VR environments. At the end of the thesis work, the results of the experiments are presented and possible future developments of the VirtuaLab software are discussed

Effects of Virtual Reality during Exercise in Children

Virtual Reality (VR) could be an interesting tool to combat obesity and sedentariness in children. During the last years a multidisciplinary research team comprised of engineers, psychologists, physiotherapists and paediatricians have been testing these technologies. Throughout the tests, physiological (cardiovascular and metabolic response with biomedical sensors (smart fabrics TIAS) and psychological responses have been collected. The results presented in this paper reflect two main aspects: 1) the feasibility of the monitoring techniques employed and 2) the validity of virtual reality and exergaming technologies as promoters of physical activity and their potential as tools in clinical intervention programs. In the first study (n=90) children, a commercial platform was tested as support tool to aerobic exercise in a treadmill. Results showed a more physiological effort by obese group and limitations to measure effort perception with Borg scale especially in obese group. In second study (n=126) a new VR platform was developed (VREP) and tested as support of aerobic activities, a difference of first study, all the boys completed both conditions (same Aerobic exercise with/without support VR). 59.5% felt that they had to exert more effort in the traditional condition. Regarding to acceptability in both studies the vast majority of the participants liked the idea of combining physical activity with the VR platform as a form of treatment to increase physical activity. The capacity of VR technology to create controllable, multisensory, interactive 3D stimulus environments within which children's performance can be motivated, recorded, and measured, has been tested in these studies, offering clinical assessment and intervention options which are not possible using traditional methods