Cinematographic continuity edits across shot scales and camera angles:An ERP analysis

Film editing has attracted great theoretical and practical interest since the beginnings of cinematography. In recent times, the neural correlates of visual transitions at edit cuts have been at the focus of attention in neurocinematics. Many Event Related Potential (ERP) studies studies have reported the consequences of cuts involving narrative discontinuities, and violations of standard montage rules. However, less is known about edits that are meant to induce continuity. Here, we addressed the neural correlates of continuity editing involving scale, and angle variations across the cut within the same scene, two of the most popular devices used for continuity editing. We recorded the electroencephalographic signal obtained from 20 viewers as they watched four different cinematographic excerpts to extract ERPs at edit points. First, we were able to reproduce the general time and scalp distribution of the typical ERPs to filmic cuts in prior studies. Second, we found significant ERP modulations triggered by scale changes (scale out, scale in, or maintaining the same scale). Edits involving an increase in scale (scale out) led to amplification of the ERP deflection, and scale reduction (scale in) led to decreases, compared to edits that kept scale across the cut. These modulations coincide with the time window of the N300 and N400 components and, according to previous findings, their amplitude has been associated with the likelihood of consciously detecting the edit. Third, we did not detect similar modulations as a function of angle variations across the cut. Based on these findings, we suggest that cuts involving reduction of scale are more likely to go unnoticed, than ones that scale out. This relationship between scale in/out and visibility is documented in film edition manuals. Specifically, in order to achieve fluidity in a scene, the edition is designed from the most opened shots to the most closed ones

Perception of cuts in different editing styles

The goal of this work is to explain how the cuts and their insertion in different editing styles influence the attention of viewers. The starting hypothesis is that viewers' response to cuts varies depending on whether they watch a movie with a classical versus a messy or chaotic editing style. To undertake this investigation, we created three videos with the same narrative content and duration but different editing styles. One video was a fixed one-shot movie. Another video followed a classical editing style, based on the rules of classic Hollywood movies, according to David Bordwell's studies. The other video used a chaotic style, beyond post-classic, which broke the classical rules of continuity and was inspired by music video clips. We showed these stimuli to 40 subjects while recording their brain activity using the electroencephalography (EEG) technique. The results showed that cuts reduce the eyeblink frequency during the second after they are seen. Since blinking is a well-known attention marker, we propose that cuts increase viewers' attention. Cuts initiate a flow of electrical activity from the visual cortex to the cognitive processing zone in the prefrontal area. We also found that the different editing styles in which cuts are inserted affected perception, confirming the initial hypothesis. These results could be of great interest and utility for creators of audiovisual content and the management of attention in their work.Se explica cómo influyen en la atención de los espectadores los cortes de plano y su inserción en distintos estilos de edición. La hipótesis de inicio es que la respuesta de los espectadores a los cortes de plano variará dependiendo de si estos están en un estilo de montaje clásico o en un estilo desordenado y caótico, tipo video clip. Para abordar la investigación, creamos tres videos con el mismo contenido narrativo, la misma duración, pero distintos estilos de montaje. Un video es un plano secuencia fijo. Otro video sigue un estilo clásico de edición, conforme a las reglas del montaje de las películas clásicas de Hollywood, de acuerdo con los estudios de David Bordwell. El otro video muestra un estilo caótico, más allá del post-clásico, que rompe esas reglas de continuidad y que está inspirado en los rápidos videoclips musicales. Mostramos estos estímulos a 40 sujetos mientras registramos su actividad cerebral utilizando la técnica de la electroencefalografía (EEG). Los resultados presentan que los cortes de plano reducen la frecuencia de parpadeo de los espectadores durante el segundo posterior a ser vistos. Dado que el parpadeo es un conocido marcador de atención, proponemos que los cortes de plano aumentan la atención de los espectadores. Los cortes de plano inician un flujo de actividad eléctrica desde el córtex visual hasta la zona de procesamiento cognitivo en el área prefrontal. También encontramos que los distintos estilos de montaje en los que los cortes se inserten afectan la percepción de los mismos, confirmando la hipótesis inicial. Estos resultados pueden ser de gran interés y utilidad para los creadores de contenidos audiovisuales y la gestión de la atención en sus productos

Fusion of virtual reality and brain-machine interfaces for the assessment and rehabilitation of patients with spinal cord injury

La presente tesis está centrada en la utilización de nuevas tecnologías (Interfaces Cerebro-Máquina y Realidad Virtual). En la primera parte de la tesis se describe la definición y la aplicación de un conjunto de métricas para evaluar el estado funcional de los pacientes con lesión medular en el contexto de un sistema de realidad virtual para la rehabilitación de los miembros superiores. El objetivo de este primer estudio es demostrar que la realidad virtual puede utilizarse, en combinación con sensores inerciales para rehabilitar y evaluar simultáneamente. 15 pacientes con lesión medular llevaron a cabo 3 sesiones con el sistema de realidad virtual Toyra y se aplicó el conjunto definido de métricas a las grabaciones obtenidas con los sensores inerciales. Se encontraron correlaciones entre algunas de las métricas definidas y algunas de las escalas clínicas utilizadas con frecuencia en el contexto de la rehabilitación. En la segunda parte de la tesis se ha combinado una retroalimentación virtual con un estimulador eléctrico funcional (en adelante FES, por sus siglas en inglés Functional Electrical Stimulator), ambos controlados por un Interfaz Cerebro-Máquina (BMI por sus siglas en inglés Brain-Machine Interface), para desarrollar un nuevo tipo de enfoque terapéutico para los pacientes. El sistema ha sido utilizado por 4 pacientes con lesión medular que intentaron mover sus manos. Esta intención desencadenó simultáneamente el FES y la retroalimentación virtual, cerrando la mano de los pacientes y mostrándoles una fuente adicional de retroalimentación para complementar la terapia. Este trabajo es, de acuerdo al estado del arte revisado, el primero que integra BMI, FES y realidad virtual como terapia para pacientes con lesión medular. Se han obtenido resultados clínicos prometedores por 4 pacientes con lesión medular después de realizar 5 sesiones de terapia con el sistema, mostrando buenos niveles de precisión en las diferentes sesiones (79,13% en promedio). En la tercera parte de la tesis se ha definido una nueva métrica para estudiar los cambios de conectividad cerebral en los pacientes con lesión medular, que incluye información de las interacciones neuronales entre diferentes áreas. El objetivo de este estudio ha sido extraer información clínicamente relevante de la actividad del EEG cuando se realizan terapias basadas en BMI