“Cuts in Action”: A High-Density EEG Study Investigating the Neural Correlates of Different Editing Techniques in Film

In spite of their striking differences with real-life perception, films are perceived and understood without effort. Cognitive film theory attributes this to the system of continuity editing, a system of editing guidelines outlining the effect of different cuts and edits on spectators. A major principle in this framework is the 180° rule, a rule recommendation that, to avoid spectators’ attention to the editing, two edited shots of the same event or action should not be filmed from angles differing in a way that expectations of spatial continuity are strongly violated. In the present study, we used high-density EEG to explore the neural underpinnings of this rule. In particular, our analysis shows that cuts and edits in general elicit early ERP component indicating the registration of syntactic violations as known from language, music, and action processing. However, continuity edits and cuts-across the line differ from each other regarding later components likely to be indicating the differences in spatial remapping as well as in the degree of conscious awareness of one’s own perception. Interestingly, a time–frequency analysis of the occipital alpha rhythm did not support the hypothesis that such differences in processing routes are mainly linked to visual attention. On the contrary, our study found specific modulations of the central mu rhythm ERD as an indicator of sensorimotor activity, suggesting that sensorimotor networks might play an important role. We think that these findings shed new light on current discussions about the role of attention and embodied perception in film perception and should be considered when explaining spectators’ different experience of different kinds of cuts

Metodología para el estudio neurocinemático del cambio de plano por corte a través del electroencefalograma

The objective of this paper is to present a methodological approach to develop aneurocinematic study of flm transitions through cuts to the next shot. Specifically, thestudy was carried out by analyzing the event-related desynchronization/synchronizationof the electroencephalogram recorded on spectators. It starts by describing theimplications of applying neurocinematic methodologies to film analysis, and finalizeswith the peculiarities that our research implies. In our case we work from filmfragments extracted from existing feature films, we carry out a recording of neuralactivity with 31 electrodes and apply a statistical analysis based on the permutationstest, the Spearman correlation test and the analysis of slopes on the transformedregistered signal to the frequency domain

The effect of media professionalization on cognitive neurodynamics during audiovisual cuts

Experts apply their experience to the proper development of their routine activities. Their acquired expertise or professionalization is expected to help in the development of those recurring tasks. Media professionals spend their daily work watching narrative contents on screens, so learning how they manage visual perception of those contents could be of interest in an increasingly audiovisual society. Media works require not only the understanding of the storytelling, but also the decoding of the formal rules and presentations. We recorded electroencephalographic (EEG) signals from 36 participants (18 media professionals and 18 non-media professionals) while they were watching audiovisual contents, and compared their eyeblink rate and their brain activity and connectivity. We found that media professionals decreased their blink rate after the cuts, suggesting that they can better manage the loss of visual information that blinks entail by sparing them when new visual information is being presented. Cuts triggered similar activation of basic brain processing in the visual cortex of the two groups, but different processing in medial and frontal cortical areas, where media professionals showed a lower activity. Effective brain connectivity occurred in a more organized way in media professionals-possibly due to a better communication between cortical areas that are coordinated for decoding new visual content after cuts

Perception of cuts in different editing styles

The goal of this work is to explain how the cuts and their insertion in different editing styles influence the attention of viewers. The starting hypothesis is that viewers' response to cuts varies depending on whether they watch a movie with a classical versus a messy or chaotic editing style. To undertake this investigation, we created three videos with the same narrative content and duration but different editing styles. One video was a fixed one-shot movie. Another video followed a classical editing style, based on the rules of classic Hollywood movies, according to David Bordwell's studies. The other video used a chaotic style, beyond post-classic, which broke the classical rules of continuity and was inspired by music video clips. We showed these stimuli to 40 subjects while recording their brain activity using the electroencephalography (EEG) technique. The results showed that cuts reduce the eyeblink frequency during the second after they are seen. Since blinking is a well-known attention marker, we propose that cuts increase viewers' attention. Cuts initiate a flow of electrical activity from the visual cortex to the cognitive processing zone in the prefrontal area. We also found that the different editing styles in which cuts are inserted affected perception, confirming the initial hypothesis. These results could be of great interest and utility for creators of audiovisual content and the management of attention in their work.Se explica cómo influyen en la atención de los espectadores los cortes de plano y su inserción en distintos estilos de edición. La hipótesis de inicio es que la respuesta de los espectadores a los cortes de plano variará dependiendo de si estos están en un estilo de montaje clásico o en un estilo desordenado y caótico, tipo video clip. Para abordar la investigación, creamos tres videos con el mismo contenido narrativo, la misma duración, pero distintos estilos de montaje. Un video es un plano secuencia fijo. Otro video sigue un estilo clásico de edición, conforme a las reglas del montaje de las películas clásicas de Hollywood, de acuerdo con los estudios de David Bordwell. El otro video muestra un estilo caótico, más allá del post-clásico, que rompe esas reglas de continuidad y que está inspirado en los rápidos videoclips musicales. Mostramos estos estímulos a 40 sujetos mientras registramos su actividad cerebral utilizando la técnica de la electroencefalografía (EEG). Los resultados presentan que los cortes de plano reducen la frecuencia de parpadeo de los espectadores durante el segundo posterior a ser vistos. Dado que el parpadeo es un conocido marcador de atención, proponemos que los cortes de plano aumentan la atención de los espectadores. Los cortes de plano inician un flujo de actividad eléctrica desde el córtex visual hasta la zona de procesamiento cognitivo en el área prefrontal. También encontramos que los distintos estilos de montaje en los que los cortes se inserten afectan la percepción de los mismos, confirmando la hipótesis inicial. Estos resultados pueden ser de gran interés y utilidad para los creadores de contenidos audiovisuales y la gestión de la atención en sus productos

Neural responses to shot changes by cut in cinematographic editing: An EEG (ERD/ERS) study

In order to analyze and detect neural activations and inhibitions in film spectators to shot changes by cut in films, we developed a methodology based on comparisons of recorded EEG signals and analyzed the event-related desynchronization/synchronization (ERD/ERS). The aim of the research is isolating these neuronal responses from other visual and auditory features that covary with film editing. This system of comparing pairs of signals using permutation tests, the Spearman correlation, and slope analysis is implemented in an automated way through sliding windows, analyzing all the registered electrodes signals at all the frequency bands defined. Through this methodology, we are able to locate, identify, and quantify the variations in neuronal rhythms in specific cortical areas and frequency ranges with temporal precision. Our results detected that after a cut there is a synchronization in theta rhythms during the first 188 ms with left lateralization, and also a desynchronization between 250 ms and 750 ms in the delta frequency band. The cortical area where most of these neuronal responses are detected in both cases is the parietal area

Cinematographic continuity edits across shot scales and camera angles:An ERP analysis

Film editing has attracted great theoretical and practical interest since the beginnings of cinematography. In recent times, the neural correlates of visual transitions at edit cuts have been at the focus of attention in neurocinematics. Many Event Related Potential (ERP) studies studies have reported the consequences of cuts involving narrative discontinuities, and violations of standard montage rules. However, less is known about edits that are meant to induce continuity. Here, we addressed the neural correlates of continuity editing involving scale, and angle variations across the cut within the same scene, two of the most popular devices used for continuity editing. We recorded the electroencephalographic signal obtained from 20 viewers as they watched four different cinematographic excerpts to extract ERPs at edit points. First, we were able to reproduce the general time and scalp distribution of the typical ERPs to filmic cuts in prior studies. Second, we found significant ERP modulations triggered by scale changes (scale out, scale in, or maintaining the same scale). Edits involving an increase in scale (scale out) led to amplification of the ERP deflection, and scale reduction (scale in) led to decreases, compared to edits that kept scale across the cut. These modulations coincide with the time window of the N300 and N400 components and, according to previous findings, their amplitude has been associated with the likelihood of consciously detecting the edit. Third, we did not detect similar modulations as a function of angle variations across the cut. Based on these findings, we suggest that cuts involving reduction of scale are more likely to go unnoticed, than ones that scale out. This relationship between scale in/out and visibility is documented in film edition manuals. Specifically, in order to achieve fluidity in a scene, the edition is designed from the most opened shots to the most closed ones

Brain processes underlying the perception of audiovisual content

Programa de Doctorado en NeurocienciasLínea de Investigación: Procesos neuronales que subyacen al aprendizaje y la memoria en el animal despierto. Substratos neuronales de los comportamientos apetitivos y exploratoriosClave Programa: DNFCódigo Línea: 90La percepción audiovisual ha sido tradicionalmente abordada desde perspectivas sociales, psicológicas, semióticas y antropológicas. En los últimos años ha surgido un enfoque novedoso desde la neurociencia. En el campo de la neurocinemática, las técnicas de la neurociencia se utilizan para comprender los procesos cerebrales que subyacen a la percepción del contenido audiovisual. Esta Tesis Doctoral estudia estos procesos bajo tres perspectivas principales: (1) encontrar diferencias en la percepción de un contenido narrativo en una representación real o en una pantalla; (2) aprender cómo el estilo y el contenido de las obras audiovisuales afectan a la percepción de los espectadores; y (3) determinar si la profesionalización en los medios tiene un impacto en la percepción visual. Con técnicas electroencefalográficas y electrooculográficas, se registraron los parpadeos y la actividad eléctrica cerebral de los participantes. Los principales hallazgos de estos trabajos son los siguientes. En cuanto a la primera perspectiva, se encontraron diferencias en la percepción de la realidad y el audiovisual. Un contenido narrativo en un video provoca una menor tasa de parpadeo de los espectadores en comparación con el mismo contenido dentro de una actuación real. En cuanto a la segunda perspectiva relacionada con el estilo y el contenido de las obras audiovisuales, se encontró que: (i) la tasa de parpadeo de los espectadores cambia según el estilo de montaje de las obras audiovisuales, cuanto más caótico el estilo, menor la tasa de parpadeo; (ii) los cortes de plano inhiben los parpadeos inmediatamente posteriores a ellos, evitando la posibilidad de trabajar en una sincronización de cortes con parpadeos para evitar la pérdida de información visual realizada por ambos procesos; (iii) los cortes de plano afectan la percepción de los medios y provocan una posible propagación de la actividad desde las áreas occipitales hacia las áreas frontales del cerebro alrededor de 200 ms después del corte; (iv) el estilo de edición donde se insertan los cortes tiene un impacto en la decodificación de los espectadores y los audiovisuales caóticos y rápidos aumentan el alcance atencional pero disminuyen el procesamiento cognitivo superior; (v) existen contenidos narrativos específicos que sincronizan aumentos y disminuciones de la tasa de parpadeo de los espectadores, independientemente del estilo de edición en que se presenten; y (vi) los cortes en los audiovisuales no provocan ninguna actividad cerebral asimétrica específica en la banda alfa en los espectadores, lo que sugiere que la asimetría cerebral al ver audiovisuales puede estar más relacionada con el contenido narrativo que con el estilo formal. Finalmente, con respecto a la tercera perspectiva relacionada con la profesionalización de los medios, se encontró que: (i) los profesionales de los medios prestan más atención tanto a las pantallas como al mundo real que los que no son profesionales audiovisuales; (ii) los profesionales de los medios disminuyen más su tasa de parpadeo después de los cortes de plano, lo que sugiere que pueden manejar mejor la pérdida de información visual que implican los parpadeos evitándolos cuando se presenta nueva información visual; y (iii) la conectividad cerebral efectiva ocurre de una manera más organizada en los profesionales del audiovisual. En conclusión, los audiovisuales modulan la percepción visual de los espectadores, en función de varios parámetros como el estilo, el contenido y la profesionalización. Conocer los procesos cerebrales que subyacen a la percepción de contenidos audiovisuales puede ser útil en múltiples ámbitos como el comunicativo, el clínico o el formativo, entre otros.Universidad Pablo de Olavide de Sevilla. Departamento de Fisiología, Anatomía y Biología Celula

Film as Embodied Art

How do the visuals of Kubrick’s work convey complex concepts and abstractions without the traditional reliance on words? And how does the pure instrumental music in his films express meaning when music, in essence, is an abstract art form? Drawing on state-of-the-art research in embodied cognitive science, this book sets out to explore these questions by revealing Kubrick as a genuine conceptual artist, a filmmaker who perhaps more than any other director, uses all the non-verbal resources of filmmaking in such a controlled and dense manner as to elicit the bodily structures necessary to achieve a level of conceptual understanding

Aproximación neurocinemática al corte como articulador fílmico

[spa] El objetivo de esta tesis es caracterizar el cambio de plano por corte en la edición cinematográfica como articulador del discurso fílmico. Para conseguir nuestro objetivo nos basamos en analizar los mecanismos cognitivos del espectador que observa el film, a través del análisis de sus respuestas neuronales registradas por medio del electroencefalograma. Caracterizar el cambio de plano por corte como articulador cinematográfico desde las reacciones neuronales del espectador requiere comprobar que, al mismo tiempo que se producen patrones de reacción neuronal debidas a la percepción del input del corte, estos patrones reflejan diferencias dependiendo del tipo de cambio de plano percibido por el espectador. De esta forma, logramos definir un patrón general de reacción neuronal para el reconocimiento del corte por parte del espectador que muestra diferencias dependiendo de la forma de articulación concreta, definida por las características de variación entre el plano anterior y posterior al corte. El estudio cinematográfico desde sus orígenes comenzó estudiando la naturaleza articulativa del cambio de plano, igualando este hecho a la sintaxis del lenguaje (Sklovski, 1928; Eisenstein, 1949). Este postulado teórico continuó avanzando hasta los años 60, cuando se produjo la gran controversia teórica sobre cómo se articula el mensaje cinematográfico. Por un lado Mitry (1963) defendió la existencia de un lenguaje propiamente cinematográfico, donde el corte supone la articulación entre sus unidades, mientras que Metz (1968) desestimó toda posible existencia de un lenguaje propio, rechazando la posibilidad propuesta por Mitry. Esta divergencia teórica esencial para conocer la naturaleza de la estructura fílmica no ha sido resuelta y hasta nuestros días continúan propuestas teóricas que parten de la aceptación o la negación del cine como lenguaje. La presente investigación no aspira a resolver este conflicto, pero sí espera poner una primera piedra en su resolución desde las nuevas metodologías empíricas de análisis cinematográfico que ofrece la neurocinemática, analizando si el cambio de plano por corte supone un elemento articulativo en el discurso fílmico. La neurocinemática (Hasson et al., 2008) desarrolla una metodología empírica basada en el análisis de las mediciones biométricas del espectador mientras observa el film, siguiendo los fundamentos del ecologismo cognitivo cinematográfico (Anderson, 1998). Para nuestra investigación analizamos el ERD/ERS del registro electroencefalográfico de 21 espectadores mientras observan 4 fragmentos fílmicos de diferentes características estéticas que contienen una amplia gama de cambios de plano por corte en continuidad. Gracias al estudio de las respuestas neuronales podemos concluir que el cambio de plano por corte desencadena en el espectador reacciones neuronales en las bandas de frecuencia Theta y Delta, especialmente en la zona parietal, y es posible diferenciar estas reacciones dependiendo de la variación de factores como la diferencia de escala de plano o la variación de ángulo de cámara entre los planos anterior y posterior al corte. Con los resultados obtenidos podemos concluir que efectivamente el corte se comporta como articulador del mensaje fílmico, involucrando principalmente al hipocampo, región del cerebro relacionada con procesos de codificación, percepción espacio-temporal y procesos de memoria a corto y largo plazo (Ben-Yakov y Henson, 2018; Howard y Eichenbaum, 2015). Estos resultados permiten establecer una relación directa entre los mecanismo del sistema cognitivo humano que nos permite comprender el cambio de plano por corte con la teoría de articulación cinematográfica definida por Burch (1969), basándose en los conceptos de découpage espacial y découpage temporal.[eng] The main objective of this dissertation is to characterize the shot change by cut in the cinematographic edition as an articulator of the filmic discourse. To achieve our goal we focused on analysing the cognitive mechanisms of the spectator while is watching a film, through the analysis of their neuronal responses registered by electroencephalogram. Characterizing the shot change by cut as a filmic articulator through the spectator's neuronal reactions requires verifying that, at the same time that neuronal reaction patterns are produced due to the perception of the input of the cut event, these patterns also should reflect differences depending on the kind of shot change perceived by the spectator. In this way, we managed to define a general pattern of neuronal reaction for the recognition of the cut event by the spectator that also shows modulations depending on the specific articulation shape, defined by the characteristics of variation between the plane before and after the cut. In our research, we analysed the ERD/ERS from the electroencephalographic registered from 21 spectators while observing 4 film fragments whit different aesthetic characteristics and that contain a wide range of shot changes by cut in a continuity editing sequence. Through the study of the neuronal responses we can conclude that the shot change by cut triggers neuronal reactions in the spectator in the Theta and Delta frequency bands, especially in the parietal zone. Also it is possible to differentiate these spectator neuronal reactions depending on the variation of factors such as the shot scale difference or the camera angle variation between the shots before and after the cut. With the results obtained, we can conclude that effectively the cut acts as an articulator of the filmic message, mainly involving the hippocampus, region of the brain related to the coding processes, the spatial-temporal perception and the short-term and long-term memory processes. The results obtained allow us to establish a direct relationship between the mechanisms of the human cognitive system that allows us to understand the shot change by cut with the theory of the cinematographic articulation defined by Burch, based on the concepts of spatial découpage and temporal découpage