Discourse comprehension and simulation of positive emotions

Recent research has suggested that emotional sentences are understood by constructing an emotion simulation of the events being described. The present study aims to investigate whether emotion simulation is also involved in online and offline comprehension of larger language segments such as discourse. Participants read a target text describing positive events while their facial postures were manipulated to be either congruent (matching condition) or incongruent (mismatching condition) with emotional valence of the text. In addition, a control condition was included in which participants read the text naturally (without a manipulation of facial posture). The influence of emotion simulation on discourse understanding was assessed by online (self-paced reading times) and offline (verbatim and inference questions) measures of comprehension. The major result was that participants read faster the target text describing positive emotional events while their bodily systems were prepared for processing of positive emotions (matching condition) rather than unprepared (control condition) or prevented from positive emotional processing (mismatching condition). Simulation of positive emotions did not have a significant impact on offline explicit and implicit discourse comprehension. This pattern of results suggests that emotion simulation has an impact on online comprehension, but may not have any effect on offline discourse processing

Dropping bowling balls on tomatoes: representations of object state-changes during sentence processing

Previous research showed that verifying a pictured object mentioned in a preceding sentence takes less time when the pictured object shape is compatible with the described object location or spatial position. In the current work we asked if nonvisual information is integrated into the mental model when the target object shape is implied by virtue of a description of a heavy versus light item being dropped on it. Furthermore, we asked if the canonical target object state continues to play an important role when the context requires the activation of a noncanonical representation. In seven experiments the data provide an affirmative response to both questions. Participants (N = 766) first read sentences that implied target object state-changes as a function of the impact caused by differently weighted items (e.g., "You drop a balloon/a bowling ball on a tomato") and then verified pictures of "squashable" target objects in either a canonical (e.g., intact tomato) or a noncanonical (e.g., squashed tomato) state. A reaction time (RT) advantage was consistently observed when a "noncanonical" target was preceded by a "heavy" (e.g., bowling ball) sentence than a "light" (e.g., balloon) sentence. However, no such advantage was observed when a "canonical" target was preceded by a light sentence than a heavy sentence. This pattern of results remained unchanged regardless of the items used and the verbal tense of the sentence. These data suggest that when changes of state are inferred (i.e., not driven by lexical semantics), both the initial and resultant states are equally accessible.info:eu-repo/semantics/acceptedVersio

Explicit (not implicit) attitudes mediate the focus of attention during sentence processing

Many studies showed that comprehenders monitor changes in protagonists’ emotions and actions. This article reports two experiments that explored how focusing comprehenders’ attention on a particular property of the protagonist dimension (e.g., emotional or action state) affects the accessibility of information about target objects mentioned in the sentence. Furthermore, the present research examined whether participants’ attitudes towards the issues described in the sentence can modulate comprehension processes. To this end, we asked participants to read sentences about environmental issues that focused comprehenders’ attention on different mental and physical attributes of the same entities (protagonists and objects) and then self-report their own thoughts on the topic of environment by responding to the items assessing their environmental awareness. Importantly, we manipulated the task requirements across two experiments by administering a self-report task (Experiment 1), which required the participants to rate the seriousness and the frequency of the problem mentioned in a sentence; and administering a sentence-picture verification paradigm (Experiment 2), which required the participants to merely indicate if the object depicted in the picture (related to a certain environmental problem) was mentioned in the preceding sentence. The results of these experiments suggest that the focus of a sentence on the environmental problem (rather than the protagonist’s emotion and action) enhances the accessibility of information about environmental issues (e.g., plastic garbage); that the comprehender’s level of environmental awareness influences one’s attention during sentence processing; and that comprehender characteristics significantly modulate comprehension processes only when the measures tap into explicit (and not implicit) processes.info:eu-repo/semantics/publishedVersio

Simulating background settings during spoken and written sentence comprehension

Previous findings from the sentence-picture verification task demonstrated that comprehenders simulate visual information about intrinsic attributes of described objects. Of interest is whether comprehenders may also simulate the setting in which an event takes place, such as, for example, the light information. To address this question, four experiments were conducted in which participants (total N = 412) either listened to (Experiment 1) or read (Experiment 3) sentences like “The sun is shining onto a bench” followed by a picture with the matching object (bench) and either the matching lighting condition of the scene (sunlit bench against the sunlit background) or the mismatching one (moonlit bench against the moonlit background). In both experiments, response times (RTs) were shorter when the lighting condition of the pictured scene matched the one implied in the sentence. However, no difference in RTs was observed when the processing of spoken sentences was interfered with visual noise (Experiment 2). Specifically, the results showed that visual interference disrupted incongruent visual content activated by listening to the sentences, as evidenced by faster responses on mismatching trials. Similarly, no difference in RTs was observed when the lighting condition of the pictured scene matched sentence context, but the target object presented for verification mismatched sentence context (Experiment 4). Thus, the locus of simulation effect is on the lighting representation of the target object rather than the lighting representation of the background. These findings support embodied and situated accounts of cognition, suggesting that comprehenders do not simulate objects independently of background settings.info:eu-repo/semantics/publishedVersio

Oral approach avoidance

Words whose articulation resembles ingestion movements are preferred to words mimicking expectoration movements. This so-called in-out effect, suggesting that the oral movements caused by consonantal articulation automatically activate concordant motivational states, was already replicated in languages belonging to Germanic (e.g., German and English) and Italic (e.g., Portuguese) branches of the Indo-European family. However, it remains unknown whether such preference extends to the Indo-European branches whose writing system is based on the Cyrillic rather than Latin alphabet (e.g., Ukrainian), or whether it occurs in languages not belonging to the Indo-European family (e.g., Turkish). We replicated the in-out effect in two high-powered experiments (N = 274), with Ukrainian and Turkish native speakers, further supporting an embodied explanation for this intriguing preference.info:eu-repo/semantics/acceptedVersio

Is complex visual information implicated during language comprehension? The case of cast shadows

Previous research showed that sensorimotor information affects the perception of properties associated with implied perceptual context during language comprehension. Three experiments addressed a novel question of whether perceptual context may contribute to a simulation of information about such out-of-sight objects as cast shadows. In Experiment 1, participants read a sentence that implied a particular shadow cast on a target (blinds vs. an open window) and then verified the picture of the object onto which a shadow was cast. Responses were faster when the shadow of blinds cast on the object matched that implied by the sentence. However, the data did not show the same matching effect for pictures with cast shadows from an open window. In Experiments 2 and 3, we found that verification times for pictures with no cast shadows were faster when preceded by an “open window” sentence, thus suggesting that reading the sentence does not elicit a visual simulation of any specific shadow. Experiment 3 showed that the objects superimposed with a cast shadow of the blinds and blinds themselves were verified faster after reading a “blinds” sentence. However, the results of an order analysis showed the temporal stability of the “blinds shadows” effect, but the disappearance of the “blinds” effect in the second half of the data. We conclude that the results are compatible, to a lesser or greater extent, with multiple accounts, and discuss our findings in the context of a mental imagery view, a mental simulation view, and an amodal representation view.info:eu-repo/semantics/publishedVersio

An embodied approach to language: the role of bodily feedback in discourse processing

Theories of embodied cognition argue that language processing arises not from amodal symbols that redescribe sensorimotor and affective experiences, but from partial simulations (reenactments) of modality-specific states. Recent findings on processing of words and sentences support such a stance emphasizing that the role of the body in the domain of language comprehension should not be overlooked or dismissed. The present research was conducted to extend prior work in two important ways. First, the role of simulation was tested with connected discourse rather than words or sentences presented in isolation. Second, both “online” and “offline” measures of discourse comprehension were taken. In Experiments 1 and 2 participants’ facial postures were manipulated to show that preparing the body for processing of emotion-congruent information improves discourse comprehension. In Experiment 3 the direction of body posture was manipulated to show that implicit properties of simulations, such as spatial dimension or location, are at least somewhat involved in processing of large language segments such as discourse. Finally, in Experiments 4 and 5 participants’ body movement and body posture were manipulated to show that even understanding of language describing metaphorical actions physically impossible to perform involves constructing a sensorimotor simulation of the described event. The major result was that compatibility between embodiment and language strongly modulated performance effectiveness in experiments on simulation of emotion and metaphorical action. The effect of simulation on comprehension of discourse implying spatial dimension was fragile. These findings support an embodied simulation account of cognition suggesting that sensorimotor and affective states are at least partially implicated in “online” and “offline” discourse comprehension.Uma ideia-chave das teorias simbólicas é que a compreensão da linguagem advém da manipulação de símbolos amodais que descrevem condições perceptivas, motoras e emocionais, o que parece estar em contradição com a nossa capacidade de interação com o ambiente. Por exemplo, é difícil acreditar que os sistemas sensoriais corporais não estejam envolvidos no processamento da linguagem quando alguém descreve a sua última ida a um café como o Starbucks ou Tim Hortons através das seguintes palavras: aromático, deleitável, suculento, delicioso, fragrante, caloroso, acolhedor, confortável, arrebatador, pungente ou sensual. Em contraste com as teorias simbólicas, a aplicação da cognição incorporada na compreensão da linguagem defende que os símbolos amodais tornam-se significativos apenas através da nossa percepção e interação com os objetos e situações que esses objetos representam (Glenberg, 2010). Deste modo, o processamento da linguagem envolve sistemas corporais e neurais utilizados em experiências perceptivas, de ação e emocionais do mundo real. Aplicando esta conceptualização, a compreensão de uma frase como “ A empregada parece divertida quando entrega uma chávena de café recentemente moído e um scone a um senhor de meia-idade” requere o restabelecimento de informação perceptual para simular os objectos e os agentes descritos na frase (e.g., café, homem de meia-idade), informação perceptual olfactiva para simular o cheiro de um scone quente e de café recentemente moído, informação motora para simular como a empregada entrega o café ao senhor e, informação emocional para simular a sensação de divertimento da empregada. A discussão acerca da importância da activação sensório-motora que ocorre durante a compreensão da linguagem inicia-se nesta tese com uma revisão bibliográfica sobre estudos empíricos focando o processamento da linguagem através da descrição de conceitos concretos e abstratos. Verificou-se que os dados de todos esses estudos convergem na conclusão que as representações incorporadas são necessárias para a compreensão. Simultaneamente concluiu-se que, na área do processamento da linguagem, ainda necessitam de ser abordados vários assuntos importantes, tendo-se destacado duas questões essenciais. A primeira é se a incorporação afecta a compreensão de eventos linguísticos abrangentes tais como o discurso. O interesse por esta questão foi inspirado por discussões prévias acerca da escassez de estudos sobre o papel de simulações de modalidade-específica durante a compreensão de discursos (Fischer & Zwaan, 2008), bem como pela importância de testar a compreensão da linguagem a um nível mais global de discurso (Graesser et al., 1997; Sparks &vi Rapp, 2010). A segunda questão é se as representações incorporadas servem para afectar o processamento do discurso “offline”. Após a revisão de evidências empíricas e teóricas que suportam a cognição incorporada, bem como a discussão acerca da utilidade de simulações de modalidade-específica para a compreensão da linguagem, as duas questões supramencionadas foram investigadas empiricamente através de cinco experiências. As Experiências 1 e 2 examinaram a influência da condição emocional (positiva, controlo ou neutra, negativa) nas medidas “online” (tempo de leitura, clareza das imagens, facilidade de apreensão e sentimento de presença) e “offline (questões textuais e inferenciais) de compreensão de discurso. Os participantes cujas atitudes faciais foram manipuladas no sentido de ficarem congruentes com a valência positiva do texto (condição compatível “caneta nos dentes”) geralmente revelaram tempos de leituras mais rápidos e maior apreensão do que leram relativamente aos participantes cujas posturas faciais foram incongruentes (condição incompatível “caneta nos lábios”) ou neutras (sem manipulação). As restantes medidas não revelaram um efeito da condição emocional. Os resultados obtidos são consistentes com estudos anteriores que utilizaram as frases (e.g., Havas et al., 2007) e suportam as teorias de cognição incorporada nas quais os símbolos abstratos são apoiados em sistemas sensório-motores (Barsalou, 1999a; Glenberg, 1997; Zwaan, 2004). Provavelmente mais importante, os resultados obtidos indicam que uma condição emocional compatível parece afetar a compreensão “online” não só ao nível da palavra e da frase, mas também ao nível do discurso. Enquanto que as Experiências 2 e 3 avaliaram se as simulações de modalidade-específica permitem apreender informação explícita conotada à linguagem, a Experiência 3 avaliou se as simulações de modalidade-específica permitem apreender informação implícita suplementar às palavras mencionadas no texto. Os participantes leram narrativas com descrições de cenas que implicitamente sugeriam uma determinada posição espacial de uma pessoa ou de uma entidade, enquanto o seu corpo estava virado 90 graus para a direita (condição compatível), 90 graus para a esquerda (condição incompatível) ou numa condição normal sem manipulação corporal (condição neutra). A compreensão dos participantes foi avaliada através de medidas “online” (tempos de leitura, clareza mental das imagens, clareza mental de imagens específicas e presença espacial) e “offline” (sequenciamento de tarefas). Os resultados obtidos revelam que os participantes que leram o texto na condição compatível reportaram um maior nível de clareza mental de imagens, mas apenas no que diz respeito às passagens que descreviam movimentos envolvendo duas pessoas situadas à esquerda. As restantes medidas não revelaram um efeito de congruência entre a direção corporal e o processamento do discurso. Assim, pode ser concluído que mesmo as caraterísticas implícitas das simulações, tais como a dimensão espacial ou localização estão, pelo menos, algo envolvidas no processamento de amplos segmentos da linguagem tais como o discurso. Por ultimo, as Experiências 4 e 5 foram realizadas para demonstrar que a participação em ações reais (exercício numa bicicleta fixa) ou meramente a preparação do sistema motor para uma ação (leitura do texto com uma perna em avanço) afeta o modo como os indivíduos compreendem um discurso com descrições de movimentos metafóricos. Os participantes leram um texto com descrições de movimentos metafóricos progressivos (e.g., perseguir um futuro melhor) enquanto os seus corpos estavam preparados (condição de facilitação) ou não (controlo) para o processamento de informação congruente com ação. A compreensão do discurso pelos participantes foi avaliada através de medidas “online” (tempos de leitura) e “offline” (precisão das respostas, tempo de reconhecimento de palavras do texto, tempo de avaliação da veracidade/falsidade de frases). Foi concluído que a simulação de ação tem maior efeito na compreensão “offline” implícita do que na “offline” explícita e que a compreensão “online” não parece ser consideravelmente afetada. Os resultados obtidos são consistentes com a teoria LASS (Barsalou et al., 2008), a qual prevê que a simulação afeta mais o processamento de informação baseado na dedução e interpretação e, num menor nível, o processamento superficial baseado na informação explicitamente fornecida no texto. Estas conclusões permitem avançar para além das Experiências 1 a 3 ao demonstrar que as simulações de modalidadeespecífica estão envolvidas igualmente na compreensão de discursos que descrevem ações metafóricas as quais são fisicamente impossíveis de desempenhar. Em resumo, os resultados apresentados suportam a cognição incorporada, sugerindo que as condições sensório-motoras e afetivas estão implicadas, ao menos parcialmente, no processamento do discurso “online” e “offline”. É manifesto que as experiências descritas nesta tese não fornecem evidências de que não existem representações amodais ativadas durante o processamento linguístico, mas demonstram que o apoio sensório-motor é necessário para a compreensão de segmentos amplos da linguagem como é o discurso