Constructing meaning from cartoons: the effects of efl reading proficiency and working memory capacity on the processing of verbal and pictorial information

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro de Comunicação e Expressão, Programa de Pós-Graduação em Inglês: Estudos Linguísticos e Literários, Florianópolis, 2016Com base em pesquisas anteriores sobre os efeitos facilitadores das ilustrações na compreensão leitora (Schallert, 1980; Fang, 1996; Carney & Levin, 2002 e Pan & Pan, 2009), este estudo investigou a influência da proficiência em leitura em língua estrangeira inglês (LEI) e da capacidade de memória de trabalho (CMT) (variáveis independentes), na compreensão de cartuns (variável dependente). O estudo foi motivado pela necessidade de se desvendar se o eficaz processamento paralelo de informações verbais e pictoriais associa-se à proficiência de leitura em LEI bem como à CMT. Com base teórica em estudos sobre leitura (Rumelhart & McClelland, 1981; Gagné, Yekovich & Yekovich, 1993; Davies, 1995; Aebersold & Field, 1997; Tomitch, 2011), memória de trabalho (Daneman & Carpenter, 1980; Just & Carpenter, 1992; Cowan,1999; Heitz, RP, Unsworth, N. & Engle, RW, 2005; Baddeley & Hitch, 1974; Baddeley, 2000) e dupla codificação (Paivio, 1990, 2006), o estudo previu uma correlação positiva entre as duas variáveis independentes acima mencionadas, bem como uma relação positiva de cada uma delas com a variável dependente. Sessenta participantes, estudantes brasileiros do ensino médio de uma escola pública, foram divididos em dois grupos: leitores menos e leitores mais proficientes, de acordo com sua pontuação em um teste de proficiência de leitura em LEI, composto por questões textualmente explícitas e textualmente implícitas (Pearson & Johnson, 1978). Além disso, foram também divididos como leitores com menor e leitores com maior capacidade de memória de trabalho, de acordo com sua pontuação na versão brasileira do Reading Span Test (Daneman & Carpenter, 1980), desenvolvido por Tomitch (2003). Três tarefas adicionais foram também utilizadas como instrumentos de coleta de viii dados: (a) um questionário de experiências prévias em LEI, utilizado para melhor retratar a amostra investigada; (b) uma tarefa de compreensão em LEI envolvendo a análise de um cartum em duas etapas: a primeira focada na compreensão de informações verbais, e a segunda, de ambas, informações verbais e pictoriais; e (c) um questionário retrospectivo, usado para observar a percepção dos participantes acerca de seu próprio processo de leitura. A coleta de dados foi realizada em cinco sessões e os dados foram analisados qualitativa e quantitativamente. Os resultados observados se mostraram a favor das três hipóteses levantadas no estudo, mostrando evidências de correlação entre proficiência em LEI e CMT, bem como de associação positiva entre cada uma dessas duas variáveis independentes e a compreensão de cartuns. Quanto às principais contribuições do presente estudo para a grande área, podem ser mencionadas as evidências observadas de que (1) limitações da CMT podem restringir o processamento de textos expositivos não ilustrados; (2) limitações em proficiência em LEI podem restringir a eficiência do processamento de informações pictoriais; e (3) limitações da CMT no processamento de informações pictoriais podem ser compensadas por informações provindas do conhecimento prévio. A principal implicação pedagógica revelada por este estudo reside na possibilidade de que nem todos os aprendizes, devido às diferenças em proficiência em LEI, bem como em CMT, podem igualmente ter sua compreensão leitora beneficiada pelo uso de materiais ilustrados. Abstract : Based on previous research on the facilitative effects of illustrations in reading comprehension (Schallert, 1980; Fang, 1996; Carney & Levin, 2002, and Pan & Pan, 2009), this study investigated the influence of EFL reading proficiency and working memory capacity (WMC) (independent variables), on the reading comprehension of cartoons (dependent variable). The study was motivated by the need to unveil whether the effective parallel processing of verbal and pictorial information found in more elaborate illustrated texts would be a function of higher EFL reading proficiency and WMC measures. On the basis of a theoretical framework on reading (Rumelhart & McCelland, 1981; Gagné, Yekowich & Yekowich, 1993; Davies, 1995; Aebersold & Field, 1997; Tomitch, 2011), on working memory (Daneman & Carpenter, 1980; Just & Carpenter, 1992; Cowan, 1999; Heitz, R.P., Unsworth, N. & Engle, R.W., 2005; Baddeley & Hitch, 1974; Baddeley, 2000) and on dual-coding processing (Paivio, 1990, 2006), the study predicted a positive correlation between the two aforementioned independent variables as well as a positive relationship of each of them with the dependent variable. Sixty participants, Brazilian high school students from a public institution, were divided as less proficient readers and more proficient readers, according to their scores in an EFL reading proficiency test composed of textually explicit and textually implicit questions (Pearson & Johnson, 1978), designed for the purposes of this study. Also, as lower spans and higher spans, according to their scores in the Brazilian version of the original Reading Span Test (Daneman & Carpenter, 1980) developed by Tomitch (2003). Three additional tasks, all of them previously tested in a pilot study, were used as data collection tools: (a) an EFL background questionnaire used to gather data to better portrait the sample x investigated; (b) an EFL reading comprehension task involving a twosteps analysis of a cartoon, being the first focused on the comprehension of verbal information, and the second, of both verbal and pictorial information; and (c) a retrospective questionnaire, used to observe participants perception on their own reading process. Data collection was carried out in five sessions and data was qualitatively and quantitavely analyzed. Based on these analyses, results were found to be in favor of the three hypotheses raised in the study, showing evidence of a correlation between EFL reading proficiency and WMC and of a positive relationship between each of these two independent variables and the reading comprehension of cartoons. As for the main contributions of this study to the larger field, were the observed pieces of evidence suggesting that: (1) WMC limitations may impose constraints to the processing of nonillustrated expository texts; (2) limitations in terms of EFL reading proficiency may hamper the efficiency of pictorial information processing; and (3) background knowledge seems to compensate for WMC limitations in the processing of pictorial information. The main pedagogical implication revealed by this study resides in the possibility that not all learners, due to differences in terms of EFL reading proficiency and WMC, equally benefit by the use of illustrated reading materials

Capacidade da memória de trabalho, proficiência leitora, e processamento de informações verbais e pictoriais na leitura em inglês como língua estrangeira

This study investigates interplays among working memory capacity (WMC), reading proficiency, and the processing of verbal and pictorial information in English as a foreign language (EFL) reading. Participants were sixty Brazilian public-school students aged 15-17 years old (M = 16.3, SD.= 64). Instruments comprised a background questionnaire, an EFL reading proficiency test, a WMC test, a reading comprehension test, and a retrospective questionnaire. Quantitative and qualitative analyses revealed a positive correlation between the independent variables (i.e., EFL reading proficiency and WMC), as well as a significant association between each of the independent variables and the dependent variable (i.e., reading comprehension). Results indicated that: (1) WMC limitations appear to constrain the processing of non-illustrated expository texts; (2) low EFL reading proficiency may hamper the efficiency of pictorial information processing; and (3) WMC limitations in the processing of pictorial information seem to be compensated by the activation of background knowledge.Este estudo investiga relações entre capacidade da memória de trabalho (CMT), proficiência leitora e processamento de informações verbais e pictoriais na leitura em inglês como língua estrangeira (ILE). A amostra investigada foi composta por sessenta estudantes brasileiros de ensino médio entre 15-17 anos (M =16.3, SD. = 64). Os instrumentos de coleta de dados incluíram: um questionário de experiências prévias, um teste de proficiência leitora em ILE, um teste de CMT, um teste de compreensão leitora, e um questionário retrospectivo. As análises indicaram uma correlação positiva entre as variáveis independentes (i.e., proficiência leitora em ILE e CMT), e associações significativas entre cada uma dessas variáveis com a variável dependente (i.e., compreensão leitora). Os resultados indicaram que: (1) limitações da CMT podem restringir o processamento de textos expositivos não ilustrados; (2) limitações em proficiência em ILE tendem a comprometer a eficiência do processamento de informações pictoriais; (3) limitações da CMT no processamento de informações pictoriais parecem ser compensadas pela ativação de informações do conhecimento prévio

Positive emotions, working memory focus of attention, and english as a foreign language reading through singing: reflections and proposals

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro de Comunicação e Expressão, Programa de Pós-Graduação em Inglês: Estudos Linguísticos e Literários, Florianópolis, 2023.É extensiva a pesquisa em Linguística Aplicada com foco na aprendizagem como subproduto da leitura em inglês como língua estrangeira. Grande parte dela investiga exclusivamente variáveis inerentes à cognição. No entanto, estudos da Psicologia Positiva (PP) e da Aquisição de Segunda Língua na perspectiva da Psicologia Positiva (PP em SLA) têm investigado novas variáveis que têm contribuído para uma compreensão mais abrangente do fenômeno da aprendizagem. Ao investigarem o efeito da emoção no escopo da atenção e da cognição, esses novos estudos também têm buscado suporte teórico na Psicologia Cognitiva. Eles sugerem que as emoções positivas ampliam os escopos da atenção e da cognição e que as emoções negativas os diminuem. Vários estudos descobriram também que as emoções positivas associadas à prática da leitura em inglês como língua estrangeria (ILE) através do canto resultaram em melhor aprendizagem em diferentes populações. Porém, dentro desse cenário foi identificada uma lacuna: nenhum estudo investigou se a prática da leitura em ILE através do canto, por desencadear emoções positivas, pode estar associada à ampliação do foco de atenção da memória de trabalho (MT) e a uma melhor aprendizagem de vocabulário em uma população de adolescentes. Para investigar essa lacuna, três pilares teóricos foram adotados: (1) The Broaden-and- Build Theory of Positive Emotions desenvolvida por Fredrickson e Branigan (2005); (2) The Comprehensive Model of Affect in the Reading Process proposto por Mathewson (1985); e (3) The Embedded-Processes Model of Working Memory desenvolvido por Cowan (1988; 1999). Devido ao contexto da Pandemia do Covid-19, a proposta inicial da pesquisa de doutorado teve que ser adaptada, uma vez que a coleta de dados nas escolas não foi possível. Assim, ao invés de aplicar um estudo experimental, a presente pesquisa buscou levantar suporte bibliográfico para discutir a lacuna identificada. A pesquisa analisou trinta estudos através de uma abordagem não sistemática e apresentou as seguintes reflexões e propostas: (1) as emoções positivas brandas parecem fazer com que o foco de atenção da MT despenda os seus recursos à uma captação sensorial mais ampla de informações textuais relevantes, numa ativação e rememoração mais amplas de informações relevantes da memória de longo prazo (MLP) e, portanto, numa manutenção e processamento mais amplos de ambos os tipos de informação. No caso da leitura cantada em ILE, este efeito de ampliação parece ser benéfico para a aprendizagem do vocabulário, uma vez que permite a utilização de tais recursos para a automatização da melodia, do mapeamento fonema-grafema e do agrupamento de versos (i.e., versification chunking); (2) as emoções negativas brandas parecem fazer com que o foco de atenção da MT despenda os seus recursos à uma captação sensorial reduzida de pequenas unidades de informações textuais relevantes, numa ativação e rememoração reduzidas de pequenas unidades de informações relevantes da MLP e, portanto, numa manutenção e processamento reduzidos de ambos os tipos de informações. No caso da leitura de ILE através do canto, este efeito de redução parece ser benéfico porque destina recursos a um processamento detalhado e à manutenção de informação que podem melhorar a aprendizagem de vocabulário; (3) as emoções positivas fortes parecem fazer com que o foco de atenção da MT despenda os seus recursos à uma captação sensorial mais ampla de estímulos externos irrelevantes, à uma maior ativação e rememoração de informações irrelevantes da MLP e, portanto, numa maior manutenção e processamento de ambos os tipos de estímulos. Este efeito de ampliação, no caso da leitura de EFL através do canto, parece ser prejudicial para a aprendizagem do vocabulário devido à dispersão de recursos para informações distrativas; e (4) as emoções negativas fortes parecem fazer com que o foco de atenção da MT despenda os seus recursos no processamento e na manutenção de informações exógenas e endógenas ameaçadoras, ficando sem recursos para processamento da aprendizagem. Além disso, a memória e o corpo podem tender a concentrar-se na ameaça, a vontade de aprender possivelmente é posta em risco e a ruminação de pensamentos negativos pode dificultar a aprendizagem. Essa pesquisa de doutorado também implementou um estudo experimental antes do período da pandemia. O estudo teve como objetivo criar e testar um instrumento de coleta de medidas de MT de adolescentes, o Reading Span Test for Adolescent Speakers of Brazilian Portuguese (RSTA). Ele seria utilizado na proposta inicial da pesquisa. Embora o instrumento não tenha sido aplicado posteriormente, o estudo que lhe deu origem permanece nesta tese de doutorado por ter feito parte do estudo como um todo. O RSTA resultou de um estudo quase-experimental de três meses realizado em 2019. Os participantes foram estudantes brasileiros de escolas públicas (N = 47) com idades entre 12 e 14 anos (M = 12,95, DP = 0,82) recrutados por amostragem de conveniência. Todos os participantes forneceram termos de consentimento. Os materiais incluíram dois textos expositivos. Os instrumentos incluíram o Reading Span Test (DANEMAN; CARPENTER, 1980), adaptado para o português brasileiro por Tomitch (2003b), o RSTA, uma tarefa com perguntas abertas e uma tarefa de múltipla escolha. Os escores de MT foram obtidos em quatro sessões individuais com cada participante (236 sessões individuais), e em dez sessões coletivas para os escores de compreensão de leitura. Análises quantitativas sugeriram que o teste foi eficiente na obtenção de medidas de MT dos adolescentes, conforme mostraram as correlações com medidas de compreensão de leitura obtidas por meio de questões de múltipla escolha. O teste, no entanto, precisa ser submetido a novos estudos experimentais para se consolidar como um instrumento confiável.Abstract: Applied Linguistics research on learning as a byproduct of English as a foreign language (EFL) reading is extensive. Much of it exclusively investigates variables inherent to cognition. However, studies of Positive Psychology (PP) and Second Language Acquisition from the perspective of Positive Psychology (PP in SLA) have investigated new variables contributing to a more comprehensive understanding of the learning phenomenon. By investigating the effect of emotion on the scope of attention and cognition, such studies have also sought theoretical support in Cognitive Psychology. They have suggested that positive emotions broaden the scope of attention and cognition and that negative ones narrow these same arrays. Several studies have also found that positive emotions triggered by EFL reading through singing are associated with enhanced learning among different populations. However, a research gap was identified: no study has investigated whether the practice of EFL reading through singing by triggering positive emotions may be associated with broadened working memory (WM) focus of attention and enhanced vocabulary learning among adolescents. To investigate this gap, three theoretical pillars grounded this research: (1) The Broaden-and-Build Theory of Positive Emotions developed by Fredrickson and Branigan (2005); (2) The Comprehensive Model of Affect in the Reading Process proposed by Mathewson (1985); and (3) The Embedded-Processes Model of Working Memory developed by Cowan (1988; 1999). Due to the context of the Covid-19 Pandemic, the initial doctoral research proposal had to be adapted since data collection at schools was no longer possible. Thus, instead of applying an experimental study, the present research sought to raise bibliographical support to discuss the research gap. The research reviewed thirty studies through an unsystematic approach and provided the following reflections and proposals: (1) mild positive emotions appear to cause WM focus of attention to devote its resources to a broader sensorial capture of relevant textual information, broader activation and retrieval of relevant information from long-term memory (LTM), and thus, broader maintenance and processing of both types of information. In the case of EFL reading through singing, this broadening effect seems to be beneficial for vocabulary learning for its spreading resources to the automatization of melody, phoneme-grapheme mapping, and to versification chunking; (2) mild negative emotions appear to cause WM focus of attention to devote its resources to a narrowed sensorial capture of small units of relevant textual information, narrowed activation and retrieval of small units of relevant information from LTM, and thus, narrowed maintenance and processing of both types of information. In the case of EFL reading through singing, this narrowing effect seems beneficial because it allocates resources to the detailed processing and maintenance of information that may improve vocabulary learning; (3) strong positive emotions appear to cause WM focus of attention to devote its resources to a broader sensorial capture of irrelevant external stimuli, broader activation and retrieval of irrelevant information from LTM, and thus, broader maintenance and processing of both types of stimuli. This broadening effect, in the case of EFL reading through singing, seems detrimental to vocabulary learning for its spreading resources to distractive information; and (4) strong negative emotions appear to cause WM focus of attention to devote its resources to the processing and maintenance of exogenous and endogenous threatening information, with no resources being left to learning. Besides, memory and body may tend to focus on the threat, the willingness to learn is put at risk, and rumination of negative thoughts possibly hampers learning. Besides, the research included the implementation of an experimental study prior to the pandemic. The study aimed to design and test a tool for collecting adolescents? reading span measures, namely The Reading Span Test for Adolescent Speakers of Brazilian Portuguese (RSTA). It would be used as a tool in the initial research proposal. Although the tool has not been posteriorly applied, the study that gave rise to it remains in this doctoral dissertation for being part of the whole research. The RSTA resulted from a three-month quasi-experimental study conducted in 2019. Participants were Brazilian public-school students (N = 47) aged 12-14 (M = 12.95, SD = 0.82) recruited through convenience sampling. All of them provided consent forms. Materials comprised two expository texts. Instruments included the Reading Span Test (DANEMAN; CARPENTER, 1980), adapted to Brazilian Portuguese by Tomitch (2003b), the RSTA, an open-ended task, and a multiple-choice task. Four individual sessions with each participant were necessary to collect the WM span scores (i.e., 236 individual sessions), and ten collective sessions were needed to collect the reading comprehension scores. Quantitative analysis suggested that the test efficiently assessed adolescents? WMC, as shown by the correlations with measures of reading comprehension obtained using multiple-choice questions. The test, however, needs to be submitted to new experimental studies to be consolidated as a reliable tool

A LEITURA DIGITAL E O MONITORAMENTO DA COMPREENSÃO: PROCESSOS INFERENCIAIS E ESTRATÉGICOS DE LEITORES PROFICIENTES EM LÍNGUA INGLESA COMO L2

O presente estudo analisou os comentários metacognitivos verbalizados durante a leitura de textos digitais em língua inglesa como segunda língua (L2). Vinte e quatro alunos proficientes em língua inglesa matriculados em um curso de Letras/Inglês participaram do estudo. Dois textos expositivos foram apresentados para resumir e para criticar em duas modalidades: digital linear e digital não-linear (hipertexto). Análises qualitativas dos padrões de reflexão que verbalizaram demonstram como  os leitores lidam com as dificuldades encontradas, utilizam contexto, conhecimento prévio, fazem previsões e mantêm as instruções da tarefa para responder aos propósitos de leitura. Quanto ao desempenho estratégico, não houve considerável variação entre as modalidades comparadas. Assim, conclui-se que esses leitores utilizam-se de mecanismos semelhantes em ambas as modalidades apresentadas, tomando decisões que tornam a leitura mais linear ou focando na tarefa  principal, sem navegar por entre os links do texto. Tais procedimentos estratégicos podem se dar por escolha ou por desorientação  pelo  comprometimento dos recursos da memória, como se tem discutido na literatura