Eu quero acreditar! Da importância, formas de uso e limites dos testes de confiabilidade na Análise de Conteúdo

RESUMO Introdução: A análise de conteúdo (AC) tem sido normativamente definida a partir de três princípios fundamentais: validade, replicabilidade e confiabilidade. Neste trabalho, identificamos que os estudos empíricos, no Brasil e no exterior, têm negligenciado esses princípios, em especial o último (confiabilidade). Métodos: Diante disso, oferecemos uma contribuição tanto operacional quanto crítica à AC. Em relação à contribuição operacional, o trabalho apresenta uma listagem detalhada de procedimentos sobre como se realizar um teste de confiabilidade em diferentes circunstâncias de pesquisa (com um ou mais pesquisadores). Resultados: Já a contribuição crítica é uma reflexão epistemológica acerca das vantagens e limites dos usos mais comuns desse tipo de teste, usos esses que, no limite, podem comprometer a própria confiabilidade científica dos resultados publicados. Discussão: De modo a evitar esse risco, propomos que pesquisas com AC podem reivindicar a presunção de confiabilidade quando (a) oferecem plenas condições de replicabilidade e (b) quando oferecem um teste de confiabilidade realizado por um ou mais codificadores, teste esse que seja aceitável como significativamente não-aleatório. Por fim, concluímos que, nos periódicos de alto impacto, predomina a importância de (b) em detrimento de (a), o que demonstra que, mesmo na elite da produção científica, ainda prevalece uma compreensão pouco exigente sobre a confiabilidade na AC.PALAVRAS-CHAVE: análise de conteúdo; teste de confiabilidade; replicabilidade; validade; métodos quantitativos. ABSTRACT Introduction: Content analysis has been normatively organized by the following principles: validity, replicability, and reliability. This paper points out that empirical studies in Brazil and abroad have been ignoring such principles, especially the latter (reliability). From this vantage point, we offer a theoretical and practical contribution to content analysis. Methods: Regarding the practical contribution, this papers details check-lists of procedures for conducting intercoder reliability tests for different research conditions (i.e. for one or more coders). Results: Concerning the theoretical contribution, it departs from an epistemological critical assessment of the advantages and limitations embedded in the most common uses of this kind of test. On the limit, such uses might put the scientific reliability of the published results at risk. Discussion: In order to avoid such risk, we argue that empirical studies might claim the presumption of reliability when (a) they offer plain conditions for their replicability; and (b) when they offer a reliability test that might be regarded as significantly non-random. We conclude our paper by pointing out that, in the high ranked journals, prevails the importance of (b) under (a), which implies that even in the elite of scientific production prevails a low demanding comprehension of reliability.KEYWORDS: content analysis; inter-coder reliability test; replicability; validation; quantitative research

Counterbalancing global media frames with nationally colored narratives: A comparative study of news narratives and news framing in the climate change coverage of five countries

This study disentangles national and transnational influences on international journalism by distinguishing convergent issue framing from nationally specific narrative in news texts. In a comparative quantitative content analysis of the newspaper coverage in five democratic countries (Brazil, Germany, India, South Africa, and United States) during four United Nations climate change conferences from 2010 to 2013, both textual-visual framing and narrative features were studied simultaneously for the first time. The narrative dimension consisted of variables that gauge (1) the degree of narrativity in an article, (2) the type of narrative (i.e. stories of catastrophe, conflict, success etc.), and (3) narrative roles of victims, villains, and heroes. Hierarchical cluster analysis was used to identify both the prevailing issue frame in an article and its dominant narrative. Results show that issue frames converge more strongly across countries while narratives are more closely related to the cultural context and political particularities of each country. Investigating issue frames and narratives concurrently helps to reveal country-specific patterns of narrative coloring even for the same issue frame

Uma técnica parada no tempo? Mapeamento da produção científica baseada em análise de conteúdo na SciELO Brasil (2002-19)

The article presents a scientometric analysis of 3.484 articles published between 2002 and 2019 in the SciELO database that refer to content analysis (CA) in terms of the number of publications, journals, and cited references. The results showed that the Life Sciences college presents the highest volume of articles and the most heterogeneous bibliography. This result challenges the previous studies that highlighted Human Sciences disciplines as the preferred fields for using the technique. There was used the cocitation analysis network through the VOSviewer, and it was detected a high predominance of the Laurence Bardin’s manual in all the colleges observed. This result confirms findings from previous studies, but on an unprecedented scale and disciplinary diversity. We argue that this concentration tends to reveal a flagrant gap between the advancement of specialized literature on the methodology and its respective use by the Brazilian scientific community, which may be thoughtless and outdated.O artigo apresenta uma análise cientométrica de 3.484 artigos publicados entre 2002 e 2019 na base SciELO que fazem referência à análise de conteúdo (AC) em termos de número de publicação, periódicos e referências acionadas. Os resultados demonstraram que o colégio de Ciências da Vida apresenta não apenas o maior volume de trabalhos, mas também de heterogeneidade de referências. Esse resultado desafia estudos anteriores que destacavam as disciplinas das Ciências Humanas como lugar preferencial de utilização do método. Para isso, foi utilizada a análise de cocitação através do VOSviewer e detectada uma grande predominância do manual de Laurence Bardin em todos os colégios observados. Esse resultado confirma achados de estudos anteriores, mas em uma escala e diversidade disciplinar inéditas. Argumentamos que essa concentração tende a revelar um flagrante descompasso entre o avanço da literatura especializada sobre a metodologia e seu respectivo uso pela comunidade científica brasileira, que pode estar sendo irrefletido e desatualizado

Esfera pública e sistema midiático: tensões entre visibilidade e discutibilidade

Esse artigo explora as vantagens e problemas que o destrinchamento conceitual da esfera pública em visibilidade e discutibilidade oferece para se interpretar as funções políticas dos media. No que diz respeito às vantagens, são destacadas as contribuições trazidas para se superar as perspectivas analíticas da tradição de pesquisa que ficou conhecida como mal estar midiático. Em relação aos problemas, o artigo questiona a afirmação de que o quadro teórico habermasiano da democracia deliberativa teria parca potencialidade empírica, já que a visibilidade seria mais influente do que a discutibilidade. Essa afirmação é colocada em suspeição tendo em vista que o quadro teórico em questão prevê, em seu modelo de circulação do poder, um intercruzamento entre diferentes âmbitos e arenas discursivas

Esfera Pública e Sistema Midíatico: tensões entre visibilidade e discutibilidade

This paper explores the advantages and the problems from the conceptual repartition of the public sphere in visibility and discutibility (discutibilidade). These advantages and problems will be assessed by what this repartition offers to interpret the media's political functions. About the advantages, I will underline the contributions brought to overcome the analytic perspectives of the research tradition known as media malaise. About the problems, the article will contest the statement that the habermasian theoretical framework would have few empiric potential because the visibility would be more influential than the discutibility. That statement is objected alleging that the Habermas' two-track model of power circulation foresees an intersection between different loci and discursive arenas

Revisão Sistemática de Literatura e Análise de Conteúdo na Área da Comunicação e Informação: o problema da confiabilidade e como resolvê-lo

Resumo Este trabalho apresenta uma análise da qualidade metodológica das revisões sistemáticas de literatura lusófonas, na área da Comunicação e Informação, utilizando princípios e técnicas desta metodologia comuns à análise de conteúdo, notadamente as relativas à replicabilidade e à confiabilidade. Para isso, 4 bases de indexação foram utilizadas: Web of Science, Scopus, DOAJ e SciELO, sob delimitação temporal específica (2010-2021). Mediante o desenvolvimento de um livro de códigos e realização de testes de confiabilidade, 49 trabalhos foram selecionados e analisados em relação a informações sobre (a) bases utilizadas; (b) termos de busca; (c) delimitação temporal (quantidade de anos); (d) número de trabalhos analisados; (e) critérios de inclusão e/ou exclusão; (f) replicabilidade; (g) confiabilidade. Os principais resultados indicam uma reduzida preocupação dos trabalhos analisados em incorporar ou reportar procedimentos responsivos à confiabilidade (n=3). Por outro lado, a maior parte dos estudos (n=40) mostrou-se, em linhas gerais, replicável. A principal inovação e contribuição desta pesquisa consistiu em propor e testar um procedimento de incremento da confiabilidade das revisões sistemáticas mediante consulta aos autores dos trabalhos revisados. Destaca-se, para além do caráter inovador de tal procedimento, os ganhos epistêmicos por ele trazidos. Discute-se, ao final, as implicações dos resultados para pesquisas futuras, indicando os possíveis ganhos que as estratégias metodológicas concebidas e testadas neste trabalho oferecem para balizar o rigor metodológico das revisões sistemáticas de literatura

Análise de conteúdo categorial: manual de aplicação

Este livro pretende apresentar, de modo simplificado, como realizar uma análise de conteúdo categorial quantitativa com bases científicas. É nosso objetivo que esta obra possa se tornar um manual útil para diferentes pesquisadores que almejam realizar uma aplicação adequada da técnica da análise de conteúdo (AC). Como buscaremos defender, compreendemos que: análise de conteúdo é uma técnica de pesquisa científica baseada em procedimentos sistemáticos, intersubjetivamente validados e públicos para criar inferências válidas sobre determinados conteúdos verbais, visuais ou escritos, buscando descrever, quantificar ou interpretar certo fenômeno em termos de seus significados, intenções, consequências ou contextos.157 páginasColeção Metodologias de pesquisaAnálise e Ciência de DadosMétodos de Pesquisa. Métodos Estatístico