Revisiones sistemáticas y meta-análisis en Educación: un tutorial

Systematic reviews (SRs) and meta-analyses (Mas) have become a consolidated methodology in Social and Health Sciences. Their purpose is to synthesize the results of empirical studies in order to offer an answer to a given question of interest. Based on a comprehensive review of the literature on SRs and Mas, in this article is presented a tutorial on how to conduct this kind of research. With this purpose, the development of a SR/MA is presented following seven phases: (1) formulating the question of interest; (2) defining the selection criteria of the studies; (3) searching for the studies by using formal and informal search sources; (4) extracting study characteristics; (5) defining the study results relevant for the question of interest and emphasizing effect size indices (ej., d family and r family); (6) synthesis methods, distinguishing between meta-analytic synthesis and other synthesis methods, and (7) publishing or writing the SR/MA. In addition, recommendations on how to make critical reading of SRs/Mas conducted by other researchers are described, as well as checklists and guidelines on how to write them, such as PRISMA, AMSTAR-2, MOOSE, or REGEMA, among others. Finally, the advantages and limitations of SRs/Mas are discussed and some final reflections are stated, specially focusing on the need of making critical appraisal for potential biases in the results of this kind of research.Las revisiones sistemáticas (RSs) y los meta-análisis (MAs) constituyen una metodología consolidada en las Ciencias Sociales y de la Salud. Su propósito es sintetizar los resultados de estudios empíricos para dar respuesta a alguna pregunta de interés. Tomando como base una revisión comprehensiva de la literatura sobre RSs y MAs, se presenta en este artículo un tutorial sobre cómo hacer este tipo de investigaciones. Para ello, se describe su desarrollo siguiendo siete etapas: (1) formulación de la pregunta de interés; (2) definición de los criterios de selección de los estudios; (3) búsqueda de los estudios mediante el uso de fuentes formales e informales; (4) extracción de las características de los estudios; (5) definición del resultado de los estudios, haciendo hincapié en los índices del tamaño del efecto (ej., familia d y familia r); (6) métodos de síntesis, distinguiendo entre síntesis meta-analítica y otros métodos de síntesis, y (7) publicación o redacción de la RS/MA. También se presentan recomendaciones sobre cómo hacer lectura crítica de RSs/MAs hechas por otros y se presentan checklists y guías orientativas sobre cómo redactarlas, tales como los checklists PRISMA, AMSTAR-2, MOOSE o REGEMA, entre otros. Finalmente, se discuten las ventajas y las limitaciones de las RSs/MAs y se alcanzan algunas reflexiones finales, centrando la atención en la importancia de valorar posibles sesgos en los resultados de este tipo de investigación

Averaging dependent effect sizes in meta-analysis: A cautionary note about procedures.

Sin resume

Relaciones entre irritabilidad neonatal y reacciones temperamentales hacia objetos físicos

The aim of this study was to examine the relationship between neonatal irritability and temperamental reactions to physical objects. The sample comprised 53 full-tem infants, from middle-clam families, without any pre or post-natal complications. The Neonatal Behavioral Assessment Scale (NBAS) (Brazelton, 1984) was administered to all infants at 4 days of life. Subsequently, ut three and six months of age, the infants were exposed to a variety of situations involving physical objects in order to examine the temperament at features they express. The results indicated a significant predictive relationship between neonatal irritability and infant's attentiveness and emotional tone, at three and six months of age, when faced with physical objects. These results are discussed in the light of present theoretical orientations on the topic.El propósito de la presente investigación ha sido estudiar la relación existente entre la irritabilidad neonutal y las reacciones temperamentales hacia objetos fisicos. Para ello se utilizó una muestra de 53 niños, nacidos a término, sin complicaciones pre ni posmatales y pertenecientes a un nivel socioeconómico medio. A estos bebés se les administró la Escala para la Evaluación del Comportamiento Neonatal (NBAS) (Brazelton, 1984) a los cuatro días de vida y, posteriormente, a los tres y seis meses de edad, fueron sometidos en el laboratorio a situaciones en las que se enfrentaban a objetos fisicos a fin de que expresaran sus características temperamentales. Los resultados indicaron que existe una relación predictiva significativa entre la irritabilidad neonatal y la atención y el tono emocional mostrado por los niños, tanto a los tres como a los seis meses de edad, en presencia de objetos fisicos. Estos resultados se discuten a la luz de las investigaciones actuales sobre el tema

Meta-análisis de la eficacia de las habilidades de afrontamiento en problemas clínicos y de salud en España

In this paper the results of a meta-analytic review about the eficacy of coping skills on clinical and health problems are presented. A total of 24 independent empirical studies were found which met the selection criteria from 1980 to 1997. The effect size index chosen to summarise the results of the studies was the standardised mean difference, obtaining an average value of d+ = 1.431. The results showed statistically significant differences among applying self-control techniques, stress inoculation, and other techniques for managing anxiety, self-control being the most effective (d+= 1.971). The influence of moderator variables such as age, gender; type of problem, design quality; etc., was also analysed. Finally, theoretical and clinical implications of the results are discussed.In this paper the results of a meta-analytic review about the eficacy of coping skills on clinical and health problems are presented. A total of 24 independent empirical studies were found which met the selection criteria from 1980 to 1997. The effect size index chosen to summarise the results of the studies was the standardised mean difference, obtaining an average value of d+ = 1.431. The results showed statistically significant differences among applying self-control techniques, stress inoculation, and other techniques for managing anxiety, self-control being the most effective (d+= 1.971). The influence of moderator variables such as age, gender; type of problem, design quality; etc., was also analysed. Finally, theoretical and clinical implications of the results are discussed.En este trabajo se presentan los resultados de un estudio meta-analítico sobre la eficacia de las habilidades de afrontamiento en problemas clinicos y de salud en España. Se localizaron un total de 24 estudios primarios independientes durante el periodo 1980-1997 que cumplían con los criterios de selección. El índice del tamaño del efecto elegido para resumir los resultados de los estudios fue la diferencia media tipificada, alcanzando una media de d+ = 1.431. Los resultados revelaron diferencias estadisticamente significativas entre la aplicación de las técnicas de autocontrol, la inoculación al estrés y otras técrticas para el manejo de la ansiedad, alcanzando los mayores tamaños del efecto las estrategias de autocontrol (d+ = 1.971). Se analizó la influencia de otras variables moderadoras de los resultados, tales como la edad, el género, el tipo de problema, la calidad del diseño, etc. Finalmente, se presentan las implicaciones clinicas y teóricas de los resultados

Meta-Revisiones: Concepto y Desarrollo

Background: In the last years, overviews of systematic reviews, or umbrella reviews, have seen a dramatic increase in their use. An overview aims to provide a summary of the included reviews and will often examine research questions beyond those addressed in the systematic reviews being synthesised. The purpose of this article is to provide some recommendations on how overviews should be conducted and reported. Method: A literature review was performed to identify relevant papers on both methodological and applied overviews. Results: The current literature recommends carrying out overviews by following similar steps to those of systematic reviews: (a) Defining the overview research question; (b) inclusion and exclusion criteria; (c) literature search; (d) data extraction; (e) assessment of risk of bias and reporting quality; (f) overview results; and (g) reporting the overview. Of special interest is how to address dependencies between the systematic reviews. Conclusions: Overviews allow evidence to be efficiently combined from multiple systematic reviews. This offers the possibility of translating and summarizing large amounts of information. As in primary studies and systematic reviews, conducting and reporting of overviews must meet appropriate quality standards.Antecedentes: en los últimos años, las meta-revisiones, o revisiones paraguas, han incrementado exponencialmente su uso. Una meta-revisión proporciona un resumen de las revisiones incluidas y, a menudo, aborda preguntas más allá de las planteadas en las revisiones sistemáticas sintetizadas. El propósito de este artículo fue proporcionar recomendaciones sobre cómo deben hacerse y reportarse las meta-revisiones. Método: se llevó a cabo una revisión de la literatura para identificar artículos relevantes sobre meta-revisiones, tanto metodológicos como aplicados. Resultados: a día de hoy la literatura sobre meta-revisiones recomienda seguir los mismos pasos que en las revisiones sistemáticas: (a) definición de la pregunta de investigación; (b) criterios de inclusión y exclusión; (c) búsqueda de la literatura; (d) extracción de datos; (e) valoración del riesgo de sesgo y de la calidad del reporte; (f) presentación de resultados; y (g) reporte de la meta-revisión. De especial interés es cómo abordar los problemas de dependencia entre las revisiones sistemáticas sintetizadas. Conclusiones: las meta-revisiones permiten combinar evidencia de múltiples revisiones sistemáticas de una forma eficiente. Esto permite transformar y resumir grandes cantidades de información. Al igual que en los estudios primarios y las revisiones sistemáticas, las meta-revisiones deben realizarse y reportarse cumpliendo con estándares mínimos de calidad.This study was funded by Agencia Estatal de Investigación (Government of Spain) and by FEDER Funds, AEI/10.13039/501100011033, grants no. PID2019-104033GA-I00 and PID2019-104080GB-I00

Relaciones entre irritabilidad neonatal y reacciones temperamentales hacia objetos físicos

The aim of this study was to examine the relationship between neonatal irritability and temperamental reactions to physical objects. The sample comprised 53 full-tem infants, from middle-clam families, without any pre or post-natal complications. The Neonatal Behavioral Assessment Scale (NBAS) (Brazelton, 1984) was administered to all infants at 4 days of life. Subsequently, ut three and six months of age, the infants were exposed to a variety of situations involving physical objects in order to examine the temperament at features they express. The results indicated a significant predictive relationship between neonatal irritability and infant's attentiveness and emotional tone, at three and six months of age, when faced with physical objects. These results are discussed in the light of present theoretical orientations on the topic.El propósito de la presente investigación ha sido estudiar la relación existente entre la irritabilidad neonutal y las reacciones temperamentales hacia objetos fisicos. Para ello se utilizó una muestra de 53 niños, nacidos a término, sin complicaciones pre ni posmatales y pertenecientes a un nivel socioeconómico medio. A estos bebés se les administró la Escala para la Evaluación del Comportamiento Neonatal (NBAS) (Brazelton, 1984) a los cuatro días de vida y, posteriormente, a los tres y seis meses de edad, fueron sometidos en el laboratorio a situaciones en las que se enfrentaban a objetos fisicos a fin de que expresaran sus características temperamentales. Los resultados indicaron que existe una relación predictiva significativa entre la irritabilidad neonatal y la atención y el tono emocional mostrado por los niños, tanto a los tres como a los seis meses de edad, en presencia de objetos fisicos. Estos resultados se discuten a la luz de las investigaciones actuales sobre el tema

El enfoque meta-analítico de generalización de la fiabilidad

Sentences such as «the test reliability is 0.80» are wrong. It is more appropriate to say «the test scores reliability in a given application of it is 0.80». The meta-analytic approach of reliability generalization pretends to show that reliability is an empirical property that varies from one test application to another. This recent meta-analytic approach is helping to make the researchers aware of the importance of reporting reliability estimates obtained from the own data and, of avoiding the malpractice of inducting reliability coefficients from other studies and previous applications of the test. The stages to carry out a reliability generalization study are presented: (a) formulating the problem, (b) searching for the studies, (c) coding studies, (d) statistical analysis and interpretation, and (e) publication. An updated overview of the statistical problems of this approach: (a) to transform versus not to transform the reliability coefficients, (b) to weight versus not to weight the coefficients, (c) how to manage statistical dependency among the coefficients, and (d) which statistical model is the most appropriate (fixed-, random-, and mixed-effects).ResumenFrases del tipo «la fiabilidad del test es 0.80» son incorrectas. Es más apropiado decir «la fiabilidad de las puntuaciones del test en una determinada aplicación del mismo es 0.80». El enfoque meta-analítico de generalización de la fiabilidad pretende demostrar que la fiabilidad es una propiedad empírica que varía de una aplicación a otra del test. Este nuevo enfoque meta-analítico está contribuyendo a concienciar a los investigadores sobre la importancia de aportar estimaciones de la fiabilidad con los propios datos y evitar inducciones de la fiabilidad. Se presentan las fases en las que se lleva a cabo un estudio de generalización de la fiabilidad: (a) formulación del problema, (b) búsqueda de los estudios, (c) codificación de los estudios, (d) análisis estadístico e interpretación y (e) publicación. Se presenta una visión actualizada de los problemas estadísticos de este enfoque: (a) transformar versus no transformar los coeficientes, (b) ponderar versus no ponderar los coeficientes, (c) cómo tratar la dependencia estadística entre los coeficientes y (d) cuál es el modelo estadístico más apropiado (efectos fijos, efectos aleatorios, efectos mixtos).AbstractSentences such as «the test reliability is 0.80» are wrong. It is more appropriate to say «the test scores reliability in a given application of it is 0.80». The meta-analytic approach of reliability generalization pretends to show that reliability is an empirical property that varies from one test application to another. This recent meta-analytic approach is helping to make the researchers aware of the importance of reporting reliability estimates obtained from the own data and, of avoiding the malpractice of inducting reliability coefficients from other studies and previous applications of the test. The stages to carry out a reliability generalization study are presented: (a) formulating the problem, (b) searching for the studies, (c) coding studies, (d) statistical analysis and interpretation, and (e) publication. An updated overview of the statistical problems of this approach: (a) to transform versus not to transform the reliability coefficients, (b) to weight versus not to weight the coefficients, (c) how to manage statistical dependency among the coefficients, and (d) which statistical model is the most appropriate (fixed-, random-, and mixed-effects)

Meta-análisis de Generalización de la Fiabilidad de la Dimensional Obssesive-Compulsive Scale

Background: The Dimensional Obsessive-Compulsive Scale (DOCS) is a well-established tool for assessing obsessive-compulsive symptomatology. A reliability generalization meta-analysis was conducted to estimate the average reliability of DOCS scores and how reliability estimates vary according to the composition and variability of samples, to identify study characteristics that can explain its variability, and to estimate the reliability induction rate. Method: A literature search produced 86 studies that met the inclusion criteria. Results: For the DOCS total scores, an average alpha coefficient of .925 was found (95% CI [.920,.931]), as well as mean alphas of .881, .905, .913, and .914 for Contamination, Responsibility, Unacceptable Thoughts, and Symmetry subscales, respectively. Moderator analysis showed that internal consistency fell significantly the more clinical and subclinical participants there were in the sample, and the larger the mean score in the sample for the total scores. The most important moderator variables for the subscales were the standard deviation and the mean of the scores. Conclusions: The DOCS scores exhibited excellent internal consistency reliability for both total score and subscale scores and DOCS is suitable both for research and clinical purposes.Antecedentes: la Dimensional Obsessive-Compulsive Scale (DOCS) (Abramowitz, 2010) es un instrumento para la evaluación del TOC. En este estudio se llevó a cabo un estudio de generalización de la fiabilidad de la DOCS para estimar un coeficiente alfa medio y analizar la heterogeneidad de estos y el influjo de distintas variables moderadores. Método: se realizó una búsqueda bibliográfica de 86 estudios incluibles. Resultados: para la escala total, se estimó un coeficiente alfa medio de .925, así como para sus subescalas: Contaminación .881, Responsabilidad con respecto al daño .905, Pensamientos inaceptables .913 y Simetría .913. Los análisis de moderadores revelaron que la consistencia interna disminuyó significativamente a mayor porcentaje de participantes clínicos o subclínicos en la muestra, así como a mayor puntuación media de la muestra para las puntuaciones totales; para las subescalas la desviación típica y la media de las puntuaciones fueron los moderadores más relevantes. Conclusiones: las puntuaciones de la DOCS muestran una excelente fiabilidad por consistencia interna, tanto para la escala global como para las subescalas, pudiendo usarse tanto para fines clínicos como de investigación.This research was funded with a grant from the Spanish Government, Ministerio de Economía, Industria y Competitividad, and FEDER funds (project n. PSI2016-77676-P)

A meta-analysis of the Mantel-Haenszel procedure in the detection of DIF in dichotomous items

d de Murcia El objetivo del presente estudio consiste en describir el estado actualde la investigación sobre la eficacia del procedimiento Mantel-Haenszel(MH) como técnica de detección del Funcionamiento Diferencial del Ítem(Differential Item Functioning, DIF) en ítems dicotómicos, y analizar la influencia de diversas variables sobre la potencia estadística y la tasa de Error Tipo I. Para ello, se ha llevado a cabo un estudio meta-analítico, siguiendouna estrategia de búsqueda de documentos en diversas bases de datos con laterminología Differential item functioning, DIF, Mantel-Haenszel y MH, hasta el año 2006. Por razones inherentes al objetivo del presente trabajo, se hanincluido solamente los estudios con datos simulados. Para cada trabajo sehan codificado las detecciones correctas de los ítems con DIF, así como los falsos positivos. Además se ha llevado a cabo un estudio detallado de las variables moderadoras que pueden afectar al funcionamiento de la técnica bajo estudio.The study describes the present state of research into the effectiveness of the Mantel-Haenszel technique (MH) to detect Differential Item Function ing (DIF) in dichotomous items, and analyses the influence of diverse variables on the statistical power and the Type I error rate. A meta-analysis was performed, running searches in various databases for the terms Differencial Item Functioning, DIF, Mantel-Haenszel and MH, up to 2006. Only studies with simulated data were included. For each study, the correct detections of items with DIF were coded, as well as the false positives. Moderator variables that may affect the procedure under study were also assessed

A meta-review of transparency and reproducibility-related reporting practices in published meta-analyses on clinical psychological interventions (2000–2020)

Meta-analysis is a powerful and important tool to synthesize the literature about a research topic. Like other kinds of research, meta-analyses must be reproducible to be compliant with the principles of the scientific method. Furthermore, reproducible meta-analyses can be easily updated with new data and reanalysed applying new and more refined analysis techniques. We attempted to empirically assess the prevalence of transparency and reproducibility-related reporting practices in published meta-analyses from clinical psychology by examining a random sample of 100 meta-analyses. Our purpose was to identify the key points that could be improved, with the aim of providing some recommendations for carrying out reproducible meta-analyses. We conducted a meta-review of meta-analyses of psychological interventions published between 2000 and 2020. We searched PubMed, PsycInfo and Web of Science databases. A structured coding form to assess transparency indicators was created based on previous studies and existing meta-analysis guidelines. We found major issues concerning: completely reproducible search procedures report, specification of the exact method to compute effect sizes, choice of weighting factors and estimators, lack of availability of the raw statistics used to compute the effect size and of interoperability of available data, and practically total absence of analysis script code sharing. Based on our findings, we conclude with recommendations intended to improve the transparency, openness, and reproducibility-related reporting practices of meta-analyses in clinical psychology and related areas.This research has been funded with a grant from the Ministerio de Ciencia e Innovación and by FEDER funds (Project n° PID2019-104080GB-I00)