El proceso de revisión por pares

Peer review is considered one of the fundamental pillars of the scientific communication process. It has spread to all scientific fields, including the social sciences and humanities, and journals that do not include the process are barely regarded as scientific. Despite this, the process has been criticized for its limitations and the inconsistent manner in which it is applied. The objective of the chapter is, first and foremost, to describe the characteristics and stages of the peer review process and the actors involved, and, secondly, to analyse its main constraints and describe the alternatives that are therefore being considered

Mitigación del Impacto de las Opiniones de Desacuerdo en el Proceso de Revisión por Pares entre Estudiantes de una Segunda Lengua y Hablantes Nativos en una Clase de Escritura a Nivel Universitario

Peer review is now a commonplace practice in process-oriented writing instruction. A crucial aspect of peer review is assessing another classmate’s work, which encompasses the act of disagreement. Given its prevalence in the classroom, it is necessary to analyze how L2 learners mitigate disagreement in the context of peer review with other L2 learners and native speakers. The present paper presents a qualitative analysis of action research from an introductory English writing class at the university level including native speakers of English and international students from different linguistic and cultural backgrounds. The conversation-based peer review sessions were analyzed for various mitigation strategies including token agreement, hedging, prefacing positive remarks and requests for clarification. The analysis shows that L2 learners and native speakers of English use similar mitigation strategies, and it demonstrates the coconstruction of meaning in peer review interactions.Actualmente la revisión por pares es una práctica común en la instrucción que orienta los procesos de escritura. Un aspecto importante de la revisión por pares, es evaluar el trabajo de otro compañero de clase, lo cual puede provocar opiniones de desacuerdo. Dada la incidencia de esta situación en el aula de clase, es necesario  analizar cómo los estudiantes de una segunda lengua pueden mitigar el impacto de las opiniones de desacuerdo generadas durante el ejercicio de revisión por pares con otros estudiantes de una segunda lengua y con hablantes nativos. Este artículo presenta un análisis cualitativo de un proyecto de investigación acción desarrollado en una clase introductoria de escritura de inglés a nivel universitario, con la participación de hablantes nativos de inglés  y estudiantes universitarios de diferentes orígenes lingüísticos y culturales. El análisis de las conversaciones generadas durante el proceso de revisión por pares fue realizado teniendo en cuenta diversas estrategias de mitigación, entre ellas, llegar a acuerdos simbólicos, manifestar con cortesía la opinión de desacuerdo, realizar comentarios positivos,  y solicitar clarificación. El análisis muestra que los estudiantes de una L2 y los hablantes nativos de inglés usan estrategias de mitigación similares y demuestra la construcción conjunta de significado en las interacciones del proceso de revisión por pares

Peer Review for Improving Empathy and Transversal Competences

Este trabajo presenta un caso de estudio que muestra cómo la revisión por pares entre iguales puede ser usada para el desarrollo de la empatía. La experiencia ha sido llevada a cabo durante los 2 últimos años con una población de 250 alumnos usando la herramienta virtual Taller de Moodle para implementar un mecanismo de revisión por pares que sirva como herramienta de aprendizaje y desarrollo de la empatía entre alumno y profesor, así como entre los propios alumnos. La metodología ha sido usada en 2 de las 3 partes de la asignatura, y una parte ha sido utilizada como grupo de control. Los resultados académicos y la encuesta de satisfacción muestran su utilidad como herramienta de aprendizaje, de mejora de la capacidad empática y de nuevas competencias en los estudiantes que serán muy útiles para su futuro laboral. Los alumnos han obtenido mejores calificaciones en las partes de la asignatura donde se ha utilizado esta técnica que en el grupo de control. Este hecho junto con la mejora de las competencias transversales también ha sido percibido por los estudiantes y expresado en los cuestionarios de satisfacción. Como conclusión, podemos afirmar que el uso de la revisión por pares entre iguales es una buena herramienta para la mejora del aprendizaje, de las capacidades empáticas y de otras competencias actitudinales transversales.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Measuring review report quality in health research : development and validation of ARCADIA

Tesi en modalitat de cotutela: Universtat Politècnica de Catalunya i Université de Paris. Aplicat embargament des de la data de defensa fins el 31 de desembre de 2021Editorial peer review is the gateway to scientific publication. It was established to ensure that research papers were vetted by independent experts before they are published. Despite the importance of this process, its impact is still considered suboptimal and it needs to be improved. For this purpose, we need appropriate outcome measures, particularly a validated tool that clearly defines the quality of peer review reports. The final aim of the present PhD project was to develop and validate a new tool for assessing the quality of peer review reports in biomedical research. As the starting point for the development of a new tool, we performed a systematic review aimed to identify and describe the existing tools used to assess peer review report quality in biomedical research. We identified a total number of 24 tools: 23 scales and 1 checklist. None of the tools reported a definition of ‘quality’. Only one described the scale development and 10 provided measures of validity and reliability. We classified the quality components of the 18 tools with more than one item into 9 main quality domains and 11 subdomains. Secondly, we formed a steering committee composed of five members with diverse expertise, which defined the quality of peer review reports. We then conducted an online survey intended for biomedical editors and authors to 1) determine if participants endorsed the proposed definition of peer review report quality; 2) identify the most important items to include in the tool, and 3) identify any missing items. Based on the participants’ qualitative and quantitative answers, the steering committee modified the initially proposed definition of peer review report quality, reviewed all items, and ultimately, drafted and refined the final version of the tool. The ARCADIA (Assessment of Review reports with a Checklist Available to eDItors and Authors) tool was finally developed. The tool is a checklist that includes 14 items encompassed in 5 domains. Each item should be ticked as ‘Yes’ or ‘No’. However, an item could also be assessed as ‘Not applicable’ (NA) depending on the reviewer’s expertise, type of study, type of biomedical journal, availability of study data, materials and protocol. Finally, we tested the tool and evaluated its acceptability, reliability, and validity. ARCADIA was validated by a heterogeneous sample of both biomedical editors and authors using a sample of peer review reports from two different biomedical journals (i.e., The BMJ and BMJ Open). Field-testing demonstrated that the psychometric properties of ARCADIA are not entirely satisfactory. Results from the validation study should be used to inform a new version of the ARCADIA tool, which should be also validated in a real-editorial setting using peer review reports associated with manuscripts with different study designs and from different types of journals. This thesis reports the development and validation of ARCADIA, a new tool for assessing the quality of peer review reports in biomedical research. ARCADIA constitutes the first tool that has been systematically developed to assess the quality of peer review reports and its validation is based on a large and diverse sample of biomedical editors and authors. This tool could be used regularly by editors to evaluate the reviewers' work, and also as an outcome when evaluating interventions to improve the peer review process.La revisión editorial por pares es la puerta de entrada a la publicación científica. Se estableció para garantizar que los artículos de investigación fueran examinados por expertos independientes antes de su publicación. A pesar de la importancia de este proceso, su impacto aún se considera subóptimo y debe mejorarse. Para este propósito, necesitamos outcomes apropiados, particularmente una herramienta validada que defina claramente la calidad de los informes de revisión por pares. El objetivo final del presente proyecto de doctorado fue desarrollar y validar una nueva herramienta para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. Como punto de partida para el desarrollo de una nueva herramienta, realizamos una revisión sistemática destinada a identificar y describir las herramientas existentes que se utilizan para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. Identificamos un total de 24 herramientas: 23 escalas y 1 lista de comprobación. Ninguna de las herramientas incorporó una definición de `calidad¿. Solo una describió el desarrollo de la escala y 10 proporcionaron medidas de validez y confiabilidad. Clasificamos los componentes de calidad de las 18 herramientas con más de un elemento en 9 dominios de calidad principales y 11 subdominios. En segundo lugar, formamos un comité directivo compuesto por cinco miembros con experiencia diversa que definieron la calidad de los informes de revisión por pares. Luego, realizamos una encuesta online destinada a editores y autores biomédicos para 1) determinar si los participantes respaldaban la definición propuesta de calidad del informe de revisión por pares; 2) identificar los ítems más importantes para incluir en la herramienta; y 3) identificar cualquier ítem faltante. Sobre la base de las respuestas cualitativas y cuantitativas de los participantes, el comité directivo modificó la definición propuesta inicialmente de calidad del informe de revisión por pares, revisó todos los ítems y, por último, redactó y perfeccionó la versión final de la herramienta. Seguidamente se desarrolló la herramienta ARCADIA (Assessment of Review reports with a Checklist Available to eDItors and Authors). La herramienta es una lista de comprobación que incluye 14 elementos englobados en 5 dominios. Cada elemento debe marcarse como "Sí" o "No". Sin embargo, un elemento también podría evaluarse como `No aplicable¿ (NA) según la experiencia del revisor, el tipo de estudio, el tipo de revista biomédica, la disponibilidad de los datos del estudio, los materiales y el protocolo. Finalmente, probamos la herramienta y evaluamos su aceptabilidad, fiabilidad y validez. ARCADIA fue validada por una muestra heterogénea de editores y autores biomédicos utilizando informes de revisión por pares de dos revistas biomédicas diferentes (es decir, The BMJ y BMJ Open). Las pruebas de campo demostraron que las propiedades psicométricas de ARCADIA no son del todo satisfactorias. Los resultados del estudio de validación deben usarse para impulsar una nueva versión de la herramienta ARCADIA, que también debe validarse en un entorno editorial real utilizando informes de revisión por pares asociados con manuscritos con diferentes diseños de estudio y de diferentes tipos de revistas. Esta tesis informa sobre el desarrollo y validación de ARCADIA, una nueva herramienta para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. ARCADIA constituye la primera herramienta que se ha desarrollado sistemáticamente para evaluar la calidad de los informes de revisión por pares, validada con una amplia y diversa muestra de editores y autores biomédicos. Los editores podrían utilizar esta herramienta con regularidad para evaluar el trabajo de los revisores y también como variable respuesta al evaluar intervenciones para mejorar el proceso de revisión por pares.Postprint (published version

La revisión por pares evaluadores en revistas científicas

Con la aparición de Internet el número de revistas científicas se ha incrementado de manera exponencial a nivel global, lo que ha traído como consecuencia un auge en la divulgación científica a través de la publicación de artículos. Este nuevo escenario ha generado que los editores responsables de estas publicaciones se replanteen sus políticas de revisión, con la finalidad de garantizar la calidad, factibilidad, consistencia y credibilidad de las investigaciones que se publican