Estudios actuales de literatura comparada. Teorías de la literatura y diálogos interdisciplinarios

Estos dos volúmenes constituyen una contribución al desarrollo de la comparatística que se realiza, principalmente, desde América Latina. El primer volumen está organizado en tres partes y consta de 22 artículos, mientras que el segundo reúne 24 capítulos.UCR::Vicerrectoría de Docencia::Artes y Letras::Facultad de Letras::Escuela de Filología, Lingüística y LiteraturaUCR::Vicerrectoría de Docencia::Ciencias Básicas::Sistema de Educación General::Escuela de Estudios GeneralesUCR::Vicerrectoría de Investigación::Sistema de Estudios de Posgrado::Artes y Letras::Maestría Académica en Literatura FrancesaUCR::Vicerrectoría de Investigación::Sistema de Estudios de Posgrado::Artes y Letras::Maestría Académica en Literatura LatinoamericanaUCR::Vicerrectoría de Docencia::Artes y Letras::Facultad de Letras::Escuela de Lenguas Moderna

Creation and Validation of Word Banks for the "General Knowledge Medicine Exam" (ECGM for its acronym in English) for Admission to the Postgraduate Medicine Specialties Program.

El objetivo de la investigación fue validar los ítems para la construcción de un banco de reactivos que permita el ensamblaje de futuras versiones de la prueba ECGM empleado en la primera etapa del concurso nacional para el ingreso al Programa de Posgrado en Especialidades Médicas. En la medida en que esta actividad se abocó a desarrollar una prueba de altas consecuencias, el ECGM - convocatoria 2015-2016, se procuró seguir las etapas según el marco teórico propuesto, observando, de la manera más rigurosa posible, las recomendaciones de la aplicación del año anterior y, muy especialmente, los ajustes necesarios que el proceso requiriera. Las etapas planteadas fueron: 1.Planificación de la prueba y aclaración (revisión) del propósito de la misma 2.Actualización de la tabla de especificaciones 3.Construcción y juzgamiento de ítems 4.Ensamblaje y embalaje de la prueba 5.Aplicación de la prueba bajo condiciones estandarizadas 6.Calificación de la prueba y manejo de las apelaciones 7.Análisis e investigación para recopilar evidencias de validez y confiabilidad 8.Alimentación y mantenimiento del banco de ítems 9.Generación y/o adaptación de manuales técnicos o protocolos El trabajo realizado durante esta actividad de investigación hizo posible el ensamblaje y la aplicación exitosa del ECGM en el año 2016, de manera que se pudo evaluar los conocimientos generales en medicina de 1.805 profesionales provenientes de las diferentes escuelas de Medicina del país Todos estas personas aspiraban a ingresar a alguna de las especialidades impartidas en el PPEM. La calidad y la organización del proceso hicieron posible una meticulosa recolección de la información en condiciones que garantizaron la estandarización del proceso. Lo anterior respalda la generación de datos y los análisis que dan cuenta de una adecuada medición del constructo meta. Por su parte, el cálculo del indice de discriminación permitió detectar aquellos ítems que no aportaron a la consistencia interna del instrumento. La exclusión de estos ítems en la calificación hubiera permitido elevar el valor del coeficiente de confiabilidad (alfa de Cronbach) del conjunto de ítems comunes a las 4 fórmulas de 0,68 a 0,75, siendo este último un valor más aceptable para una prueba de altas consecuencias como el ECGM. Ante la necesidad de mejorar la capacidad para discriminar entre personas con niveles de habilidad bajos y altos, con el propósito de seleccionar a aquellas que pasarán a la segunda etapa del proceso de ingreso al PPEM, se recomienda que, en aplicaciones futuras, se excluya los ítems con baja discriminación en una etapa previa a la calificación final, de manera que el instrumento tenga más poder para seleccionar a aquellas personas con mayor puntaje en relación con el constructo medido. El análisis de dificultad del instrumento arrojó que, si bien casi la mitad de los ítems de la prueba aplicada en 2016 pueden considerarse como fáciles, sí se contó con una adecuada representación de ítems con dificultad alta. La poca representatividad de ítems con dificultad media es un reto a tomar en cuenta en futuros procesos de construcción de ítems y de ensamblaje de la prueba, de manera que se promueva más variabilidad de la dificultad en los diferentes ítems del instrumento.ABSTRACT:The objective of the research was to validate the items for the creation of a reagents bank that allows to put together future versions of the ECGM exam used in the first stage of the national exam for the admission to the Postgraduate Medicine Specialties Program. In as much as this activity focused on developing a high consequences test, the 2015-2016 ECGM-call, it sought to follow the sequence of stages according to the theoretical framework proposed while observing rigorously the recommendations from the application of the test the previous year and especially the adjustments the process required. The established stages were: 1.Planning the test and clarifying (review) its purpose 2.Updating the specifications table 3.Creating and evaluating the items 4.Assembling and packing the test 5.Giving the test under standardized conditions 6.Grading the test and handling appeals 7.Analyzing and investigating in order to collect valid and reliable evidence 8.Entering information and maintaining the item bank 9.Generating and/or adapting technical or protocol manuals The work carried out during this research activity made it possible to put together and successfully give the ECGM in 2016, so that the general medical knowledge of 1.805 professionals from the different Medicine Schools from around the country could be evaluated. All these people aspired to be admitted to the specialties taught at the PPEM. The quality and organization of the process made a meticulous collection of information possible under conditions that guaranteed the standardization of the process. The previously stated supports generating data, and the analysis that was provided accounts for an adequate measurement of the meta construct. As for the calculation of the discrimination index, it allowed to detect those items that did not contribute to the internal constancy of the instrument. The exclusion of those items in the grading process would have allowed to raise the value of the reliability coefficient (Cronbach's Alpha) of the set of items common to the 4 formulas of 0,68 to 0,75. The latter being a more acceptable value for a high-stakes test like the ECGM. In view of the need to improve the ability to discriminate between people with low and high skill levels, and in order to select those that will move to the second stage of admissions to the PPEM, it is recommended, in future applications, to exclude items with low discrimination in a stage prior to the final grade, so that the instrument has a higher probability of selecting those people with higher scores related to the measured construct. The analysis of the difficulty of the instrument showed that, although almost half of the items of the test applied in 2016 can be considered as easy, it had an adequate amount of high difficulty items. The low amount of medium difficulty items is a challenge to take into account in future processes when creating items and assembling the test, so as to promote more variability of the difficulty in the different items of the instrument.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigación en Educación (INIE

State of the Art on Evaluation Models and Measurement of Higher Education Programs in the Field of Health.

Mediante esta actividad de investigación, cuyo objetivo general fue Sistematizar las experiencias registradas en publicaciones recientes relacionados con modelos de evaluación y medición de programas de formación universitaria en el área de la Salud, se pretendió registrar publicaciones recientes relacionadas con modelos de evaluación y medición de programas de formación universitaria en el área de la Salud. Para ello se utilizó la metodología planteada por Gómez-Luna, Fernando-Navas, Aponte-Mayor y Betancourt-Buitrago (2014), en la cual se efectúa una revisión bibliográfica por medio de cuatro fases: la definición del problema, la búsqueda de información en bases de datos científicas, la organización de la información y el análisis de lo recopilado. Los resultados obtenidos de este estudio fueron: 62 publicaciones que comprendieron desde el año 2006 hasta el 2017. Las técnicas de evaluación encontradas que han sido utilizadas con mayor frecuencia son: la evaluación clínica objetiva estructurada (OSCE), la Mini-entrevista múltiple (MMI), el Mini-CEX, los exámenes escritos y orales. Estos referentes teóricos y metodológicos podrán sustentar un posterior análisis de la situación actual del modelo de admisión al Programa de Posgrado en Especialidades Médicas de la Universidad de Costa Rica. Entre las conclusiones se mencionan: • En América Latina, nueve países cuentan con un examen de ingreso centralizado a nivel nacional para incorporarse a posgrados en las especialidades médicas (Bolivia, Honduras, Costa Rica, México, República Dominicana, Chile, Paraguay, Perú y Uruguay), de igual modo que sucede en otros países del mundo (Duré, Dursi, Raffoul y Caffarena, 2014). Adicionalmente este tipo de pruebas puede eventualmente ser acompañadas por otros instrumentos comoportafolios, la evaluación clínica objetiva estructurada, las rúbricas, el ejercicio de examen clínico reducido (Arenis y Pinilla, 2016), exámenes orales, resolución de casos clínicos, uso de pacientes virtuales, entre otros (Baradaran, Salek, Nikasa, 2015). • La combinación de pruebas según Baradaran, Salek, Nikasa (2015) es una herramienta confiable para evaluar las habilidades de razonamiento clínico en estudiantes de medicina, aunque estos resultados pueden no ser generalizables para toda la población de estudiantes. Para estos autores el razonamiento clínico es una acción en la que la información relativa a un problema clínico se mezcla con el conocimiento y la experiencia previa de los médicos para solucionar un determinado problema. Este trabajo propicia que se piense en situaciones clínicas complejas, las cuales conducen a la toma de decisiones.ABSTRACT:Through this research activity, whose general objective was to systematize the experiences recorded in recent publications related to models of evaluation and measurement of university training programs in the field of Health, it was intended to register recent publications related to models of evaluation and measurement of university training programs in the field of Health. For this purpose, the methodology proposed by Gómez-Luna, Fernando-Navas, Aponte-Mayor y Betancourt-Buitrago (2014) was used in which a literature review was carried out in four phases: establishing the problem, searching for information in scientific databases, organizing information and analyzing the collected data. The obtained results from the study were: 62 publications covering the years 2006 to 2017. The most common evaluation techniques are: the structured objective clinical evaluation (OSCE). the multiple mini-interviews (MMI), the mini.CEX, the written and oral examinations. These theoretical and methodological referents could support further analysis of the current situation of the admissions model to the Postgraduate Program in Medical Specialties of the University of Costa Rica. Among the conclusions mentioned: • In Latin America, nine countries have an entrance exam centralized at a national level to study postgraduate courses in medical specialties (Bolivia, Honduras, Costa Rica, Mexico, Dominican Republic, Chile, Paraguay, Peru and Uruguay), in the same way as in other countries of the world (Duré, Dursi, Raffoul and Caffarena, 2014) In addition, this type of test may eventually be accompanied by other instruments such as portfolios, the structured objective clinical evaluation, rubrics, the reduced clinical examination exercises (Arenis y Pinilla, 2016), oral exams, clinical case resolution, use of virtual patients, among others (Baradaran, Salek, Nikasa, 2015). • The combination of tests according to Baradaran, Salek, Nikasa (2015) is a reliable tool to evaluate clinical reasoning skills in medical students although these results may not be generalized for all the student population. For these authors, the clinical reasoning is an action in which the information related to a clinical problem combines with the doctor's knowledge and previous experience to solve a specific problem. This work encourages to consider complex clinical situation that lead to decision-making.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigación en Educación (INIE

Evidence of validity and reliability in the admission procedures to the Graduate Program in Medical Specialties of the University of Costa Rica.

El propósito del estudio fue: Generar evidencias de validez y de confiabilidad que respalden la toma de decisiones en cuanto a la calidad técnica de los procedimientos de admisión al programa de Posgrado de Especialidades Médicas (PPEM-UCR). El estudio consta de dos partes: la aplicación del Examen de conocimientos generales en medicina (ECGM) y las pruebas específicas de cada una de las especialidades. Para la realización de esta investigación se implementaron las siguientes etapas: Ensamblaje del ECGM, Logística y aplicación, Realización de análisis psicométricos a los datos generados a partir de la aplicación del ECGM 2018, Calificación de las respuestas, Reporte de resultados y selección de los ítems para futuras aplicaciones. La población participante fueron todas las personas que se inscribieron al proceso de admisión al posgrado y culminaron dicho proceso con la realización del ECGM. Mediante esta investigación se logró identificar las principales evidencias de validez y de confiabilidad sobre los procedimientos de admisión al PPEM-UCR, lo cual, a su vez, ha permitido verificar tanto la calidad del proceso como las oportunidades de mejora que pueden implementarse para garantizar su calidad técnica en el futuro. Las principales conclusiones que respaldan la afirmación anterior se presentan a continuación. El equipo investigador brindó asesoría y acompañamiento al equipo administrativo a cargo del ensamblaje y aplicación de la prueba en el 2018, para garantizar la aplicación de lineamientos técnicos que garantizaran la calidad de la evaluación realizada mediante este instrumento. Previamente a este procesos, el equipo investigador capacitó y coordinó a las personas docentes a cargo de la construcción de ítems, así como a los equipos a cargo de los diferentes juzgamientos de ítems, lo que permitió contar con 4 fórmulas de examen compuestas por reactivos que pudieran medir de forma adecuada el constructo meta: conocimientos generales en medicina. Gracias al acompañamiento brindado, la aplicación del ECGM 2018 se dio bajo condiciones de estandarización, lo que permitió que la totalidad de las personas fuera evaluada bajo condiciones de equidad en cuanto a disposición de tiempo y condiciones ambientales, independientemente de la sede de aplicación asignada. Para lograr esta estandarización, fue clave la capacitación de las personas coordinadoras de cada sede, así como de las personas aplicadores de cada aula.ABSTRACT: The purpose of the study was: To generate evidence of validity and reliability to support decision-making regarding the technical quality of the admission procedures to the Postgraduate Medical Specialties program (PPEM-UCR). The study consists of two parts: the application of the Examination of general knowledge in medicine (ECGM) and the specific tests of each of the specialties. To carry out this research, the following stages were implemented: Assembly of the ECGM, Logistics and application, Carrying out psychometric analysis to the data generated from the application of the ECGM 2018, Qualification of the responses, Report of results and selection of items for future applications. The participating population were all the people who signed up for the postgraduate admission process and completed this process with the performance of the ECGM. Through this research, it is possible to identify the main evidence of validity and reliability on the admission procedures to the PPEM-UCR, which, in turn, has allowed to verify both the quality of the process and the opportunities for improvement that can be implemented to ensure their technical quality in the future. The main conclusions that support the above claim are presented below. The research team provided advice and support to the administrative team in charge of the assembly and application of the test in 2018, to guarantee the application of technical guidelines that would guarantee the quality of the evaluation carried out using this instrument. Prior to this process, the research team trained and coordinated the teachers in charge of the construction of items, as well as the teams in charge of the different judgments of items, which allowed having 4 examination formulas made up of items could adequately measure the target construct: general knowledge in medicine. Thanks to the support provided, the application of the ECGM 2018 was given under standardization conditions, which allowed all of the people to be evaluated under conditions of equity in terms of availability of time and environmental conditions, regardless of the assigned application site. To achieve this standardization, the training of the coordinators of each headquarters, as well as of the applicators of each classroom, was key.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigación en Educación (INIE

Evidence of validity and reliability in the admission procedures to the Graduate Program in Medical Specialties of the University of Costa Rica.

El propósito del estudio fue: Generar evidencias de validez y de confiabilidad que respalden la toma de decisiones en cuanto a la calidad técnica de los procedimientos de admisión al programa de Posgrado de Especialidades Médicas (PPEM-UCR). El estudio consta de dos partes: la aplicación del Examen de conocimientos generales en medicina (ECGM) y las pruebas específicas de cada una de las especialidades. Para la realización de esta investigación se implementaron las siguientes etapas: Ensamblaje del ECGM, Logística y aplicación, Realización de análisis psicométricos a los datos generados a partir de la aplicación del ECGM 2018, Calificación de las respuestas, Reporte de resultados y selección de los ítems para futuras aplicaciones. La población participante fueron todas las personas que se inscribieron al proceso de admisión al posgrado y culminaron dicho proceso con la realización del ECGM. Mediante esta investigación se logró identificar las principales evidencias de validez y de confiabilidad sobre los procedimientos de admisión al PPEM-UCR, lo cual, a su vez, ha permitido verificar tanto la calidad del proceso como las oportunidades de mejora que pueden implementarse para garantizar su calidad técnica en el futuro. Las principales conclusiones que respaldan la afirmación anterior se presentan a continuación. El equipo investigador brindó asesoría y acompañamiento al equipo administrativo a cargo del ensamblaje y aplicación de la prueba en el 2018, para garantizar la aplicación de lineamientos técnicos que garantizaran la calidad de la evaluación realizada mediante este instrumento. Previamente a este procesos, el equipo investigador capacitó y coordinó a las personas docentes a cargo de la construcción de ítems, así como a los equipos a cargo de los diferentes juzgamientos de ítems, lo que permitió contar con 4 fórmulas de examen compuestas por reactivos que pudieran medir de forma adecuada el constructo meta: conocimientos generales en medicina. Gracias al acompañamiento brindado, la aplicación del ECGM 2018 se dio bajo condiciones de estandarización, lo que permitió que la totalidad de las personas fuera evaluada bajo condiciones de equidad en cuanto a disposición de tiempo y condiciones ambientales, independientemente de la sede de aplicación asignada. Para lograr esta estandarización, fue clave la capacitación de las personas coordinadoras de cada sede, así como de las personas aplicadores de cada aula.ABSTRACT: The purpose of the study was: To generate evidence of validity and reliability to support decision-making regarding the technical quality of the admission procedures to the Postgraduate Medical Specialties program (PPEM-UCR). The study consists of two parts: the application of the Examination of general knowledge in medicine (ECGM) and the specific tests of each of the specialties. To carry out this research, the following stages were implemented: Assembly of the ECGM, Logistics and application, Carrying out psychometric analysis to the data generated from the application of the ECGM 2018, Qualification of the responses, Report of results and selection of items for future applications. The participating population were all the people who signed up for the postgraduate admission process and completed this process with the performance of the ECGM. Through this research, it is possible to identify the main evidence of validity and reliability on the admission procedures to the PPEM-UCR, which, in turn, has allowed to verify both the quality of the process and the opportunities for improvement that can be implemented to ensure their technical quality in the future. The main conclusions that support the above claim are presented below. The research team provided advice and support to the administrative team in charge of the assembly and application of the test in 2018, to guarantee the application of technical guidelines that would guarantee the quality of the evaluation carried out using this instrument. Prior to this process, the research team trained and coordinated the teachers in charge of the construction of items, as well as the teams in charge of the different judgments of items, which allowed having 4 examination formulas made up of items could adequately measure the target construct: general knowledge in medicine. Thanks to the support provided, the application of the ECGM 2018 was given under standardization conditions, which allowed all of the people to be evaluated under conditions of equity in terms of availability of time and environmental conditions, regardless of the assigned application site. To achieve this standardization, the training of the coordinators of each headquarters, as well as of the applicators of each classroom, was key.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigación en Educación (INIE