Test item taxonomy based of functional criteria

There are many taxonomies that try to classify and apply some consistency to the very many item types currently in existence. They all have various limitations, however, such as ambiguous classification criteria, little discrimination between format types, and referring almost exclusively to pen-and-paper or screen-based items. This paper aims to overcome these limitations by proposing a new item format taxonomy based on functional criteria. Current classifications are reviewed, the criteria they are based on are examined and their limitations are identified. The proposed alternative classification identifies four essential components of items according to function: the structure of the included content, the device used for transmission of the question to the examinee, the device for receiving the response, and the instructions to the examinee about how to understand and respond to the item. The combination of different facets of these four components allows any format of item to be classified, both existing formats and those that may appear in the future. In addition to systematically and coherently classifying items, this new taxonomy may also be of great utility in the construction and research of new items. The proposed model is illustrated by examples showing how specific items are classified, using a checklist as a guide.Ministerio de Economía y Competitividad de España PSI2014-56114-PMinisterio de Economía y Competitividad de España PSI2017-85724-

Evaluación de aspectos docentes y materiales utilizados en la asignatura de Fundamentos Metodológicos en Psicología

Desde que empezó a impartirse en el curso 1994-95 en la asignatura de Fundamentos Metodológicos en Psicología se viene desarrollando una tarea sistemática con el objetivo de explicitar unos criterios comunes para la docencia, materiales y evaluación. En el presente trabajo se analizan las valoraciones que realizan los alumnos sobre distintos aspectos docentes de la citada asignatura, referidos al manual que por primera vez se ofrecía a los alumnos, así como a los materiales de prácticas y a la docencia impartida por cada profesor. Para ello se aplicó a los alumnos asistentes a prácticas en la última semana de clase una encuesta informatizada en la que debían valorar en una escala de 1 a 5 la adecuación de esos diversos aspectos docentes. En primer lugar los datos muestran una adecuada consistencia interna de las respuestas dadas al cuestionario. Con esa base los resultados muestran una valoración media favorable en todos los aspectos, aunque algo inferior a valoraciones encontradas en cursos anteriores. En todo caso, las valoraciones mejoran en aquellos alumnos que han cursado previamente la asignatura, estando algunas relacionadas con el profesor que la imparte y la motivación que procura

Validity of academic work indicators in the projected European Higher Education Area

The competencies achieved, the quantity and distribution of the time employed, and the activities carried out by the student are fundamental elements of the future European Higher Education Area. The present study explores, in a specific course, the current level of some indicators of such elements and their validity. The results highlight the irrelevance of the temporal aspects with respect to final performance, and the relevance of the academic work activities to performance over the length of the course. Each indicator is discussed, and it is intended to further those which result to be relevant for the success of the student in the future, and to limit those temporal elements to a mere function of organization of the universities

Eta cuadrado generalizado para comparaciones múltiples en diseños entregrupos

Psychological and educational researchers are experiencing many practical difficulties in following the guidelines of the American Psychological Association (APA) for their statistical analyses: one such difficulty is the reporting of an effect-size measure along with each test of statistical significance (APA, 2010). The problem is exacerbated when researchers focus on contrast analysis instead of omnibus tests and when the Type-I error rate per comparison has to be adjusted. Method: Several reasons for this problem are discussed, with emphasis on the facts that researchers may be presented with too many optional effect-size measures with varying degrees of adequacy in several designs, and common statistical packages fail to provide appropriate effect-size measures for contrast analysis. This study proposes specific procedures (also implemented in spreadsheets) to compute generalized eta squared for various kinds of hypotheses, either general or specific, for one-factor and factorial between-group designs, and with manipulated and/or measured factors. Conclusions: Finally, conclusions are drawn concerning the need to take into account the kind of design and the kind of hypothesis in order to calculate comparable effect-size indexes across different types of studies and to prevent an overestimation of effect size.Antecedentes: los investigadores en Psicología y Educación están teniendo muchas dificultades prácticas para seguir la directriz de la Asociación Americana de Psicología (APA) de aportar una medida de tamaño de efecto junto con cada prueba de significación (APA, 2010). El problema se agrava cuando se realizan contrastes a priori en lugar de pruebas ómnibus y cuando la tasa de error de Tipo I por comparación tiene que ser ajustada. Método: se discuten diversas razones para ello, como la existencia de muchas medidas diferentes de tamaño de efecto y el hecho de que los paquetes estadísticos comunes como SPSS no proporcionan medidas apropiadas para las comparaciones múltiples. Resultados: se proponen procedimientos específicos (también implementados en hojas de cálculo) para calcular el índice eta cuadrado generalizado para diversos tipos de hipótesis, generales o específicas; tipos de diseños, univariables o factoriales; y con factores manipulados y/o medidos. Conclusiones: finalmente se concluye sobre la necesidad de tener en cuenta el tipo de diseño y el tipo de hipótesis para obtener índices de tamaño de efecto comparables entre diferentes tipos de investigaciones y que eviten una sobreestimación del mismo

New guidelines for developing multiple-choice items

The rigorous construction of items constitutes a field of great current interest for psychometric researchers and practitioners. In previous studies we had reviewed and analyzed the existing guidelines for the construction of multiple-choice items. From this review emerged a new proposal for guidelines that is now, in the present work, subjected to empirical assessment. This assessment was carried out by users of the guidelines and by experts in item construction. The results endorse the proposal for the new guidelines presented, confirming the advantages in relation to their simplicity and efficiency, as well as permitting identification of the difficulties involved in drawing up and organizing some of the guidelines. Taking into account these results, we propose a new, refined set of guidelines that constitutes a useful, simple and structured instrument for the construction of multiple-choice items

Directrices para el desarrollo de ítems de elección múltiple basadas en validez

Background: Many different guidelines have been presented for the construction of multiple choice items. Those guidelines have been based on the observation of errors when constructing items but not on any clear scientifi c criterion. Our main objective was to draw up guidelines for the development of multiple choice items based on validity criteria. Method: We used the properties of adjustment, precision, and differentiation, applying them to three basic phases of instrument construction: the defi nition of the objective and its context; their expression in the instrument and item stem; and the elaboration of response options. Results: We have combined these properties and phases to give nine general guidelines with a fi rm theoretical footing. Conclusions: Finally, we have written a checklist with twentyfour points to check how far the measurement instruments comply with the proposed guidelines.Antecedentes: se han propuesto diferentes directrices para la construcción de ítems de elección múltiple, basadas sobre todo en la observación de errores al construir los ítems pero no en algún criterio científi co claro. El objetivo central del presente trabajo es generar directrices para el desarrollo de ítems de elección múltiple basadas en criterios de validez. Método: se utilizan las propiedades de ajuste, precisión y diferenciación, aplicándolas a tres etapas fundamentales del desarrollo de instrumentos de evaluación: defi nición del objetivo y su contexto, su implementación en el instrumento y enunciado de los ítems, y elaboración de las opciones de respuesta. Resultados: la combinación entre tales propiedades y etapas da lugar a nueve directrices generales que, además de quedar fundamentadas, permiten resolver cualquier duda que surja a quienes desarrollan ítems de elección múltiple. Conclusiones: para facilitar esa labor, las directrices son complementadas con una lista de veinticuatro cuestiones con la que comprobar el grado en que los instrumentos de medida cumplen las directrices propuestas

Guidelines for the construction of multiple choice test items

Los ítems de elección múltiple son utilizados en numerosos contextos de evaluación psicológica y educativa. Con demasiada frecuencia las críticas que se hacen a este tipo de ítems tienen más que ver con su construcción defectuosa que con los inconvenientes del formato en sí mismo, que resulta objetivo, fácil y económico de corregir, y muy versátil, adaptándose a todo tipo de contextos y contenidos. El presente artículo destaca la necesidad de contar con un conjunto de directrices eficientes que guíen la construcción de dichos ítems, sustituyendo el modo intuitivo y poco sistemático seguido con frecuencia. Se revisan las directrices existentes y se identifican los diversos problemas que dificultan su aprovechamiento, tales como el elevado número de directrices propuestas, redundancias entre ellas y ciertas imprecisiones. A partir de esa revisión se seleccionan las directrices de contenido relevante y se reorganizan en un conjunto más parsimonioso y estructurado constituido por doce directrices básicas, acompañadas de ejemplos e ilustraciones. Se espera que esta propuesta resulte de utilidad como guía para los profesionales e investigadores que deseen construir ítems de elección múltiple o analizar los ya existentesMultiple choice test items are currently used in several areas of psychological and educational assessment. All too often, criticism made of these items concentrates more on their defective construction than the difficulties with the format itself; despite this, the format is objective, easily and cheaply corrected, and its versatility makes it adaptable to many contexts and contents. This paper highlights the need for a set of effective guidelines to assist in the construction of these items, thereby replacing the intuitive and unsystematic approach generally used. Existing guidelines are revised, as are several questions that stop them working properly, such as the excessive number of guidelines, overlapping between them and inaccuracies. Following this revision, the guidelines with important content are selected and reorganized in a more practical and structured set consisting of twelve basic guidelines, accompanied by examples and illustrations. It is hoped that this proposal will be useful as a guide for teachers or researchers who have to build multiple choice items, or analyze already existing ones

Visitas a las páginas de una web docente universitaria

El trabajo estudia las visitas recibidas durante un año y medio por las diferentes páginas de una web utilizada como herramienta complementaria para la docencia de una materia en una universidad presencial. Encuentra que dicho número es mayor, aunque de mThe paper studies the visits received over a year and a half by different web-sites used as complementary tools for the teaching of a non-distance university course. The number of visits is greater, although not significantly, to sites containing theoret