66 research outputs found
Test item taxonomy based of functional criteria
There are many taxonomies that try to classify and apply some consistency to the very many item types currently in existence. They all have various limitations, however, such as ambiguous classification criteria, little discrimination between format types, and referring almost exclusively to pen-and-paper or screen-based items. This paper aims to overcome these limitations by proposing a new item format taxonomy based on functional criteria. Current classifications are reviewed, the criteria they are based on are examined and their limitations are identified. The proposed alternative classification identifies four essential components of items according to function: the structure of the included content, the device used for transmission of the question to the examinee, the device for receiving the response, and the instructions to the examinee about how to understand and respond to the item. The combination of different facets of these four components allows any format of item to be classified, both existing formats and those that may appear in the future. In addition to systematically and coherently classifying items, this new taxonomy may also be of great utility in the construction and research of new items. The proposed model is illustrated by examples showing how specific items are classified, using a checklist as a guide.Ministerio de Economía y Competitividad de España PSI2014-56114-PMinisterio de Economía y Competitividad de España PSI2017-85724-
Evaluación de aspectos docentes y materiales utilizados en la asignatura de Fundamentos Metodológicos en Psicología
Desde que empezó a impartirse en el curso 1994-95 en la asignatura de Fundamentos Metodológicos en Psicología se viene desarrollando una tarea sistemática con el objetivo de explicitar unos criterios comunes para la docencia, materiales y evaluación. En el presente trabajo se analizan las valoraciones que realizan los alumnos sobre distintos aspectos docentes de la citada asignatura, referidos al manual que por primera vez se ofrecía a los alumnos, así como a los materiales de prácticas y a la docencia impartida por cada profesor. Para ello se aplicó a los alumnos asistentes a prácticas en la última semana de clase una encuesta informatizada en la que debían valorar en una escala de 1 a 5 la adecuación de esos diversos aspectos docentes. En primer lugar los datos muestran una adecuada consistencia interna de las respuestas dadas al cuestionario. Con esa base los resultados muestran una valoración media favorable en todos los aspectos, aunque algo inferior a valoraciones encontradas en cursos anteriores. En todo caso, las valoraciones mejoran en aquellos alumnos que han cursado previamente la asignatura, estando algunas relacionadas con el profesor que la imparte y la motivación que procura
Validity of academic work indicators in the projected European Higher Education Area
The competencies achieved, the quantity and distribution of the time employed, and the activities carried out by the student are fundamental elements of the future European Higher Education Area. The present study explores, in a specific course, the current level of some indicators of such elements and their validity. The results highlight the irrelevance of the temporal aspects with respect to final performance, and the relevance of the academic work activities to performance over the length of the course. Each indicator is discussed, and it is intended to further those which result to be relevant for the success of the student in the future, and to limit those temporal elements to a mere function of organization of the universities
New guidelines for developing multiple-choice items
The rigorous construction of items constitutes a field of great current interest for psychometric researchers and practitioners. In previous studies we had reviewed and analyzed the existing guidelines for the construction of multiple-choice items. From this review emerged a new proposal for guidelines that is now, in the present work, subjected to empirical assessment. This assessment was carried out by users of the guidelines and by experts in item construction. The results endorse the proposal for the new guidelines presented, confirming the advantages in relation to their simplicity and efficiency, as well as permitting identification of the difficulties involved in drawing up and organizing some of the guidelines. Taking into account these results, we propose a new, refined set of guidelines that constitutes a useful, simple and structured instrument for the construction of multiple-choice items
Eta cuadrado generalizado para comparaciones múltiples en diseños entregrupos
Psychological and educational researchers are experiencing
many practical difficulties in following the guidelines of the American
Psychological Association (APA) for their statistical analyses: one such
difficulty is the reporting of an effect-size measure along with each test
of statistical significance (APA, 2010). The problem is exacerbated when
researchers focus on contrast analysis instead of omnibus tests and when
the Type-I error rate per comparison has to be adjusted. Method: Several
reasons for this problem are discussed, with emphasis on the facts that
researchers may be presented with too many optional effect-size measures
with varying degrees of adequacy in several designs, and common
statistical packages fail to provide appropriate effect-size measures for
contrast analysis. This study proposes specific procedures (also
implemented in spreadsheets) to compute generalized eta squared for
various kinds of hypotheses, either general or specific, for one-factor and
factorial between-group designs, and with manipulated and/or measured
factors. Conclusions: Finally, conclusions are drawn concerning the
need to take into account the kind of design and the kind of hypothesis in
order to calculate comparable effect-size indexes across different types of
studies and to prevent an overestimation of effect size.Antecedentes: los investigadores en Psicología y Educación
están teniendo muchas dificultades prácticas para seguir la directriz de
la Asociación Americana de Psicología (APA) de aportar una medida de
tamaño de efecto junto con cada prueba de significación (APA, 2010).
El problema se agrava cuando se realizan contrastes a priori en lugar de
pruebas ómnibus y cuando la tasa de error de Tipo I por comparación tiene
que ser ajustada. Método: se discuten diversas razones para ello, como la
existencia de muchas medidas diferentes de tamaño de efecto y el hecho
de que los paquetes estadísticos comunes como SPSS no proporcionan
medidas apropiadas para las comparaciones múltiples. Resultados: se
proponen procedimientos específicos (también implementados en hojas
de cálculo) para calcular el índice eta cuadrado generalizado para diversos
tipos de hipótesis, generales o específicas; tipos de diseños, univariables
o factoriales; y con factores manipulados y/o medidos. Conclusiones:
finalmente se concluye sobre la necesidad de tener en cuenta el tipo de
diseño y el tipo de hipótesis para obtener índices de tamaño de efecto
comparables entre diferentes tipos de investigaciones y que eviten una
sobreestimación del mismo
Directrices para el desarrollo de ítems de elección múltiple basadas en validez
Background: Many different guidelines have been presented for the
construction of multiple choice items. Those guidelines have been based
on the observation of errors when constructing items but not on any clear
scientifi c criterion. Our main objective was to draw up guidelines for the
development of multiple choice items based on validity criteria. Method:
We used the properties of adjustment, precision, and differentiation, applying
them to three basic phases of instrument construction: the defi nition of the
objective and its context; their expression in the instrument and item stem;
and the elaboration of response options. Results: We have combined these
properties and phases to give nine general guidelines with a fi rm theoretical
footing. Conclusions: Finally, we have written a checklist with twentyfour
points to check how far the measurement instruments comply with the
proposed guidelines.Antecedentes: se han propuesto diferentes directrices para
la construcción de ítems de elección múltiple, basadas sobre todo en la
observación de errores al construir los ítems pero no en algún criterio
científi co claro. El objetivo central del presente trabajo es generar
directrices para el desarrollo de ítems de elección múltiple basadas
en criterios de validez. Método: se utilizan las propiedades de ajuste,
precisión y diferenciación, aplicándolas a tres etapas fundamentales
del desarrollo de instrumentos de evaluación: defi nición del objetivo
y su contexto, su implementación en el instrumento y enunciado de
los ítems, y elaboración de las opciones de respuesta. Resultados:
la combinación entre tales propiedades y etapas da lugar a nueve
directrices generales que, además de quedar fundamentadas, permiten
resolver cualquier duda que surja a quienes desarrollan ítems de
elección múltiple. Conclusiones: para facilitar esa labor, las directrices
son complementadas con una lista de veinticuatro cuestiones con la que
comprobar el grado en que los instrumentos de medida cumplen las
directrices propuestas
Guidelines for the construction of multiple choice test items
Los ítems de elección múltiple son utilizados en numerosos contextos de evaluación psicológica y educativa. Con demasiada frecuencia las críticas que se hacen a este tipo de ítems tienen más que ver con su construcción defectuosa que con los inconvenientes del formato en sí mismo, que resulta objetivo, fácil y económico de corregir, y muy versátil, adaptándose a todo tipo de contextos y contenidos. El presente artículo destaca la necesidad de contar con un conjunto de directrices eficientes que guíen la construcción de dichos ítems, sustituyendo el modo intuitivo y poco sistemático seguido con frecuencia. Se revisan las directrices existentes y se identifican los diversos problemas que dificultan su aprovechamiento, tales como el elevado número de directrices propuestas, redundancias entre ellas y ciertas imprecisiones. A partir de esa revisión se seleccionan las directrices de contenido relevante y se reorganizan en un conjunto más parsimonioso y estructurado constituido por doce directrices básicas, acompañadas de ejemplos e ilustraciones. Se espera que esta propuesta resulte de utilidad como guía para los profesionales e investigadores que deseen construir ítems de elección múltiple o analizar los ya existentesMultiple choice test items are currently used in several areas of psychological and educational assessment. All too often, criticism made of these items concentrates more on their defective construction than the difficulties with the format itself; despite this, the format is objective, easily and cheaply corrected, and its versatility makes it adaptable to many contexts and contents. This paper highlights the need for a set of effective guidelines to assist in the construction of these items, thereby replacing the intuitive and unsystematic approach generally used. Existing guidelines are revised, as are several questions that stop them working properly, such as
the excessive number of guidelines, overlapping between them and inaccuracies. Following this revision, the guidelines with important content are selected and reorganized in a more practical and structured set consisting of twelve basic guidelines, accompanied by examples and illustrations. It is hoped that this proposal will be useful as a guide for teachers or researchers who have to build multiple choice items, or analyze already existing ones
Visitas a las páginas de una web docente universitaria
El trabajo estudia las visitas recibidas durante un año y medio por las diferentes páginas de una web utilizada como herramienta complementaria para la docencia de una materia en una universidad presencial. Encuentra que dicho número es mayor, aunque de mThe paper studies the visits received over a year and a half by different web-sites used as complementary tools for the teaching of a non-distance university course. The number of visits is greater, although not significantly, to sites containing theoret
- …