Amb el suport del Consell Superior d'Avaluació de CatalunyaAl diseñar una prueba de conocimientos conviene tener en cuenta que sus elementos, los ítems, han de tener diferentes niveles de dificultad. Cada persona debería ser capaz de superar la dificultad de los ítems hasta un determinado umbral que debería determinar su nivel de conocimiento. En términos generales, se espera que las personas evaluadas contesten correctamente a las preguntas fáciles y fallen las difíciles. Cuando esta pauta de respuesta se rompe de forma repetida, las respuestas son atípicas y dan lugar a puntuaciones que no se corresponden con el verdadero nivel evaluado. Las respuestas atípicas pueden evaluarse con indicadores, como el índice de precaución modificado (IPM). Este índice se basa en la covariación del patrón de respuestas, codificados como 1 (respuesta correcta) y 0 (respuesta incorrecta) con el vector de dificultades de los ítems. Los ítems más difíciles acertados correctamente o los más fáciles respondidos incorrectamente, tienen un gran peso en la identificación de una pauta de respuesta como atípica. El conocimiento de los ítems que están implicados en una pauta atípica es de gran interés en las evaluaciones formativas, esto es, cuando se aprovecha la información que ofrece dicha pauta para proporcionar retroalimentación acerca del proceso de aprendizaje y proporcionar elementos de mejora del mismo. El índice IPM puede calcularse con la instrucción Cstar del paquete Perfit de R (Tendeiro, 2015). Para identificar los ítems implicados en patrones atípicos, hemos programado una rutina en R que permite calcular el IPM sin el ítem. Los valores del IPM que disminuyen cuando se elimina un determinado ítem del análisis, señalan a ese ítem como contribuyente de una pauta de respuesta atípica. Por el contrario, los valores que aumenten al eliminar un ítem apuntan a ítems que no contribuyen a una pauta de respuesta atípica. El trabajo se ilustra con un ejemplo el funcionamiento de la rutina
