Ponencia presentada en: Encuentro sobre la calidad en los sistemas de información, Burgos, 9-10 de julio de 2009. Taller 1: Recogida y gestión de la informació

Macías García, Manuel

Repositorio Institucional de la Universidad de Burgos

				 !"#$%&$$!		PNECU (Plan Nacional de Evaluación de la Calidad de las Universidades 1996-2000)PECU (II Plan de Evaluación de la Calidad de las Universidades 2001-2003)PACU (Plan Andaluz de Calidad de las Universidades 2003-2006)PEI (Programa de Evaluación Institucional de la ANECA 2003-2008)Programa piloto de Acreditación de la ANECA (2003).Experiencias piloto sobre EEES (2005-).RD 1393; VERIFICA (2009) Grupos, Comisiones, Libros, Tesis, ……… GRUPO GyAAntecedentes en la definición de indicadores“Dificultad en la definición de indicadores”Y después de casi 14 años no disponemos de un grupo de indicadores homogéneos para el Sistema UniversitarioNo debe ser fácilDeben existir intereses que lo impidenTareas para disponer de indicadores• Establecer un formato de ficha para definir indicadores– Campos de la ficha– Contenidos y extensión de los campos• Establecer el conjunto de magnitudes que representan a la actividad universitaria (Docencia, investigación, gestión, …)– actividad, resultados, aprendizaje, innovación, costes, recursos humanos empleados, …• Establecer el conjunto de indicadores para representar a los aspectos seleccionados de actividad universitaria• Definir procedimiento de cálculo para cada indicador– Calculo de carácter general– Tratamiento de las particularidades“Dificultad en la definición de indicadores”Tareas para disponer de indicadores• formato de ficha• conjunto de magnitudes• conjunto de indicadores• procedimiento de cálculo“Dificultad en la definición de indicadores”Formato de ficha para definir indicadoresCódigo (Código que tiene asignado el indicador) Versión y FechaDenominación (Nombre corto por el cual se identifica el indicador)Descripción, justificación e interpretación (Descripción breve del significado del indicador conteniendo todas aquellas reflexiones que sean necesarias para comprender correctamente su justificación y su interpretación).Tipología (Indicador cuantitativo simple (ejemplo, estudiantes nuevos de 1º) Ratio (ejemplo, estudiantes nuevos de 1º/total de estudiantes) Indicador multivariable (ejemplo, estudiantes nuevos de 1º por género y por provincia de procedencia)Cálculo (Debe expresarse con precisión para que no existan dudas sobre como es obtenido el indicador).Representación (Forma en la que debe representarse el indicador).Ejemplo (Ejemplo de la forma en que se calcularía el indicador).Fuente de la definición (Origen de la definición del indicador)Nivel de desagregación o análisis (Se indicará los distintos niveles en los que el indicador se desagrega.Centro, Titulo, Plan de Estudio, Asignatura, Profesor, Departamento, …).Periodicidad (Semanal, mensual, trimestral, anual)Disponibilidad de la información (Fecha en la que se publica el indicador).Histórico disponible (Fecha desde la que se dispone de históricos) Fuente de datos (Responsable y unidad generadora de los datos)Palabras claves asociadas Método de comprobación /evidencia (método de comprobación o evidencia de los datos)Grado de fiabilidad (Depende en gran medida del método de comprobación o evidencia, no obstante pueden existir otros factores relacionados con el método de cálculo o inherentes al propio indicador, que afecten al  grado de fiabilidad. Utilizar una escala de tres valores: Fiabilidad total, media y baja)“Dificultad en la definición de indicadores”Código (Código que tiene asignado el indicador) Versión y FechaDenominación (Nombre corto por el cual se identifica el indicador)Descripción, justificación e interpretación (Descripción breve del significado del indicador conteniendo todas aquellas reflexiones que sean necesarias para comprender correctamente su justificación y su interpretación).Tipología (Indicador cuantitativo simple (ejemplo, estudiantes nuevos de 1º) Ratio (ejemplo, estudiantes nuevos de 1º/total de estudiantes) Indicador multivariable (ejemplo, estudiantes nuevos de 1º por género y por provincia de procedencia)Cálculo (Debe expresarse con precisión para que no existan dudas sobre como es obtenido el indicador).Representación (Forma en la que debe representarse el indicador).Ejemplo (Ejemplo de la forma en que se calcularía el indicador).Fuente de la definición (Origen de la definición del indicador)Nivel de desagregación o análisis (Se indicará los distintos niveles en los que el indicador se desagrega.Centro, Titulo, Plan de Estudio, Asignatura, Profesor, Departamento, …).Periodicidad (Semanal, mensual, trimestral, anual)Disponibilidad de la información (Fecha en la que se publica el indicador).Histórico disponible (Fecha desde la que se dispone de históricos) Fuente de datos (Responsable y unidad generadora de los datos)Palabras claves asociadas Método de comprobación /evidencia (método de comprobación o evidencia de los datos)Grado de fiabilidad (Depende en gran medida del método de comprobación o evidencia, no obstante pueden existir otros factores relacionados con el método de cálculo o inherentes al propio indicador, que afecten al  grado de fiabilidad. Utilizar una escala de tres valores: Fiabilidad total, media y baja)“Dificultad en la definición de indicadores”Acurdo sin problem.La mayor parte de las fichas de indicador s son iguales n un 90%Formato de ficha para definir indicadoresconjunto de magnitudes que representan a la actividad universitariaMagnitudes centradas en actividades parciales (Comparaciones internas)Académica (Titulaciones, Centros, …)Investigadora (Grupos de investigación, investigadores,…)Gestión (Unidades o Servicios Universitarios)Magnitudes globales a la Universidad (Comparaciones externas)Académicos (Resultados, inserción, oferta, demanda, …)Investigación (Resultados, financiación, transferencia, …)Económicos (recursos, presupuestos, inversiones, …)Servicios (relativos a la misión de las unidades administrativas o servicios universitarios)“Dificultad en la definición de indicadores”conjunto de magnitudes que representan a la actividad universitariaMagnitudes centradas en actividades parciales (Comparaciones internas)Académica (Titulaciones, Centros, …)Investigadora (Grupos de investigación, investigadores,…)Gestión (Unidades o Servicios Universitarios)Magnitudes globales a la Universidad (Comparaciones externas)Académicos (Resultados, inserción, oferta, demanda, …)Investigación (Resultados, financiación, transferencia, …)Económicos (recursos, presupuestos, inversiones, …)Servicios (relativos a la misión de las unidades administrativas o servicios universitarios)“Dificultad en la definición de indicadores”En todas las Universidades se ha conseguido con la salvedad de algunos problemas en los servicios de gestió .Hay un cierto consenso sobre que habría que medir globalmente n una Universidad. Problemas importantes para valorar la relación entre Entorno y Universidad (¿Puede estar en este punto el problema?)indicadores para representar a las magnitudes de actividad universitariaRendimiento académico alumno:Tasa de rendimiento, de éxito, de eficiencia, …Rendimiento académico titulaciones:Tasa de abandono, de graduación, ….Resultados investigación:Publicaciones, proyectos, contratos, sexenios, …Resultados económicos:Ejecución presupuestaria, costes por alumno, ……..“Dificultad en la definición de indicadores”Rendimiento académico alumno:Tasa de rendimiento, de éxito, de eficiencia, …Rendimiento académico titulaciones:Tasa de abandono, de graduación, ….Resultados investigación:Publicaciones, proyectos, contratos, sexenios, …Resultados económicos:Ejecución presupuestaria, costes por alumno, ……..“Dificultad en la definición de indicadores”En general hay cierto consenso en los indicadores que permiten medir los distintos aspectos que hay que valorar en la Universidad.indicadores para representar a las magnitudes de actividad universitariaTrabajos realizados en el Grupo GyA:• Acuerdo sobre “ficha modelo de indicador”• Acuerdo sobre bloque de indicadores relevantes– Indicadores primera ronda (rápido y total acuerdo):• Tasa de abandono (finalizado el trabajo)• Tasa de eficiencia (finalizado el trabajo)• Tasa de graduación (finalizado el trabajo)• Tasa de éxito (finalizado el trabajo)• Tasa de rendimiento (finalizado el trabajo)• Duración media de los estudios (finalizado el trabajo)• Nota media de ingreso (finalizado el trabajo)• Número de alumnos de nuevo ingreso (finalizado el trabajo)• Grado de inserción laboral (desde una primera ronda, sin acuerdo)– Indicadores segunda ronda:• Alumnos preinscritos respecto a las plazas ofertadas por la universidad • Alumnos preinscritos en primera opción respecto matriculados• Prácticas externas obligatorias • Prácticas externas no obligatorias• Movilidad estudiantes enviados• Movilidad recibidos (finalizado el trabajo)• Tasa de presentados“Dificultad en la definición de indicadores”Sin ningún problema.Problemas mínimos.problemaProcedimiento de cálculo • Trabajo dirigido por la administración– No ha existido o ha sido abortado antes de finalizar. – Se han quedado en el cálculo de carácter general– No se ha trabajado en el tratamiento de las particularidades• Trabajo colaborativo (ejemplo Grupo GyA)– Falta la generalización “Dificultad en la definición de indicadores”Procedimiento de cálculo • Trabajo dirigido por la administración– No ha existido o ha sido abortado antes de finalizar. – Se han quedado en el cálculo de carácter general– No se ha trabajado en el tratamiento de las particularidades• Trabajo colaborativo (ejemplo Grupo GyA)– Falta la generalización “Dificultad en la definición de indicadores”Mientras que no se resuelva no tendr mos indicadores fiables y con posibilidad de usarse para la comparabilidad.DIFICULTAD PRINCIPAL: Tratamiento de particularidades como “adaptaciones”, “convalidaciones”, “dobles titulaciones”, “alumnos extranjeros”, ……Recomendaciones • Seleccionar el número: – Manejar el mínimo número de indicadores • Confianza: – El cálculo basado en procedimientos contrastados que ofrezcan garantías y permitan su auditoría externa• Estables: – No dispondremos de indicadores mientras que estos no puedan “indicar” tendencias positivas o negativas, esto solo se puede conseguir con la estabilidad de los indicadores en el tiempo. “Es mucho más útil un indicador malo con históricos que uno teóricamente bueno con un solo valor”• Relacionado con acciones de mejora: – Mientras que los indicadores no tengan relación con acciones de mejora no serán útiles y por tanto estarán sometidos a cambios y tendrán escasa valoración“Dificultad en la definición de indicadores”		 	 		

Dificultad en la definición de indicadores

Abstract

Similar works

Full text

Available Versions

Repositorio Institucional de la Universidad de Burgos