Depto. de Ciencia Política y de la AdministraciónFac. de Ciencias Políticas y SociologíaTRUEpu

Bustelo Ruesta, María

Espinosa Fajardo, Julia María

Ligero Lasa, Juan Andrés

Mormeneo Cortés, Carmen

Bustelo Ruesta, María Dolores

Docta Complutense

302821. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen EbaluazioaENCARGO, SUPERVISIÓN Y REVISIÓN DEL PROYECTO (MINISTERIO DE ASUNTOS EXTERIORES Y DE COOPERACIÓN)Cecilia Rocha de la Fuente y Bibian Zamora Gi-ménez, Directoras de DGPOLDE/SGCID11 en mo-mentos sucesivos.David Conde Lozano, Ana Ballesteros Pena, Ma-ría Sarabia y Sonia Franco Alonso, miembros del equipo de la División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento.La Secretaría General de Cooperación Interna-cional para el Desarrollo (SGCID) y la Fundación Internacional y para Iberoamérica de Administra-ción y Políticas Públicas (FIIAPP) se reservan los derechos de explotación, divulgación, distribución, comercialización y reproducción total y parcial del contenido de este documento.11 Las funciones de la antigua y extinta DGPOLDE han sido asumidas por la actual Secretaría General de Coo-peración Internacional para el Desarrollo (SGCID), dentro de la cual se ubica la División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento de la Secretaría de Estado de Cooperación Internacional y para Iberoamérica (SECIPI) del Ministerio de Asuntos Exteriores y de Cooperación (MAEC).COLABORADORAS Y PARTICIPANTES EN LOS TALLERESLa información que han aportado las expertas y participantes en los talleres ha sido una de las entradas clave de información para la elaboración de este documento.  (ver documento principal).CÓMO REALIZAR UNA EVALUACIÓN SENSIBLEPara hacer una evaluación sensible hay que transitar por las siguientes fases de un proceso evaluativo y tomar algunas decisiones metodoló-gicas clave. 5. CÓMO HACER UNA EVALUACIÓN SENSIBLE AL GÉNERO Y AL ENFOQUE BASADO EN DERECHOS HUMANOS PARA EL DESARROLLO. Juan Andrés Ligero Lasa, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y  María Bustelo Ruesta.Normas de estilo: Con la intención de utili-zar un lenguaje inclusivo y que al mismo tiem-po no dificulte la lectura, hemos optado por la convención de referirnos a las evaluadoras y evaluadores como evaluadoras (femenino) y al resto de los actores en masculino, indistin-tamente de que haya hombres y mujeres en todos los grupos mencionados.302921. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen EbaluazioaNo todas las fases garantizan por sí mismas y de forma aislada que la evaluación incorpore las perspectivas, sólo aquellas que definen el diseño de evaluación, ya sea de forma inespecífica a través de la mirada de las evaluadoras, de la institución o escogiendo alternativas metodológicas específicas del Enfoque Basado en Derechos Humanos (EBDH) o género. Esta sensibilidad se puede buscar en otras fases aunque existen menos garantías de su cumplimiento. Quizás, en la interpretación haya más margen, pero éste se reduce si no hay datos e informaciones orientados al EBDH o al enfoque de Género en Desarrollo (GED), por lo que volvemos a reiterar la importancia de las fases más directamente implicadas con el diseño de la evaluación. Gráfico de las fases de evaluación sensible.Fuente: elaboración propia.303021. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen EbaluazioaENCARGO                                                                                          Un encargo adecuado permite asegurar que la evaluación incorpora las perspectivas de género y derechos. Se han resaltado dos aspectos:LA INSTITUCIÓN ES SENSIBLE A GED Y EBDH, PARA LO CUAL DEBE HABER• Voluntad política.• Existencia y desarrollo de una cultura evaluativa de género y EBDH. • Los términos de referencia (TdR) deben incluir: - Aspectos clave de indagación sobre los derechos humanos y la igualdad de género.- Presupuestos que permitan aplicar los enfoques, como formación, sensibilización, etc.LA MIRADA DE LAS EVALUADORASSe apoya en el supuesto de que una persona con mirada de género y EBDH (lo que implica sen-sibilidad y ciertas competencias) va a incorporar el enfoque en todo el proceso de evaluación. Las características que debe tener un equipo de eva-luación sensibilizado son: • Capacidad de empatía.• Comprensión de los conceptos de los enfoques.• Compartir los valores de EBDH y género.Se puede ayudar a promover la mirada sensible a través de:• Sensibilización, puede proceder de: lectura especializada, contraste con actores implicados, activistas y defensores.Tabla: Clasificación de fases según su contribución a la sensibilidadFuente: elaboración propia.303121. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen Ebaluazioa• Generación de toma de conciencia, como una fase del proceso de reflexión e implicación con los problemas que les rodean.• Formación de competencias y habilidades, definir una fase inicial de formación/sensibilización que se centre en unificar el lenguaje, consensuar significados, manejar conceptos y unificar perspectivas.• En el caso de género, equipos mixtos de mujeres y hombres. Las experiencias de género vividas por hombres y mujeres pueden contribuir a tener visiones alternativas sobre la misma realidad.• Los equipos pueden integrar expertas o establecer apoyos externos a la plantilla en relación a la igualdad de género o a los temas de derechos humanos.• Asumir o guiarse por las directrices o propuestas deontológicas.DEFINICIÓN DE LA UNIDAD (EVALUACIÓN DE DISEÑO)Esta fase aborda la definición del objeto a evaluar y evalúa si su diseño es solvente, suficiente y válido para considerarse con perspectiva de género o con EBDH. IDENTIFICACIÓN DE LA TEORÍA DEL PROGRAMA O MODELO LÓGICOIdentificar la cadena de asunciones que explican cómo las actividades conducen paso por paso a los resultados esperados y los elementos de EBDH y género que incorpora.ANÁLISIS Y CONTRASTEEstimar si el modelo lógico cuenta teóricamen-te con suficiente capacidad transformadora del sis-tema de género y de la situación de los derechos. Esto puede ocurrir tanto en: • Proyectos específicos de género o EBDH. • Proyectos genéricos que incorporen transversalmente las perspectivas.  APROXIMACIONES EVALUATIVASEs la fase crítica en las evaluaciones sensibles. Hemos identificado 4 posibles aproximaciones:EVALUACIÓN SEGÚN LA TEORÍA DEL CAMBIOSintéticamente se basa en un modelo de eva-luación que primero fija cuál es la teoría del cam-bio para después orientar la indagación en función de este modelo. Para ello, hay que:1. Obtener a través de un primer trabajo de cam-po el modelo teórico que mejor represente la intervención.2. Organizar la evaluación según el modelo lógi-co. La teoría del cambio ayuda a identificar las cuestiones que deben ser medidas y evaluadas. EVALUACIÓN ORIENTADA  A LOS STAKEHOLDERS O MODELO DEMOCRÁTICOEs situar a los colectivos implicados en el centro del proceso. Las fases para trabajar bajo esta pers-pectiva son: 1. Reconocimiento de todos los actores implica-dos con especial atención a los grupos vulnera-bles y con escasa voz. 2. Establecimiento de cauces de participación en la evaluación. Algunos aspectos clave son: • No hay participación sin organización. • Preguntar a la gente, contar con ellos. • Tener en cuenta sus respuestas, respetar  y escuchar su  voz. ENFOQUE DE EVALUACIÓN ORIENTADO HACIA EL CAMBIO CRÍTICO O PARADIGMA TRANSFORMADORLos equipos de evaluadoras son agentes de cambio, asumen una postura activa y usan la eva-luación para incrementar la justicia social. Este abordaje tiene en cuenta los siguientes aspectos: 303221. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen Ebaluazioa• Análisis de las situación de exclusión o desigualdad centrándose en los colectivos más vulnerables o desfavorecidos. • Identificación de la autonomía y las capacidades de los actores sociales desfavorecidos.• Valoración de la participación de los actores en las acciones de cambio. ENFOQUE DE EVALUACIÓN ORIENTADO POR CRITERIOS Se somete a examen al programa y se valora con relación a unos criterios establecidos. a) Modelos de criterios preordenados:• Uso de los criterios del CAD (eficacia, eficiencia, impacto, pertinencia y sostenibilidad) pero sensibilizándolos al género y EBDH.• Uso de los criterios CAD más otros criterios específicos como: universalidad, inalienabilidad, igualdad, no discriminación, empoderamiento, rendición de cuentas, responsabilización (accountability), transformación, indivisibilidad, interdependencia (entre los diferentes derechos), responsabilidad e imperio de la ley, adecuación del diseño, paridad, equidad, coherencia, cobertura y conectividad.• Nuevos criterios: Como por ejemplo los extraídos de las normas internacionales, organizados por las dimensiones sistémicas.b) Aproximación ad hoc: Implica indagar cuáles son los criterios de valor que formulan los dife-rentes actores implicados. Antes de diseñar la evaluación habría que realizar un primer traba-jo de campo que permita aflorar y recoger los valores que portan los diversos stakeholders a los que se les ha concedido legitimidad para participar en la evaluación. OPERACIONALIZACIÓNProceso deductivo que desde los criterios, di-mensiones o aspectos a evaluar va estableciendo preguntas, indicadores, sistemas de medida y sus correspondientes fuentes de verificación. Esta ca-dena finaliza en el diseño o búsqueda de las fuen-tes de extracción de información para cada uno de los indicadores. La operacionalización se concreta en dos fases:a) Trabajo vertical: Identificación de preguntas en función de la aproximación evaluativa esco-gida. El origen de las preguntas está condicio-nado por la elección metodológica de la fase 3, “aproximaciones evaluativas” y completa las fases críticas que contribuyen sustancialmente a que una evaluación sea sensible.b) Trabajo horizontal: Una vez que se tienen las preguntas se diseñan los sistemas de recogida de información que las contesten. • Preguntas de evaluación: No tienen porqué atender al hecho de que puedan ser medidas o no, sino que tienen que representar a las diversas cuestiones que define la aproximación evaluativa.• Indicador: Recurso que permite medir el concepto definido, debe ser una variable medible, observable y registrable que aporte información que conteste a las preguntas.MÉTODOS DE INDAGACIÓN Y TÉCNICASLos métodos de indagación recogen las estrate-gias de cómo se puede obtener una información válida, fiable o confiable en función de diversos paradigmas en los que se apoye la indagación. Las técnicas son los instrumentos concretos para reco-ger la información.a) Estrategias de carácter cualitativo:• Investigación documental o uso de la documentación. Utilización y tratamiento cualitativo de la información soportada en documentos de diferente índole. • Estudio de caso. Es una indagación empírica que investiga un fenómeno en su  contexto natural:- Estudios de caso etnográfico. - Estudios de caso biográfico.303321. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen EbaluazioaEntre las técnicas cualitativas se citan las si-guientes:• Grupos de discusión/focus group.• Historia oral, historias de vida.• Entrevistas.• Observación.b) Métodos para evaluación de resultados e im-pacto (de inspiración positivista).Lógica experimental:• Diseños experimentales: Se divide al azar una misma población en dos grupos. Uno recibe el programa o estímulo y el otro no.• Diseños cuasi-experimentales: La diferencia con el experimental es que los grupos de comparación o de control no se han seleccionado aleatoriamente. Pretende identificar, mensurar y controlar todas las variables intervinientes para neutralizarlas. - Series temporales: Mediciones reiteradas antes, durante y después de la realización del proyecto. Permiten comparar al grupo experimental consigo mismo a lo largo de una secuencia temporal y con otros grupos de comparación con mediciones similares.• Modelos no experimentales: No pueden reproducir los preceptos de la experimentación en su totalidad y por lo tanto son menos robustos. - Pretest-postest (la línea base funciona como un pretest): Con un solo grupo se establece una medición antes y después. Este modelo no permite discernir si los cambios son debi-dos al programa o a otras variables.- Medición ex-post con grupo de comparación: Comparan el grupo receptor del programa con otro grupo de similares características que no haya recibido la intervención.Modelización: Elabora un modelo de factores (variables) que junto con el programa influyen en la realidad que se pretende cambiar. Pri-mero se identifican variables influyentes, se miden y se controlan estadísticamente con el fin de discernir qué cambios de la realidad son atribuibles al programa.c) Articulación multimétodo o métodos mixtos: Actualmente la combinación de las aproxima-ciones cualitativa y cuantitativa es tratada como la forma más completa de indagación. TRABAJO DE CAMPOEl trabajo de campo son todas las actividades que hay que hacer para aplicar las técnicas de re-cogida de información diseñadas. La especificidad del enfoque de género y el EBDH pide a las evalua-doras un trato en todo el proceso empático, sensi-ble y respetuoso con los colectivos con los que se trabaja. Dos consejos clave: • Proponer horarios y espacios adaptados para los actores.• Relación igualitaria entre equipos de evaluación e informantes.El proceso de evaluación debe implicar una co-rresponsabilidad entre informante y evaluadora, sin que se rocen aspectos éticos ni implique una explotación de los sujetos implicados con el pro-grama. ANÁLISIS DE DATOS, INTERPRETACIÓNEl objetivo de esta fase es integrar los datos provenientes de diferentes indicadores y facilitar la comprensión de la “realidad” del programa. Es un ejercicio de explicación y de dotación de sentido de toda la información extraída y que resuelve las aparentes contradicciones o problemas detecta-dos. Aunque está limitada por la información con la que trabaja, la interpretación puede contribuir con cierto margen de maniobra a la sensibilidad. Para facilitar el proceso de interpretación se reco-gen algunas sugerencias: • Triangulación de los datos: Integrar en un único esquema interpretativo los datos provenientes de diferentes fuentes.303421. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen Ebaluazioa• Todas las evaluadoras del equipo de evaluación participan en los análisis. • Validar los hallazgos obtenidos, asegurarse que las conclusiones tienen sentido para los actores implicados. Uno de los métodos propuestos es realizar talleres con diferentes grupos donde se presenten los resultados.• Se deben mencionar las discrepancias entre los miembros del equipo si las hubiera y si fueran significativas.ENJUICIAMIENTOLas evaluaciones sensibles deben facilitar el enjuiciamiento sobre si el programa contribuye o no a un sistema de género más igualitario o a un mayor disfrute efectivo de los derechos. Se pueden clasificar los programas en función de su grado de transformación de la realidad: a) Intervenciones transformadoras de la situa-ción en género y EBDH.b) Intervenciones que mantienen el status quo de los sistemas: No buscan alterar el sistema de género ni la situación de los derechos incuso siendo conscientes de la desigualdad.c) Intervenciones que vulneran, conculcan o empeoran la situación: Afectan a la realidad en sentido inverso a los valores deseados, es decir, incrementan la desigualdad o empeoran la si-tuación de género o de los derechos humanos.COMUNICACIÓN DE RESULTADOSEl término “informe de evaluación” se emplea para referirse a todos los productos evaluativos, que pueden adoptar formas diversas, por ejemplo, informes verbales o escritos, presentaciones visua-les, seminarios colectivos, etc. Para incrementar la sensibilidad en esta fase se recomienda: • El informe debe describir la forma en la que se ha incorporado la sensibilidad, ya sea a través de las miradas de las evaluadoras, la evaluación del diseño o por la aproximación evaluativa escogida. • Se puede añadir los aspectos ejecutados en el resto de las fases para mantener la coherencia de la evaluación. • Debe ser escrito de manera culturalmente sensible.Los productos y los procesos de comunicación deben estar orientados a su uso y a ayudar a en-tender y cambiar ideas sobre la situación de géne-ro y de derechos.303521. TALDEA-GRUPO 21Las Ciencias Sociales ante el reto de evaluar los programas y políticas públicas / Gizarte Zienziak eta Politikoen Ebaluazioa

Spanish

Cómo hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo

https://docta.ucm.es/bitstreams/63d81b94-271c-4e36-b9e5-d8c4166ce315/download

Cómo hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo

Abstract

Similar works

Full text

Available Versions

Docta Complutense