Social Impact Evaluation. VOLUME I. Use of STATA with Methods: Causal Inference, Randomization, Propensity Score Matching, and Double-Difference

Abstract

En el mundo empresarial e industrial, el diseño e implementación de proyectos normalmente toma en cuenta el impacto económico, financiero y hasta el político o ambiental en la introducción de innovaciones. Sin embargo, en los primeros veinte años del siglo XXI, han sucedido diversos acontecimientos que han demostrado que la evaluación de impacto social en la generación de bienestar, es de vital importancia. De hecho, en los tiempos de la nueva normalidad que se avizora como la era PosCOVID-19, esto toma particular relevancia dado que todas las políticas y acciones que emitan empresas y gobiernos, deberán contar con el aval necesario de una evaluación de impacto social a la introducción de innovaciones. Es por esta razón, que la obra está orientada a describir tanto a propios como ajenos al tema, lo qué es el impacto social, sus características, condiciones e implicaciones, los principales métodos utilizados para calcularla así como las oportunidades que se vislumbran en la era PosCOVID-19, que demanda que los recursos y acciones de innovación a diseñar e imple-mentar, reflejen altos estándares de impacto social que fomenten el bien-estar, particularmente en los países emergentes. Para logralo, esta obra está dividida en una colección de dos tomos, correspondiendo al Tomo I: Capítulo 1. Conceptos básicos. Este capítulo está orientado a explicar qué son los impactos sociales, las razones de por qué evaluar, la diferenciación entre monitoreo vs. evaluación, los indicadores de ambos, lo que implica un monitoreo basado en resultados y su configuración. Esto permite definir mejor la idea sobre lo que son las evaluaciones de impacto, su relación como estudios de eficacia y efectividad, las impli- caciones sobre la evaluación operativa así como sus características de impacto cualitativo y cuantitativo además del punto de referencia en el que se requiera la evalución de impacto ya sea con prospectiva o con retrospectiva. Realizar cualquier evaluación de impacto social para la introducción de innovaciones, requiere reconocer al grupo de tratamiento y al de control, lo que necesita resolver el problema de cómo determinar al grupo contrafactuales; con y sin comparaciones así como su relación con el sesgo. Se aporta una descripción de caso, explicando el sesgo de selección, en un escenario ex post y explicando a su vez las características que le acompañan como evaluaciones de procesos y de evaluación de proyectos, la importancia del análisis de costo-beneficio y costo-efecti- vidad así como la ética en la evaluación de impacto social en la introduc- ción de innovaciones. Capítulo 2. Preparación, inferencia causal y contrafactuales. Dada la preparación de los grupos de tratamiento y de control, este capí- tulo está diseñado para considerar los pasos que sirvan a la construc- ción de escenarios contrafactuales que posibiliten a los grupos, explicar la construcción de una teoría del cambio, explicar los eslabones de una cadena de resultados, las técnicas que facilitan especificación de las preguntas de la evaluación, la selección de indicadores de resultados y desempeño, realizar una lista de verificación basada en los datos para los indicadores. De esta manera, se equipa al investigador para realizar inferencia causal, la descripción y estimación de los contrafactualuales, a través de dos casos de estudio con los que se cierra el capítulo. Capítulo 3. Aleatorización. Es a partir de este capítulo hasta el 7, donde se inicia con las diferentes técnicas basadas en el software de STATA 14, por lo que se recomienda, si no está familiarizado con el software, iniciar con el Anexo: Introducción a STATA. Así, el capítulo 3 le permitirá al lector conocer las características de la asignación aleatoria, ventajas y desventajas de su uso, las condiciones recomendables para su aplicación, las implicaciones éticas, los diferentes métodos de aleatorización que existen, listas de verificación para llevarlo a cabo así como un ejemplo con STATA para su comprensión. Capítulo 4. Propensión de coincidencia de puntaje (PSM Propensity Score Matching). Explica al lector más asiduo, qué es y qué hace esta técnica, los supuestos y reglas que deben reunirse para su aplica-ción, pasos para lograrlo así como uso de técnicas complementarias. Se debaten sus ventajas y desventyajas de uso y se completa con un ejemplo de STATA para comprobar su comprensión de uso. Capítulo 5. Doble Diferencia (DD Double-Difference). El capítulo está diseñado para explicar el método qué es, cómo se usa, lo que sucede en el mismo a través del uso de panel de efectos fijos, cómo implemen- tarlo, ventajas y desventajas, su utilidad, tendencias, modelos alternativos, la posibilidad de combinarlo con el PSM, ajustes, limitaciones, conclu- yendo con un ejemplo de STATA para comprobar su comprensión de uso.In the business and industrial world, the design and implementation of projects usually consider economic, financial, and even political or environmental impacts when introducing innovations. However, in the first twenty years of the 21st century, various events have demonstrated that the evaluation of social impact in generating well-being is of vital importance. In fact, in the times of the new normal expected in the post-COVID-19 era, this becomes particularly relevant since all policies and actions issued by companies and governments must have the necessary approval of a social impact evaluation for the introduction of innovations. For this reason, this work is aimed at describing to both insiders and outsiders what social impact is, its characteristics, conditions, and implications, the main methods used to calculate it, as well as the opportunities that loom in the post-COVID-19 era, which demands that the resources and actions of innovation design and implementation reflect high standards of social impact that promote well-being, particularly in emerging countries. To achieve this, this work is divided into a collection of two volumes, with Volume I covering: Chapter 1. Basic Concepts. This chapter is aimed at explaining what social impacts are, the reasons for evaluating them, the differentiation between monitoring vs. evaluation, the indicators of both, what result-based monitoring implies, and its configuration. This allows for a better definition of what impact evaluations are, their relationship as efficacy and effectiveness studies, the implications of operational evaluation as well as their qualitative and quantitative impact characteristics, and the reference point at which the impact evaluation is required, whether prospective or retrospective. Conducting any social impact evaluation for the introduction of innovations requires recognizing the treatment and control groups, which needs to solve the problem of how to determine the counterfactual group; with and without comparisons, as well as its relationship with bias. A case description is provided, explaining selection bias in an ex-post scenario and detailing the accompanying characteristics such as process and project evaluations, the importance of cost-benefit and cost-effectiveness analysis, and the ethics in social impact evaluation in the introduction of innovations. Chapter 2. Preparation, Causal Inference, and Counterfactuals. Given the preparation of the treatment and control groups, this chapter is designed to consider the steps that serve to construct counterfactual scenarios that enable the groups to explain the construction of a theory of change, the links in a results chain, the techniques that facilitate the specification of evaluation questions, the selection of outcome and performance indicators, and creating a data-based checklist for the indicators. This equips the researcher to conduct causal inference, describe, and estimate counterfactuals, through two case studies that close the chapter. Chapter 3. Randomization. From this chapter through Chapter 7, different techniques based on STATA 14 software are introduced, so it is recommended to start with the Appendix: Introduction to STATA if you are not familiar with the software. Chapter 3 will allow the reader to understand the characteristics of random assignment, the advantages and disadvantages of its use, the recommended conditions for its application, ethical implications, the different randomization methods that exist, checklists for carrying it out, and an example with STATA for comprehension. Chapter 4. Propensity Score Matching (PSM). This chapter explains to the more diligent reader what this technique is and does, the assumptions and rules that must be met for its application, steps to achieve it, as well as the use of complementary techniques. Its advantages and disadvantages are debated, and it is completed with a STATA example to verify its comprehension and use. Chapter 5. Difference-in-Differences (DiD). This chapter is designed to explain what the method is, how it is used, what happens in it through the use of a fixed effects panel, how to implement it, advantages and disadvantages, its utility, trends, alternative models, the possibility of combining it with PSM, adjustments, limitations, concluding with a STATA example to verify its comprehension and use