Evaluaciones para un cambio social efectivo

Escrito por: María Camila Arias

El libro “Effective Altruism” de William MacAskill cuestiona cómo, a pesar de los múltiples intentos por mejorar los problemas sociales del mundo a través de donaciones o programas sociales financiados con impuestos, no hay mucha noción para los contribuyentes de qué tantos beneficios se están obteniendo en relación con la inversión realizada ni cuales de todos los programas se deberían priorizar. A partir de la experiencia en África Subsahariana del premio nobel de economía Michael Kremer, MacAskill argumenta que las políticas públicas y los programas sociales deben ser evaluados bajo una evidencia empírica y no a partir de un juicio de valor ideológico. Mientras la primera presenta datos observables en un marco estrictamente técnico (imparcial e irrefutable), el segundo se basa en percepciones subjetivas y las conclusiones van a depender del interés de quién las observa.
Entonces uno podría pensar como colombiano, ¡Eureka! por allí es. De hecho, los últimos dos gobiernos han realizado un esfuerzo importante por evaluar con evidencia empírica algunos de los programas en los que los impuestos que usted y yo pagamos se invierten. Sin embargo, hay dos recomendaciones que el nuevo gobierno podría tener en cuenta si de verdad queremos lograr transformaciones sociales en el país. Mejorar disponibilidad y calidad de los datos

Las evaluaciones de impacto son los métodos más conocidos para proporcionar evidencia empírica. Usualmente, se cree que una evaluación de impacto es solo un ejercicio econométrico que arroja un dato numérico que se traduce en qué tanto sirvió una política, pero en realidad este ejercicio implica mucho más en el antes y en el después.

En primer lugar, antes de realizar una evaluación de impacto es necesario contar con los datos suficientes para poder garantizar la calidad de los resultados que se van a obtener. Desafortunadamente, hoy en día se decide que se quiere evaluar el impacto de un programa cuando ya tiene un tiempo considerable funcionando y no hay datos apropiados. ¿Y qué sería apropiado?

Como una evaluación de impacto estima el efecto de una intervención a partir de una comparación entre quien sí recibió el tratamiento y quien no (controles), pues lo mínimo necesario es la información de esos dos grupos. Si se quiere entender mejor el mecanismo a través del cual la intervención está produciendo los cambios, es aconsejable monitorear los dos grupos antes, durante y después de la intervención. Al menos sobre los aspectos que se quieren evaluar (salud, educación, ingresos, por ejemplo). Esto último es clave para evitar que se pierda el contacto con los beneficiarios y al momento de realizar la evaluación de impacto no se cuente con la información. Además, para el Gobierno es más costo eficiente contar con estos datos porque reduce costos de recolección del estudio.

Para aquellas políticas cuyo presupuesto de monitoreo sea muy bajo, se puede acudir a información secundaria de otras entidades gubernamentales que pueden haberla recogido (Dian, Dane, etc.). Hoy en día, acceder a estos datos es engorroso. Sin embargo, garantizar el acceso a estos, ahorraría gasto público y mejoraría la calidad de los estudios contratados por el Estado. Es solo cuestión de lograr una mayor articulación entre agencias. Por ejemplo, en la evaluación del programa de Ingreso Solidario, la armonización de varias bases de datos fue de gran utilidad para su mejor implementación y evaluación.

Ahora, los datos siempre deben estar al mismo nivel en que se realizó la intervención. Una dificultad del reciente estudio que realizó Econometría Consultores sobre el impacto del Fondo de Ciencia, Tecnología e Innovación es que, aunque los recursos (intervención) se entregaban por proyectos, la evaluación se realizó a nivel de departamento. Lo anterior porque se buscaba el impacto sobre indicadores de crecimiento económico, ciencia y tecnología, y estos datos sólo estaban medidos a nivel de departamento, no de proyectos. Cuando el impacto se mide sobre un nivel de observación diferente al nivel de la intervención se difumina el verdadero impacto y es más difícil encontrar un efecto, cuando lo haya. De ahí la importancia de que antes de la implementación los proyectos o programas diseñen la estrategia de evaluación de impacto y se recolecten los datos al mismo nivel de la intervención.

Conciencia: etapas de aprendizaje

En segundo lugar, es importante que el talento humano de las instituciones del Gobierno interiorice que las evaluaciones de impacto no necesariamente encuentran impacto. Es difícil que una política o programa sea efectiva la primera vez. Como cualquier otra invención (aviones, celulares, etc.) requiere de ensayos, evaluaciones y retroalimentaciones para que algún día llegue a ser tan funcional como se desea.

Por eso, cuando se evalúa el impacto de un programa y el resultado arroja que no se encontró impactos o son muy marginales, la opinión pública no debe concentrarse en desprestigiar políticamente el programa, sino en valorar positivamente que se está adelantando una evaluación de manera técnica y responsable y que se está tratando de entender qué funciona y qué no. Esto supone un reto de comunicación y educación hacia los ciudadanos, quienes deben entender que, más allá de los discursos populistas, se requiere tomar decisiones informadas con evidencia empírica. Sólo si se logra esta conciencia de las etapas de aprendizaje en política pública, se va a poder utilizar las evaluaciones de impacto como instrumento para un verdadero cambio social.

Artículos Relacionados

Comparte este articulo

Share on facebook
Share on twitter
Share on linkedin
Miguel Ángel García
Junior Consultant
Economist from Universidad Santo Tomás, Professional in Government and Public Affairs and student of the master’s in public policy at Universidad de los Andes. With more than three years of experience in consulting, working on issues related to territorial planning, public utilities, auditing, formulation, implementation and evaluation of public policies, applying quantitative and qualitative methods. His areas of interest are poverty, education, public finance, decentralization, economic development and the formulation, implementation and evaluation of public policies.
Miguel Ángel García
Junior Consultant
Economist from Universidad Santo Tomás, Professional in Government and Public Affairs and student of the master’s in public policy at Universidad de los Andes. With more than three years of experience in consulting, working on issues related to territorial planning, public utilities, auditing, formulation, implementation and evaluation of public policies, applying quantitative and qualitative methods. His areas of interest are poverty, education, public finance, decentralization, economic development and the formulation, implementation and evaluation of public policies.
Manuel Herrera
Junior Consultant
Manuel José Herrera Galindo is an Economist from Universidad del Rosario in Colombia, with a specialization in Econometrics from Universidad del Externado, with more than two years of experience in consulting. He has worked with Econometria since December 2019 as a junior consultant, with skills in database processing and analysis, teamwork and English language skills. His main areas of interest are the analysis of public programs and policies, impact evaluations, gender, environmental and sustainable development issues.
Manuel Herrera
Junior Consultant
Manuel José Herrera Galindo is an Economist from Universidad del Rosario in Colombia, with a specialization in Econometrics from Universidad del Externado, with more than two years of experience in consulting. He has worked with Econometria since December 2019 as a junior consultant, with skills in database processing and analysis, teamwork and English language skills. His main areas of interest are the analysis of public programs and policies, impact evaluations, gender, environmental and sustainable development issues.
Mateo Echeverry
Project coordinator
Anthropologist and Social Communicator-Journalist from the Pontificia Universidad Javeriana. With a master’s degree in Rural Development from the Swedish Univesity of Agricultural Science. Experience in peace building, participation, human rights, environment, development and social innovation. He has worked in different sectors such as civil society organizations, international cooperation and research centers. Strengths in project management, qualitative research, facilitation of multi-stakeholder scenarios, design and implementation of training components and stakeholder engagement.
Mateo Echeverry
Project coordinator
Anthropologist and Social Communicator-Journalist from the Pontificia Universidad Javeriana. With a master’s degree in Rural Development from the Swedish Univesity of Agricultural Science. Experience in peace building, participation, human rights, environment, development and social innovation. He has worked in different sectors such as civil society organizations, international cooperation and research centers. Strengths in project management, qualitative research, facilitation of multi-stakeholder scenarios, design and implementation of training components and stakeholder engagement.
Mateo Echeverry
Coordinador de proyectos
Antropólogo y Comunicador Social-Periodista de la Pontificia Universidad Javeriana. Con Maestría en Desarrollo Rural de la Swedish Univesity of Agricultural Science. Experiencia en temas de construcción de paz, participación, derechos humanos, medio ambiente, desarrollo e innovación social. Se ha desempeñado en distintos sectores como organizaciones de la sociedad civil, cooperación internacional y centros de investigación. Fortalezas en gestión de proyectos, investigación cualitativa, facilitación escenarios multiactor, diseño implementación de componentes de capacitación y relacionamiento con grupos de interés.