Como ejemplo, actualmente una de las formas más comunes de ejercitarse es correr. Quienes realizan esta actividad generalmente utilizan aplicaciones para registrar distancias y tiempos, así como otros indicadores para medir su desempeño. Estos indicadores son datos que, analizados en conjunto y de manera histórica, podrían concluir si una persona está lista o no para correr un maratón, aunque no podrían asegurar su llegada a la meta, ¿por qué? Veamos.

Supongamos que te has propuesto inscribirte en un maratón próximamente. Este objetivo tendría que estar acompañado de meses de entrenamiento, de lo contrario, estaríamos hablando solo de un sueño guajiro. Además, tendrías que preguntarte cuál es la distancia máxima que has llegado a correr, en cuánto tiempo corres un kilómetro o si cuentas con la condición física para correr 42 km, entre otras cuestiones, pero ni siquiera con esa información podrías determinar si tu objetivo es factible.

Aunque tus avances sean prometedores, por sí solos no pueden asegurar tu logro porque existen otros factores relevantes, controlables y no controlables, que pueden alterar tu desempeño, como tu estado de ánimo y el clima del día de la carrera. No obstante, la valoración que hagas sobre tu desempeño será indispensable para conocer tus posibilidades.

El caso hipotético anterior muestra por qué es tan relevante la evaluación de políticas públicas.

¿Qué es la evaluación de las políticas públicas?

De manera general, la práctica de la evaluación de políticas públicas es el proceso sistemático que, con base en metodologías robustas, examina el diseño, la implementación, los resultados o los impactos de un proyecto o programa público. Se efectúa para construir recomendaciones destinadas a mejorar la intervención pública y la toma de decisiones.

Evaluación ex ante

A la evaluación de políticas públicas ejecutada antes de implementar una política pública se le denomina ex ante y se efectúa para determinar si una intervención es necesaria y posible. 

En el caso del corredor, la valoración de los resultados del análisis de su desempeño cada cierto tiempo, en lo que llega el día del maratón, se asemeja a la evaluación ex ante y puede ser muy útil para mejorar sus números. Por ejemplo, alguien experto en el tema podría recomendarte perfeccionar tu pisada, tu trote o acelerar después de ciertos kilómetros recorridos para reducir tus tiempos e incrementar tu resistencia, con tal de asegurar el cruce de la meta en la competición. 

Evaluación concomitante 

Este tipo de evaluación de políticas públicas se ejecuta durante la implementación de la intervención para realizar ajustes, en caso de que algo no esté funcionando como se planeó.

Evaluación ex post

La evaluación de políticas públicas ex post se lleva a cabo una vez que el programa o proyecto público terminó, con el propósito de conocer sus efectos. La evaluación de impacto es un ejemplo de este tipo de evaluación.

¿Qué es una evaluación de impacto?

De los diversos tipos de evaluación de políticas públicas, la evaluación de impacto es de las más complejas. Es un método que nos permite analizar y calibrar los efectos de un programa en sus beneficiarios en el largo plazo. En esta definición, es importante resaltar que esos efectos deben derivarse, exclusivamente, de la intervención, ya que los beneficiarios podrían experimentar mejoras en su calidad de vida como consecuencia de otros factores y no de la implementación de una política pública.

Generalmente, la evaluación de impacto consiste en probar una hipótesis relacionada con los efectos de una intervención gubernamental; para ello, es necesario conformar dos grupos con personas seleccionadas aleatoriamente, pero que tienen las mismas características, como sexo, edad, escolaridad, experiencia laboral, entre otras. La única diferencia entre estos dos grupos es que uno es beneficiario del programa público (grupo de tratamiento) y el otro no (grupo de control). Observar los resultados en ambos grupos, antes y después de realizada la intervención gubernamental, permite conocer si esta fue realmente efectiva. 

Debido a la complejidad de la evaluación de impacto, se vale de herramientas que, una vez que se dominan, facilitan el trabajo del evaluador como la ciencia de datos.

¿Cómo se vincula la ciencia de datos con la evaluación de políticas públicas?

Como se mencionó, la evaluación de políticas públicas utiliza metodologías robustas y técnicas de análisis de información para valorar el desempeño de un programa o proyecto público. Entre dichas técnicas está la ciencia de datos.

¿Qué es la ciencia de datos?

La ciencia de datos es una disciplina emergente para mejorar la toma de decisiones en cualquier ámbito. En la práctica, es una herramienta que combina metodologías de las ciencias computacionales con la estadística y la matemática aplicada. Hoy en día, este híbrido es utilizado para resolver todo tipo de problemas, siempre y cuando exista información por tratar.

Volviendo al caso hipotético del maratón, si contáramos con una base de datos del desempeño, en los últimos años, de todos los corredores que participarán en la competición, la ciencia de datos podría predecir quién llegará primero o, incluso, quién no la terminará.

En el ámbito de la evaluación de las políticas públicas, la ciencia de datos puede ser de gran utilidad para la evaluación de impacto, la cual tradicionalmente se ejecuta a partir de una investigación de campo y el examen de la información recolectada. Con la ciencia de datos, el evaluador puede ir más allá: analizar presupuestos históricos de la intervención pública, datos socioeconómicos de la localidad en la que se ejecutó y padrones de beneficiarios que estén disponibles en línea. El evaluador puede convertirse en un científico de datos.

¿Qué es un científico de datos?

Se denomina científico de datos al profesionista que aplica ciencia de datos. Su insumo principal es la información. Su perfil versátil y dominio de ciencias exactas, así como sus bases en programación, hacen de él un elemento valioso para la evaluación de políticas públicas, ya que, entre otras cosas, ayuda a encontrar o corroborar relaciones de causa y efecto. Por ejemplo, podría ser útil para determinar si la mejora en la salud de los niños en una comunidad se debe, únicamente, a la puesta en marcha de un programa de desayunos escolares y no a otros factores como una mejora en el ingreso de las familias o al apoyo económico de otro programa.

El científico de datos y big data

El científico de datos analiza big data o macrodatos, los cuales no refieren a datos gigantescos, como su nombre podría llevarnos a pensar, sino a ecosistemas de datos que comparten ciertas características, como: 

• Enormes en volumen, lo cual permite explorar el alcance del comportamiento humano.
• Enormes en velocidad, ya que se crean casi en tiempo real, lo que posibilita conocer cómo se moldea el comportamiento en un determinado momento.
• Diversos, pues los hay estructurados como no estructurados, esta característica nos ayuda utilizar varios conjuntos de datos para proyectar múltiples contextos del comportamiento humano.
• Exhaustivos en su alcance, es decir, con frecuencia llegan a capturar poblaciones o sistemas enteros. 
• Minuciosos en su resolución, hecho que nos ayuda a comprender comportamientos de lo más íntimos.
• De naturaleza relacional, enfatizando causas y efectos.
• Flexibles, porque podemos añadir a los datos nuevos campos y expandir su alcance.

La ciencia de datos y la evaluación de políticas públicas, aliadas para la Gestión para Resultados.

La Gestión para Resultados (GpR) es un modelo adoptado por el sector público que da más importancia a los resultados y no a los procedimientos, cuyo objetivo es generar valor público, es decir, responder de manera efectiva y útil a las necesidades de la población. Su génesis está en el ámbito empresarial, sin embargo, desde la década de los setenta diversos gobiernos en todo el mundo comenzaron a implementarlo.

Actualmente, la GpR posibilita que se tenga a la mano mucha información sobre el desempeño de programas públicos, gracias al fomento de la rendición de cuentas y la transparencia. Si bien existen áreas de oportunidad, debido a que algunos gobiernos e instituciones públicas todavía no cumplen con estas prácticas en su totalidad, hay factores como la tecnología que nos permiten ser optimistas.    

Los gobiernos han aprovechado los avances tecnológicos para trasladar la información sobre sus acciones y resultados a plataformas digitales, las cuales están al alcance de todos. Para el científico de datos, dichas plataformas representan terreno fértil para su tarea y, para la evaluación de políticas públicas, una gran oportunidad para mejorar su quehacer, la toma de decisiones gubernamentales y el uso de los recursos de los ciudadanos.

La entrada La evaluación de políticas públicas y la ciencia de datos se publicó primero en IEXE Universidad.

¿Qué es la Semana de la Evaluación gLOCAL?

Desde 2015, este evento convoca a diversas instituciones gubernamentales, organizaciones de la sociedad civil, académicos y evaluadores para aportar y reflexionar en torno al monitoreo y evaluación de las intervenciones públicas.

Este año, una de las sedes de gLOCAL fue la ciudad de Querétaro. De la mano del Centro para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR LAC) y la Comisión Estatal de Aguas de Querétaro (CEA), así como de otras instancias nacionales e internacionales, tuvo lugar el foro “Evaluando la calidad agua”, en el cual participó IEXE Universidad.

¿Cómo participó IEXE Universidad?

Por medio de la ponencia “La evaluación de los servicios públicos como instrumento de rendición de cuentas”, dirigida por la Mtra. Tania Pérez Peralta, Vicerrectora de (Experiencia de Alumnos de) la institución. En la misma, habló sobre la relevancia de efectuar evaluaciones que deriven en recomendaciones inteligentes destinadas a mejorar la toma de decisiones en el sector público.

Además, la Vicerrectora explicó cómo las evaluaciones ayudan no solo a conocer, de manera objetiva, cómo son utilizados los recursos públicos, también contribuyen a la asignación eficiente y eficaz de estos al proporcionar datos, evidencias y resultados específicos sobre el desempeño de acciones, programas y obras públicas.

La evaluación: un antídoto para elefantes blancos

La evaluación ex ante, de acuerdo con la Mtra. Pérez, es el método idóneo para valorar desde la etapa de diseño el programa público a ejecutar. Ayuda a determinar si la intervención pública es viable y pertinente. Este tipo de evaluación implica analizar las causas del problema, las soluciones y las factibilidades de la política pública a implementar.

En relación con lo anterior, la maestra subrayó que, de ejecutarse estos tres tipos de análisis, se evitaría la gestación de desastres gubernamentales. Al respecto, compartió algunos ejemplos de estos proyectos del libro El País de los Elefantes Blancos, cuyo autor es el Doctor Julio Franco Corzo, Rector de IEXE Universidad.

Por último, en relación con este tema, la ponente refirió que, a nivel nacional, existen elefantes blancos en materia de infraestructura hídrica: 131 plantas de tratamiento, presas y canales sin aguas. Entre estos proyectos fallidos, señaló los siguientes:

Planta tratadora de aguas residuales de la Cuenca Lechera de Tizayuca, Hidalgo

El proyecto costó 40 millones de pesos, al Fondo Metropolitano del Valle de México, y serviría para sanear el servicio hídrico de los fraccionamientos aledaños a la cuenca; sin embargo, actualmente está parado y sin operar, porque el predio donde se edificó la planta no está escriturado.

Presa Paso Ancho, Oaxaca

Este proyecto requirió una inversión de 5 mil millones de pesos. Se utilizaría para recibir los drenajes sanitarios de Teacalco y la mayor parte del municipio de Nativitas. Desafortunadamente, la presa no concluyó por múltiples inconvenientes, como clausuras por parte de la Procuraduría Federal de Protección al Ambiente (Profepa) y el conflicto entre las comunidades de Sola de Vega y San Vicente Coatlán.

Entonces, ¿por qué evaluar?

El impulso de esta práctica es muy importante porque una de las causas de la escasez del agua, en nuestro país, es la existencia de infraestructura hídrica ineficiente, en mal estado u obsoleta. El seguimiento y evaluación a este tipo de proyectos podría abonar a un mejor aprovechamiento del recurso, así como a evitar su desperdicio y retrasar el Día Cero, el cual está apremiando a nuestro país y al mundo entero.

La entrada IEXE Universidad en la Semana de la Evaluación gLOCAL se publicó primero en IEXE Universidad.

Tradicionalmente, se ha considerado que la evaluación es el último paso en el ciclo de vida de una política pública. La realidad es que la evaluación es un proceso transversal; es decir, se puede realizar en cualquier fase del ciclo, como en el diseño de la política o en su implementación.

En términos generales, para clasificar a una evaluación de políticas públicas, se toman encuentra tres aspectos fundamentales:

1) temporalidad;

2) actores evaluadores;

3) materia de evaluación.

La evaluación se puede realizar en cualquier fase del ciclo.

La temporalidad se refiere a que una evaluación de políticas públicas puede realizarse antes, durante o después de la fase de implementación; por lo tanto, desde esta perspectiva, la evaluación puede clasificarse como ex ante, ex dure, y ex post, respectivamente.

Por otra parte, la evaluación puede llevarse a cabo de manera externa o interna, según los actores evaluadores. La externa, es elaborada por un equipo consultor totalmente ajeno a la organización o institución que implementa la política. En el segundo caso, la  interna es efectuada por un grupo de servidores públicos que trabaja en la dependencia encargada de operar la política pública.

Aunque tanto la evaluación externa como la interna puede contar con metodologías sólidas –y por tanto, generar resultados útiles–, siempre es recomendable recurrir a un evaluador externo. La razón es simple: en una evaluación de políticas públicas, es mejor evitar ser juez y parte.

Por último, existen tipos de evaluación de política pública que van de acuerdo a la materia a evaluar. A continuación, se enlistan aquellos que están enmarcados en el Sistema de Evaluación del Desempeño (SED) y que se han realizado desde 2007 en México:

1. Evaluación de diseño
2. Evaluación de consistencia y resultados
3. Evaluación de procesos
4. Evaluación de impacto
5. Evaluación complementaria
6. Evaluación estratégica
7. Evaluación específica de desempeño
8. Evaluación específica de costo efectividad
9. Evaluación específica de percepción de beneficiarios
10. Evaluación específica de perspectiva de género

En una evaluación de políticas públicas, es mejor evitar ser juez y parte.

Así mismo, en nuestro país, la evaluación de políticas públicas está coordinada en el orden federal  por tres dependencias: la Secretaría de Hacienda y Crédito Público, la Secretaría de la Función Pública y el Consejo Nacional de la Evaluación de la Política Social. Estas establecen las reglas de cómo, por quién y cada cuándo se deben evaluar los programas presupuestarios; dan seguimiento a lo que se hace con las evaluaciones; y derivado de la tipología del SED, han diseñado metodologías para su ejecución, en los casos que aplica.

También publican cada año el Programa Anual de Evaluación (PAE), que especifica los programas presupuestarios que deberán ser evaluados, el tipo de evaluación a realizar y cuándo deberán de realizarse. Esta información es pública y, por ende, cualquier ciudadano puede acceder a ella.

Para concluir, el siguiente esquema sintetiza puntualmente los aspectos más relevantes de este artículo:

La entrada ¿Qué es la Evaluación de Políticas Públicas? se publicó primero en IEXE Universidad.