Falta una pieza = la pieza cae el resto del castillo.
1. Conceptos de evaluación de políticas
La evaluación de políticas publicas es una práctica de investigación social aplicada que busca producir juicios fundamentados sobre el valor de una intervención publica (programa, plan, ley, dispositivo). Joan Subirats la sitúa como una de las fases criticas del ciclo de la política publica, junto con la formulación del problema, el diseño, la implementación y el aprendizaje institucional. Sin evaluación, el ciclo se repite sin retroalimentación y la política se reproduce por inercia.
Conviene distinguir tres planos que suelen mezclarse en la práctica:
- Monitoreo. Seguimiento periódico de indicadores de ejecución (cobertura, presupuesto ejecutado, prestaciones entregadas). Responde: se esta haciendo lo que se planeo?
- Evaluación de procesos. análisis de como opera la intervención, con que obstáculos y que facilitadores. Responde: como y por que llega (o no) a la población objetivo?
- Evaluación de impacto. Estimación del efecto neto atribuible a la intervención sobre outcomes relevantes. Responde: que cambio en la vida de las personas gracias a esta política, más allá de lo que hubiera pasado sin ella?
Esta triada sigue la distinción clásica de la OECD-DAC y fue retomada por Subirats (2014) al describir el ciclo de las politicas publicas. El presente apunte se centra en el tercer nivel: la evaluación de impacto psicosocial, que anade dos rasgos específicos: los indicadores que se miden son fenómenos subjetivos y relacionales (bienestar, autonomía, cohesión, sentido de pertenencia, sufrimiento evitable), y la población afectada suele tener voz propia que la evaluación debe incorporar.
2. Indicadores psicosociales
Un indicador psicosocial es una variable observable que aproxima un constructo teórico relevante para la política evaluada (bienestar subjetivo, autonomía, cohesión, calidad de vida, capital social, estigma, satisfacción con servicios, percepción de derechos). Su validez depende de que la traducción del constructo al indicador sea defendible teórica y metodologicamente.
Trabajar con indicadores psicosociales implica tomar decisiones en cuatro dimensiones:
- Constructo. Que fenómeno interesa: bienestar subjetivo, autonomía económica, cohesión barrial, salud mental, exclusión, participación cívica, entre otros.
- Unidad de observación. Individuo, hogar, territorio, institución, comunidad. Cambia el diseño muestral y la interpretación.
- Fuente. Encuesta a población, registro administrativo, entrevista en profundidad, grupo focal, observación participante, indicador compuesto construido a partir de varias fuentes.
- Momento. Linea base (t0), seguimiento intermedio (t1), medición final (t2). Sin linea base no hay contrafactual individual.
Hay criterios técnicos que todo indicador psicosocial debe cumplir antes de entrar al cuadro de mando de una evaluación. Los sintetizamos en una tabla de tipos de evaluación, preguntas centrales e indicadores que se usara como columna vertebral del resto del apunte.
| Tipo de evaluación | Pregunta central | Indicadores psicosociales frecuentes |
|---|---|---|
| Diagnostica (necesidades) | Cual es la magnitud y distribución del problema que justifica la política? | Prevalencia de malestar psicológico, porcentaje de hogares en pobreza multidimensional, percepción de inseguridad, cobertura de servicios. |
| De procesos | La intervención llega como se planeo a la población objetivo? | Tasa de adhesión, tiempos de tramite, barreras de acceso percibidas, calidad relacional del trato, nivel de conocimiento de derechos. |
| De resultados | Que cambios observa la población atendida al finalizar la intervención? | Cambio en sintomatología, en autonomía, en satisfacción con servicios, en cohesión grupal, en capital social. |
| De impacto | Que parte del cambio es atribuible a la política y no a otros factores? | Diferencia de medias entre grupos (tratados vs. contrafactual), cambio neto en indicadores priorizados, reducción de brecha entre subgrupos. |
| Económica | El costo del cambio guarda relación razonable con el beneficio obtenido? | Costo por persona atendida, costo por unidad de outcome evitado, años de vida ajustados por calidad (AVAC o QALY cuando aplique). |
3. métodos de evaluación de impacto
El método de evaluación de impacto es la estrategia que permite aislar, con cierto grado de confianza, el efecto de la política del resto de factores que también cambian la vida de las personas. La elección depende de la pregunta, del diseño disponible y de los recursos. Tres familias concentran la práctica contemporánea.
3.1. diseños experimentales y cuasiexperimentales
El patrón de referencia es el experimento aleatorio: personas o territorios elegibles son asignados al azar a grupo tratado o grupo de control, y la diferencia final en el indicador se atribuye a la política. Cuando la asignación aleatoria no es posible por motivos éticos, políticos o logísticos, se usan diseños cuasiexperimentales:
- Diferencia en diferencias. Compara el cambio entre t0 y t2 del grupo tratado con el cambio del grupo de control no equivalente. Requiere paralelismo previo de tendencias.
- Emparejamiento (propensity score matching). Construye un contrafactual sintético emparejando tratados y no tratados con probabilidad similar de recibir la política, según variables observables.
- Variable instrumental. Usa un factor exogeno que mueve la probabilidad de recibir la política pero no afecta directamente el outcome, para limpiar sesgos de selección.
- diseño de regresión discontinua. Aprovecha un umbral administrativo (por ejemplo, un puntaje de corte) para comparar personas justo por encima y justo por debajo, asumiendo que son similares en todo lo demás.
- métodos mixtos bayesianos. Combinan información previa con datos observados; útiles cuando las muestras son pequeñas, pero exigen transparencia sobre los priors.
3.2. diseños no experimentales
Cuando ninguno de los anteriores es viable, queda el antes-después sin grupo de control, que compara a la misma población en t0 y t2. Es débil para atribución pero valioso para monitoreo interno y para hipótesis exploratorias. también entran aquí los estudios de cohorte, los transversales repetidos y los estudios de caso singular con series temporales interrumpidas, que pueden aproximar un contrafactual cuando el patrón temporal del fenómeno es estable y la intervención produce un quiebre visible.
3.3. métodos mixtos y participativos
La evaluación de impacto psicosocial se completa con la estimación cuantitativa. Los métodos mixtos combinan indicadores estandarizados con técnicas cualitativas (entrevistas en profundidad, grupos focales, cartografía social, narrativas, observación) que iluminan como y por que se produjo el cambio y que valoran las personas sobre el. Subirats insiste en que la dimensión cualitativa cumple una función central: da sentido a la cifra y la conecta con los marcos de sentido de la población.
4. Participación de la comunidad en la evaluación
La participación de la comunidad aporta un requisito metodológico para que un indicador psicosocial sea valido. Si lo que medimos es autonomía, cohesión o sentido de pertenencia, la población que vive esos fenómenos debe poder definir que cuenta como cambio, que cuenta como mejora y que cuenta como daño. Sin esa participación, el indicador refleja la teoría del equipo evaluador, no la realidad que pretende medir.
Existen al menos cinco niveles de participación, en gradiente creciente de poder:
- Información. La comunidad recibe resultados pero no incide.
- Consulta. Se recoge opinión en encuestas o audiencias.
- Colaboración. La comunidad aporta en algunas fases (diseño de instrumentos, devolución).
- Co-decisión. La comunidad comparte con el Estado las decisiones metodológicas.
- Control comunitario. La comunidad lidera la evaluación y el Estado acompana.
Esta graduación conecta directamente con el apunte de investigación-acción participativa (IAP), donde se desarrollan las técnicas de espiral diagnóstico, acción, reflexión. La evaluación de impacto psicosocial toma de la IAP la sensibilidad al saber local, pero se diferencia en su objeto: la IAP busca transformar una situación desde dentro; la evaluación de impacto busca producir evidencia externa sobre los efectos de una política ya en marcha. Tampoco debe confundirse con la sistematización de experiencias, que reconstruye aprendizajes desde la voz de quienes vivieron la intervención: la sistematización trabaja sobre la narrativa; la evaluación de impacto trabaja sobre indicadores contrastables.
En la práctica, participar significa abrir decisiones concretas: que indicadores se priorizan, que preguntas se hacen en entrevistas, como se devuelven los hallazgos, que pasa con el informe cuando contradice la narrativa oficial. Cuando esto se hace bien, aparecen indicadores que el equipo técnico no habría pensado (temor a represalias, orgullo barrial, verguenza por pedir ayuda) y que suelen ser los más sensibles al cambio. El trabajo de diagnóstico psicosocial comunitario aporta aquí la caja de herramientas para relevar esos indicadores en territorio, mientras que el apunte de introducción a las políticas publicas ofrece el marco donde esas decisiones se inscriben institucionalmente.
5. Uso de la evidencia en las decisiones
Una evaluación que no modifica decisiones es un ejercicio académico. El puente entre evidencia y decisión se construye de forma explicita, no se da por supuesta. Subirats (2014) insiste en que la evaluación cumple su función cuando alimenta el aprendizaje institucional: modifica lo que se hace, lo que se deja de hacer, o lo que se hace de otro modo.
Para que la evidencia se use, debe cumplir cinco condiciones practicas:
- Pertinencia. Responde preguntas que el decisor real se hace, no solo preguntas que el equipo investigador quisiera responder.
- Oportunidad. Llega a tiempo para alimentar la decisión: una evaluación que llega después de la reasignación presupuestaria solo sirve para el próximo ciclo.
- Credibilidad. metodología transparente, supuestos explicitados, limitaciones reconocidas. Sin credibilidad, el informe se desactiva por la vía del si, pero....
- Legibilidad. El resumen ejecutivo habla el idioma del decisor (presupuesto, población, plazo, riesgo), no el del paper académico.
- Independencia. Quien evalúa responde ante otro órgano que el que ejecuta. La autoevaluación de un programa por su propio equipo es un insumo, no una evaluación.
Existen al menos cuatro usos típicos de la evidencia evaluativa:
- Continuar y escalar. La política produce efectos positivos y es viable mantenerla o expandirla.
- Ajustar. La política produce efectos pero menores de lo esperado, o distribuidos de forma desigual; se modifica diseño o focalización.
- Sustituir. Otra intervención, con la misma población y presupuesto, promete más impacto.
- Descontinuar. La evidencia muestra ausencia de efecto o efectos adversos que pesan más que los beneficios.
Estos cuatro usos coinciden con las recomendaciones típicas de los organismos internacionales de cooperación (Banco Mundial, CEPAL, OECD) para culminar ciclos de política con base en evidencia.
Detalles para profundizar
Tipos de evaluación según el momento del ciclo
según el momento del ciclo de política en que se aplican, las evaluaciones se clasifican en ex ante (antes de implementar, para proyectar efectos probables y comparar alternativas), de proceso (durante la implementación, para detectar desvíos), de resultados (al cierre, para registrar lo observado) y de impacto (con linea base y contrafactual, para atribuir cambio neto). también existen las evaluaciones de continuación o ex post, que miran efectos de mediano y largo plazo después de que el programa término. El mismo programa admite evaluaciones combinadas: una de proceso en marcha y una de impacto al final.
Indicadores compuestos y su interpretación
Un indicador compuesto (por ejemplo, un indice de inclusión social o un indice de calidad de vida) resume varios indicadores simples en una sola cifra. Su ventaja es la comunicabilidad; su riesgo, la opacidad: si el indice varia, no queda claro cual de sus componentes movió la aguja. Recomendación práctica: reportar de forma explicita el indice compuesto acompanado del valor de cada componente y de la ponderación utilizada. Esto cobra relevancia en evaluaciones psicosociales porque constructos como cohesión o bienestar son multidimensionales.
diseños cuasiexperimentales en políticas sociales
Los diseños cuasiexperimentales son la opción más frecuente en evaluación de políticas sociales, porque rara vez es posible asignar al azar el acceso a un programa. La diferencia en diferencias exige series de al menos dos periodos; el emparejamiento exige una base de datos rica en covariables; la regresión discontinua exige un umbral claro. Cada diseño tiene supuestos que deben verificarse y reportarse: si los supuestos no se cumplen, el efecto estimado puede estar sesgado.
ética de la evaluación de impacto psicosocial
Cuando se miden fenómenos sensibles (salud mental, violencia, discriminación), la evaluación debe extremar resguardos: consentimiento informado genuino, confidencialidad, posibilidad de detener la entrevista si la persona lo requiere, derivación a servicios cuando se detecta sufrimiento, y devolución de hallazgos a la comunidad evaluada. Una evaluación que produce daño individual como efecto colateral no es eticamente aceptable, por más útil que sea el dato.
Errores frecuentes que conviene evitar
- Confundir monitoreo con evaluación de impacto: medir ejecución y dar por hecho que el programa funciona.
- Usar indicadores psicometricos sin adaptación cultural: una escala validada en otra población no necesariamente mide lo mismo aquí.
- Saltarse la linea base: sin t0, todo cambio posterior queda sin efecto demostrable.
- Ignorar el contrafactual: comparar la población atendida consigo misma sin un grupo equivalente impide la atribución.
- Subordinar la participación al cronograma: la comunidad no se ajusta a la planilla, la planilla se ajusta al proceso.
- Culminar el informe sin devolución a la comunidad: el aprendizaje fluye en doble vía o no fluye.
Una vez claros los indicadores y el método, la utilidad final del trabajo depende de que el informe llegue al escritorio de quien decide, en formato legible, con conclusiones accionables y con honestidad sobre limites. La evaluación de impacto psicosocial funciona, en última instancia, como instrumento de aprendizaje democrático: permite que la sociedad revise sus políticas con información comparable y con voz de quienes las habitan.
Este tema se trabaja completo en Psicología clínica y de la salud, una de las 30 materias de la Escuela de Psique: lectura curada, casos y un banco de preguntas que explica por qué cada opción está bien o mal. La sesión 1 de cada materia es gratis y no pide tarjeta.