Evaluación de impacto psicosocial de políticas

Tesis del apunte. Evaluar el impacto psicosocial de una politica no consiste en confirmar que el programa se ejecuto: consiste en producir evidencia creible sobre que cambios concretos produjo en la vida de las personas, en que medida esos cambios se explican por la politica y no por otros factores, y que valoran esos cambios quienes los vivieron. Sin esta triada (cambio, atribución, valoración) el informe no informa decisiones; solo justifica gasto.

EIP = E(fecto) + I(nterpretación causal) + P(articipación). Luego, uso en decisión.
Falta una pieza = la pieza cae el resto del castillo.

diseño de la evaluación→Indicadores psicosociales→Medición de linea base→Implementación→Medición final→Atribución causal→Informe a decisores

1. Conceptos de evaluación de politicas

La evaluación de politicas publicas es una práctica de investigación social aplicada que busca producir juicios fundamentados sobre el valor de una intervención publica (programa, plan, ley, dispositivo). Joan Subirats la situa como una de las fases criticas del ciclo de la politica publica, junto con la formulación del problema, el diseño, la implementación y el aprendizaje institucional. Sin evaluación, el ciclo se repite sin retroalimentación y la politica se reproduce por inercia.

Conviene distinguir tres planos que suelen mezclarse en la práctica:

Monitoreo. Seguimiento periodico de indicadores de ejecución (cobertura, presupuesto ejecutado, prestaciones entregadas). Responde: se esta haciendo lo que se planeo?
Evaluación de procesos. análisis de como opera la intervención, con que obstaculos y que facilitadores. Responde: como y por que llega (o no) a la población objetivo?
Evaluación de impacto. Estimación del efecto neto atribuible a la intervención sobre outcomes relevantes. Responde: que cambio en la vida de las personas gracias a esta politica, más alla de lo que hubiera pasado sin ella?

Esta triada sigue la distinción clásica de la OECD-DAC y fue retomada por Subirats (2014) al describir el ciclo de las politicas publicas. El presente apunte se centra en el tercer nivel: la evaluación de impacto psicosocial, que anade dos rasgos especificos: los indicadores que se miden son fenomenos subjetivos y relacionales (bienestar, autonomia, cohesión, sentido de pertenencia, sufrimiento evitable), y la población afectada suele tener voz propia que la evaluación debe incorporar.

Analogia. Una evaluación de impacto es a una politica lo que un control medico anual es a un tratamiento: el monitoreo te dice si tomaste las pastillas; el control te dice si tu presión bajo. Si solo monitoreas la toma, puedes estar distribuyendo placebo con etiqueta de farmaco. Si solo mides presión sin saber si tomaste, no sabes si el cambio es del farmaco o del clima. La evaluación de impacto exige las dos cosas juntas, más un contrafactual.

2. Indicadores psicosociales

Un indicador psicosocial es una variable observable que aproxima un constructo teórico relevante para la politica evaluada (bienestar subjetivo, autonomia, cohesión, calidad de vida, capital social, estigma, satisfacción con servicios, percepción de derechos). Su validez depende de que la traducción del constructo al indicador sea defendible teórica y metodologicamente.

Trabajar con indicadores psicosociales implica tomar decisiones en cuatro dimensiones:

Constructo. Que fenomeno interesa: bienestar subjetivo, autonomia economica, cohesión barrial, salud mental, exclusión, participación civica, entre otros.
Unidad de observación. Individuo, hogar, territorio, institución, comunidad. Cambia el diseño muestral y la interpretación.
Fuente. Encuesta a población, registro administrativo, entrevista en profundidad, grupo focal, observación participante, indicador compuesto construido a partir de varias fuentes.
Momento. Linea base (t0), seguimiento intermedio (t1), medición final (t2). Sin linea base no hay contrafactual individual.

Mnemotecnia para indicadores. C + U + F + M = Constructo, Unidad, Fuente, Momento. Si una pieza falta, el dato no sostiene conclusión.

Hay criterios tecnicos que todo indicador psicosocial debe cumplir antes de entrar al cuadro de mando de una evaluación. Los sintetizamos en una tabla de tipos de evaluación, preguntas centrales e indicadores que se usara como columna vertebral del resto del apunte.

Tipo de evaluación	Pregunta central	Indicadores psicosociales frecuentes
Diagnostica (necesidades)	Cual es la magnitud y distribución del problema que justifica la politica?	Prevalencia de malestar psicológico, porcentaje de hogares en pobreza multidimensional, percepción de inseguridad, cobertura de servicios.
De procesos	La intervención llega como se planeo a la población objetivo?	Tasa de adhesión, tiempos de tramite, barreras de acceso percibidas, calidad relacional del trato, nivel de conocimiento de derechos.
De resultados	Que cambios observa la población atendida al finalizar la intervención?	Cambio en sintomatologia, en autonomia, en satisfacción con servicios, en cohesión grupal, en capital social.
De impacto	Que parte del cambio es atribuible a la politica y no a otros factores?	Diferencia de medias entre grupos (tratados vs. contrafactual), cambio neto en indicadores priorizados, reducción de brecha entre subgrupos.
Economica	El costo del cambio guarda relación razonable con el beneficio obtenido?	Costo por persona atendida, costo por unidad de outcome evitado, años de vida ajustados por calidad (AVAC o QALY cuando aplique).

3. métodos de evaluación de impacto

El método de evaluación de impacto es la estrategia que permite aislar, con cierto grado de confianza, el efecto de la politica del resto de factores que también cambian la vida de las personas. La elección depende de la pregunta, del diseño disponible y de los recursos. Tres familias concentran la práctica contemporanea.

3.1. diseños experimentales y cuasiexperimentales

El patron de referencia es el experimento aleatorio: personas o territorios elegibles son asignados al azar a grupo tratado o grupo de control, y la diferencia final en el indicador se atribuye a la politica. Cuando la asignación aleatoria no es posible por motivos eticos, politicos o logisticos, se usan diseños cuasiexperimentales:

Diferencia en diferencias. Compara el cambio entre t0 y t2 del grupo tratado con el cambio del grupo de control no equivalente. Requiere paralelismo previo de tendencias.
Emparejamiento (propensity score matching). Construye un contrafactual sintetico emparejando tratados y no tratados con probabilidad similar de recibir la politica, según variables observables.
Variable instrumental. Usa un factor exogeno que mueve la probabilidad de recibir la politica pero no afecta directamente el outcome, para limpiar sesgos de selección.
diseño de regresión discontinua. Aprovecha un umbral administrativo (por ejemplo, un puntaje de corte) para comparar personas justo por encima y justo por debajo, asumiendo que son similares en todo lo demas.
métodos mixtos bayesianos. Combinan información previa con datos observados; utiles cuando las muestras son pequeñas, pero exigen transparencia sobre los priors.

3.2. diseños no experimentales

Cuando ninguno de los anteriores es viable, queda el antes-después sin grupo de control, que compara a la misma población en t0 y t2. Es debil para atribución pero valioso para monitoreo interno y para hipótesis exploratorias. también entran aquí los estudios de cohorte, los transversales repetidos y los estudios de caso singular con series temporales interrumpidas, que pueden aproximar un contrafactual cuando el patron temporal del fenomeno es estable y la intervención produce un quiebre visible.

3.3. métodos mixtos y participativos

La evaluación de impacto psicosocial se completa con la estimación cuantitativa. Los métodos mixtos combinan indicadores estandarizados con técnicas cualitativas (entrevistas en profundidad, grupos focales, cartografia social, narrativas, observación) que iluminan como y por que se produjo el cambio y que valoran las personas sobre el. Subirats insiste en que la dimensión cualitativa cumple una función central: da sentido a la cifra y la conecta con los marcos de sentido de la población.

Criterio para elegir método. Si puedes aleatorizar, aleatoriza. Si no puedes aleatorizar pero tienes linea base y grupo comparable, cuasiexperimental. Si solo tienes antes y después, transparenta la limitación y triangula con cualitativa. Si la intervención es piloto, valor agregado del piloto antes de expandir.

4. Participación de la comunidad en la evaluación

La participación de la comunidad aporta un requisito metodológico para que un indicador psicosocial sea valido. Si lo que medimos es autonomia, cohesión o sentido de pertenencia, la población que vive esos fenomenos debe poder definir que cuenta como cambio, que cuenta como mejora y que cuenta como daño. Sin esa participación, el indicador refleja la teoría del equipo evaluador, no la realidad que pretende medir.

Existen al menos cinco niveles de participación, en gradiente creciente de poder:

Información. La comunidad recibe resultados pero no incide.
Consulta. Se recoge opinion en encuestas o audiencias.
Colaboración. La comunidad aporta en algunas fases (diseño de instrumentos, devolución).
Co-decisión. La comunidad comparte con el Estado las decisiones metodologicas.
Control comunitario. La comunidad lidera la evaluación y el Estado acompana.

Esta graduación conecta directamente con el apunte de investigación-acción participativa (IAP), donde se desarrollan las técnicas de espiral diagnóstico, acción, reflexion. La evaluación de impacto psicosocial toma de la IAP la sensibilidad al saber local, pero se diferencia en su objeto: la IAP busca transformar una situación desde dentro; la evaluación de impacto busca producir evidencia externa sobre los efectos de una politica ya en marcha. Tampoco debe confundirse con la sistematización de experiencias, que reconstruye aprendizajes desde la voz de quienes vivieron la intervención: la sistematización trabaja sobre la narrativa; la evaluación de impacto trabaja sobre indicadores contrastables.

En la práctica, participar significa abrir decisiones concretas: que indicadores se priorizan, que preguntas se hacen en entrevistas, como se devuelven los hallazgos, que pasa con el informe cuando contradice la narrativa oficial. Cuando esto se hace bien, aparecen indicadores que el equipo tecnico no habría pensado (temor a represalias, orgullo barrial, verguenza por pedir ayuda) y que suelen ser los más sensibles al cambio. El trabajo de diagnóstico psicosocial comunitario aporta aquí la caja de herramientas para relevar esos indicadores en territorio, mientras que el apunte de introducción a las politicas publicas ofrece el marco donde esas decisiones se inscriben institucionalmente.

Trampa parcial 1. Confundir consulta con participación. Aplicar una encuesta al final del programa reduce la participación a un termometro leido sin que la población pueda mover la llave del termostato. La participación exige incidencia real en al menos una decisión metodológica central.

Trampa parcial 2. Cosificar a la comunidad como fuente de datos. Pedirle a la comunidad que valide el informe del evaluador externo reproduce la asimetria. La participación genuina implica co-construir el informe.

5. Uso de la evidencia en las decisiones

Una evaluación que no modifica decisiones es un ejercicio academico. El puente entre evidencia y decisión se construye de forma explicita, no se da por supuesta. Subirats (2014) insiste en que la evaluación cumple su función cuando alimenta el aprendizaje institucional: modifica lo que se hace, lo que se deja de hacer, o lo que se hace de otro modo.

Para que la evidencia se use, debe cumplir cinco condiciones practicas:

Pertinencia. Responde preguntas que el decisor real se hace, no solo preguntas que el equipo investigador quisiera responder.
Oportunidad. Llega a tiempo para alimentar la decisión: una evaluación que llega después de la reasignación presupuestaria solo sirve para el proximo ciclo.
Credibilidad. metodología transparente, supuestos explicitados, limitaciones reconocidas. Sin credibilidad, el informe se desactiva por la via del si, pero....
Legibilidad. El resumen ejecutivo habla el idioma del decisor (presupuesto, población, plazo, riesgo), no el del paper academico.
Independencia. Quien evalua responde ante otro organo que el que ejecuta. La autoevaluación de un programa por su propio equipo es un insumo, no una evaluación.

OK clave. La evaluación de impacto psicosocial cumple su función cuando el resumen ejecutivo del informe cambia al menos una decisión concreta del organo que la solicito. Si nada cambia, hay que preguntarse por que.

Existen al menos cuatro usos tipicos de la evidencia evaluativa:

Continuar y escalar. La politica produce efectos positivos y es viable mantenerla o expandirla.
Ajustar. La politica produce efectos pero menores de lo esperado, o distribuidos de forma desigual; se modifica diseño o focalización.
Sustituir. Otra intervención, con la misma población y presupuesto, promete más impacto.
Descontinuar. La evidencia muestra ausencia de efecto o efectos adversos que pesan más que los beneficios.

Estos cuatro usos coinciden con las recomendaciones tipicas de los organismos internacionales de cooperación (Banco Mundial, CEPAL, OECD) para culminar ciclos de politica con base en evidencia.

Trampa parcial 3. Politica basada en evidencia como eslogan. Anunciar que se trabaja con evidencia y luego omitir el informe que contradice la linea oficial es una práctica frecuente. La evidencia solo se usa cuando el decisor esta dispuesto a modificar la decisión cuando los datos lo piden.

Trampa parcial 4. Confundir evaluación con auditoria. La auditoria verifica cumplimiento normativo y financiero; la evaluación de impacto pregunta por el cambio en la vida de las personas. Mezclar ambas produce informes que satisfacen al organismo de control pero no orientan la politica.

Detalles para profundizar

Tipos de evaluación según el momento del ciclo

según el momento del ciclo de politica en que se aplican, las evaluaciones se clasifican en ex ante (antes de implementar, para proyectar efectos probables y comparar alternativas), de proceso (durante la implementación, para detectar desvios), de resultados (al cierre, para registrar lo observado) y de impacto (con linea base y contrafactual, para atribuir cambio neto). también existen las evaluaciones de continuación o ex post, que miran efectos de mediano y largo plazo después de que el programa término. El mismo programa admite evaluaciones combinadas: una de proceso en marcha y una de impacto al final.

Indicadores compuestos y su interpretación

Un indicador compuesto (por ejemplo, un indice de inclusión social o un indice de calidad de vida) resume varios indicadores simples en una sola cifra. Su ventaja es la comunicabilidad; su riesgo, la opacidad: si el indice varia, no queda claro cual de sus componentes movio la aguja. Recomendación práctica: reportar de forma explicita el indice compuesto acompanado del valor de cada componente y de la ponderación utilizada. Esto cobra relevancia en evaluaciones psicosociales porque constructos como cohesión o bienestar son multidimensionales.

diseños cuasiexperimentales en politicas sociales

Los diseños cuasiexperimentales son la opción más frecuente en evaluación de politicas sociales, porque rara vez es posible asignar al azar el acceso a un programa. La diferencia en diferencias exige series de al menos dos periodos; el emparejamiento exige una base de datos rica en covariables; la regresión discontinua exige un umbral claro. Cada diseño tiene supuestos que deben verificarse y reportarse: si los supuestos no se cumplen, el efecto estimado puede estar sesgado.

ética de la evaluación de impacto psicosocial

Cuando se miden fenomenos sensibles (salud mental, violencia, discriminación), la evaluación debe extremar resguardos: consentimiento informado genuino, confidencialidad, posibilidad de detener la entrevista si la persona lo requiere, derivación a servicios cuando se detecta sufrimiento, y devolución de hallazgos a la comunidad evaluada. Una evaluación que produce daño individual como efecto colateral no es eticamente aceptable, por más util que sea el dato.

Errores frecuentes que conviene evitar

Confundir monitoreo con evaluación de impacto: medir ejecución y dar por hecho que el programa funciona.
Usar indicadores psicometricos sin adaptación cultural: una escala validada en otra población no necesariamente mide lo mismo aquí.
Saltarse la linea base: sin t0, todo cambio posterior queda sin efecto demostrable.
Ignorar el contrafactual: comparar la población atendida consigo misma sin un grupo equivalente impide la atribución.
Subordinar la participación al cronograma: la comunidad no se ajusta a la planilla, la planilla se ajusta al proceso.
Culminar el informe sin devolución a la comunidad: el aprendizaje fluye en doble via o no fluye.

Una vez claros los indicadores y el método, la utilidad final del trabajo depende de que el informe llegue al escritorio de quien decide, en formato legible, con conclusiones accionables y con honestidad sobre limites. La evaluación de impacto psicosocial funciona, en última instancia, como instrumento de aprendizaje democratico: permite que la sociedad revise sus politicas con información comparable y con voz de quienes las habitan.