Este apunte trata sobre el seguimiento de un programa escolar, no sobre la evaluación final. La diferencia importa porque confunde la decisión operativa del psicólogo: cuando se mezclan las dos cosas, se termina declarando éxito o fracaso sin los datos que sostienen esa declaración. Ya hay un apunte sobre evaluación de programas comunitarios; este se concentra en la escuela. El centro es cómo sabe el psicólogo, mientras el programa corre, si se aplica como se diseñó y si produce el cambio esperado. Para decidir eso en la práctica, separas dos registros: la aplicación y el resultado.
1. Qué distingue el seguimiento de la evaluación final
La evaluación final mira el resultado al cierre: si el estudiante cambió en el indicador que se había definido. El seguimiento mira otra cosa, mientras el programa corre: si la aplicación se mantuvo fiel al diseño. Son registros distintos, que sirven para preguntas distintas.
Un programa escolar llega con un diseño: actividades numeradas, frecuencia de sesiones, materiales, perfil de quien las aplica, perfil del estudiante al que van dirigidas. Cuando el programa empieza a correr en una escuela real, lo que se hace no es lo que el diseño decía, sino una versión de él. Esa versión cambia de acuerdo con quien aplica, con el tiempo disponible, con el grupo de estudiantes y con el apoyo de la dirección, entre otros elementos que no estaban escritos en el protocolo original. La pregunta del seguimiento no es si el programa "se hizo", sino si se hizo como estaba diseñado.
Durlak y DuPre (2008) revisan la investigación sobre implementación de programas y muestran que la forma en que se aplica un programa cambia el resultado. Un programa bien diseñado, mal aplicado, produce poco. Y un programa diseñado de manera modesta, bien aplicado, produce más de lo que su diseño prometía en el papel. Esa diferencia entre diseño y aplicación es lo que el seguimiento mide mientras el programa corre, y lo que la evaluación final no puede reconstruir si no se registró en su momento.
La asimetría es directa, y vale la pena retenerla. Si solo se hace evaluación final y no se hizo seguimiento, al cierre no se puede distinguir entre un programa que no llegó al estudiante y un programa que no se aplicó como estaba diseñado. Esa distinción es la que el seguimiento protege, y la única forma de sostenerla es haber registrado la aplicación mientras el programa corría.
2. Qué se sigue, en cuatro dimensiones
El seguimiento de un programa escolar se organiza en cuatro dimensiones nucleares, más una quinta que la literatura incorpora de manera explícita. Las cinco son observables y se pueden registrar en cada sesión. Las cuatro primeras cubren lo que ocurre dentro del aula; la quinta cubre lo que ocurre en casa, porque el componente familiar también modifica el resultado (Garbacz et al., 2017).
- Adherencia. Se hicieron las actividades previstas en el protocolo, en el orden previsto. Escena escolar: el programa de habilidades socioemocionales pide ocho sesiones con actividades numeradas del 1 al 8. En la quinta sesión, la docente decide invertir el orden y combinar la actividad 6 con la 4. Eso no es una catástrofe, pero deja de ser el programa diseñado. Se anota qué sesión se hizo y en qué orden, y se compara con el protocolo.
- Dosis. Las actividades se hicieron con la frecuencia y duración previstas. Escena escolar: el protocolo pide una sesión de 45 minutos dos veces por semana durante seis semanas. La docente, por presión de calendario, recorta cada sesión a 25 minutos y deja la frecuencia en una vez por semana. La dosis cayó a cerca de la cuarta parte de lo previsto. La decisión de recortar no fue del psicólogo, pero la caída de dosis queda registrada en el seguimiento y forma parte del dato.
- Calidad de la entrega. Quien aplica las actividades está formado para hacerlo y las aplica siguiendo los procedimientos previstos. Escena escolar: el programa lo aplica una docente suplente que recibió las carpetas el lunes y el viernes ya está frente al grupo. La docente no fue capacitada y no tiene con quién consultar dudas concretas sobre la actividad. La adherencia al protocolo puede ser alta y la dosis, completa, pero la entrega no es la que el diseño preveía. El seguimiento lo registra.
- Respuesta de los participantes. Los estudiantes hacen lo que la actividad les pide, no simulan hacerla. Escena escolar: en una sesión de práctica de resolución de problemas, la docente entrega la guía y los estudiantes copian las respuestas del compañero. La docente siguió la actividad al pie del protocolo, pero la respuesta del grupo fue nula. Si no se registra la respuesta de los participantes, esa escena se confunde con una sesión exitosa cuando en realidad la actividad no ocurrió.
- Involucramiento de la familia. Cuando el programa incluye un componente familiar, la familia efectivamente realiza la práctica prevista en casa. Escena escolar: el programa pide a las familias revisar con el estudiante una agenda semanal de 10 minutos y devolver una firma. El seguimiento registra cuántas familias completaron la práctica, cuántas la hicieron a medias y cuántas no, porque ese componente también modifica el cambio en el estudiante (Garbacz et al., 2017). Esta quinta dimensión no es opcional cuando hay componente familiar.
Las cinco dimensiones se registran en cada sesión. No se evalúan al final con la memoria del profesional, porque esa memoria no alcanza para distinguir entre un programa que no llegó al estudiante y uno que no se aplicó como estaba diseñado, ni para saber qué dimensión se desvió. Cuando revises el material al cierre, esa memoria sola no alcanza para reconstruir qué dimensión se apartó del diseño.
3. El indicador de resultado, separado del seguimiento
El seguimiento dice si el programa se aplicó como fue diseñado. El indicador de resultado dice si el estudiante cambió. Las dos cosas se registran, pero no se confunden, porque responden a preguntas distintas y permiten decisiones distintas. Mezclar los dos registros es el error que vuelve opaca la lectura final del programa.
| Qué se registra | Cada cuánto | Qué decisión permite |
|---|---|---|
| Aplicación: adherencia, dosis, calidad de la entrega, respuesta de los participantes y grado de involucramiento de la familia | En cada sesión del programa, con una ficha breve al cierre de la sesión | Decidir si se ajusta la aplicación, se refuerza la capacitación de quien aplica, se modifica el formato de la sesión o se ajusta la práctica familiar |
| Indicador de resultado del estudiante: una conducta observable acotada (tarea, asistencia, interacción social, regulación emocional) | Una medición inicial antes de empezar (línea de base) y otra medición en la fecha pactada al inicio del programa | Decidir si el programa cambió al estudiante, si se renueva, se ajusta el componente o se cierra |
| Conformidad declarada por los participantes y por quien aplica | Al cierre del programa, con una pregunta breve y registrada aparte de los otros dos registros | Identificar señales de alerta sobre la aplicación, no para declarar que el programa funcionó |
Las tres filas viven en columnas separadas: la primera es seguimiento, la segunda es el indicador del estudiante y la tercera es conformidad. Un programa puede tener seguimiento ajustado al diseño, indicador sin cambio y conformidad alta: eso apunta a que el problema está en el componente elegido, no en la aplicación. Y al revés: un programa puede tener seguimiento con desviaciones, indicador con cambio y conformidad alta: eso indica que la aplicación se apartó del diseño y, contra lo previsto, llegó al estudiante. Sin los tres registros por separado, esa lectura no se puede sostener.
4. La decisión del psicólogo en cuatro pasos
El seguimiento se organiza en cuatro pasos, ejecutados en este orden antes y durante el programa. Si se salta uno, los demás pierden asidero. La secuencia se aplica a cada programa escolar que el psicólogo coordine.
Paso 1. Fijar antes de empezar qué se va a registrar. Antes de la primera sesión, el psicólogo escolar define las cinco dimensiones de seguimiento y el indicador del estudiante. Cada dimensión tiene una forma de registro concreta: lista de cotejo para adherencia, reloj y fecha para dosis, escala breve para calidad de la entrega, observación de respuesta de los participantes y registro de práctica familiar. El indicador del estudiante se elige antes de la primera sesión y se mide al inicio para tener línea de base. Si esto no se fija antes de empezar, no se puede reconstruir qué se hizo y qué se midió, y la lectura final queda apoyada en la memoria.
Paso 2. Registrar en cada sesión, no al final. Cada sesión cierra con su ficha de seguimiento. La ficha es breve y se guarda. Si se espera al final del programa para registrar, la memoria no alcanza para distinguir entre las sesiones que se hicieron según el diseño y las que se apartaron, ni para saber dónde se produjo la desviación. La práctica operativa es anotar al cierre de cada sesión, el mismo día. Eso protege la fidelidad del registro y deja trazabilidad de qué sesión se hizo como estaba prevista y cuál no.
Paso 3. Revisar a mitad de camino si la aplicación se desvió. Cuando el programa llega a la mitad de las sesiones previstas, se revisan las fichas acumuladas. Si la adherencia cayó, si la dosis se redujo, si la calidad de la entrega muestra variaciones o si la respuesta de los participantes es baja, se ajustan esos elementos antes de seguir. Esperar al final para descubrir que la dosis cayó a la mitad es demasiado tarde: ya no se puede reconstruir qué parte del resultado se perdió por la caída ni cuánto de esa pérdida era evitable con un ajuste a tiempo. La revisión de mitad de camino es la oportunidad para corregir la aplicación y registrar la corrección, de modo que al cierre se lea qué se ajustó y por qué.
Paso 4. Comparar el indicador del estudiante con la línea de base en la fecha pactada. En la fecha que se fijó en el paso 1, se mide el indicador del estudiante y se compara con la medición inicial. Si mejoró y la aplicación siguió el diseño, se lee que el programa llegó al estudiante y se renueva. Si no mejoró, no se declara de inmediato que el programa no funcionó: se revisan las fichas de seguimiento para ver si la aplicación se apartó del diseño, y solo después se concluye sobre el programa mismo. Un programa bien aplicado sin cambio en el indicador obliga a revisar el componente elegido, porque la aplicación se sostuvo y el estudiante, aun así, no cambió. Un programa mal aplicado con cambio en el indicador obliga a revisar la aplicación antes de sostener la conclusión, porque el cambio podría no ser atribuible al programa.
Los cuatro pasos están encadenados. Si se salta el paso 1, no hay forma de saber qué se registró en el paso 2. Si se salta el paso 2, no hay material para el paso 3. Si se salta el paso 3, se llega al paso 4 sin haber corregido la aplicación y se confunde un problema de implementación con uno de diseño. Si se salta el paso 4, no se cierra el ciclo.
5. Trampa de parcial
La trampa aparece con frecuencia en informes y en exámenes porque es verosímil. Si al final del programa los estudiantes dicen que la experiencia les gustó y que repetirían, parece razonable concluir que el programa dio resultado. La conclusión es intuitiva, pero confunde dos registros que deben ir separados, y suma una confusión: la conformidad no es ni seguimiento de la aplicación ni medición del indicador.
La conformidad mide una sola cosa: qué tan aceptable fue la experiencia. No mide si el programa se aplicó como fue diseñado, ni si el indicador del estudiante cambió. Un programa puede ser aplicado con baja adherencia, dosis reducida y respuesta pobre de los participantes, y aun así los estudiantes declarar conformidad al cierre. Y un programa bien aplicado puede no producir conformidad si los estudiantes lo perciben como exigente, sin que eso signifique que la aplicación falló.
La verificación para no caer en la trampa se hace con tres preguntas, y las tres son necesarias:
- ¿Se registró la aplicación (adherencia, dosis, calidad de la entrega, respuesta de los participantes y, cuando corresponde, involucramiento de la familia) en cada sesión?
- ¿Se midió el indicador del estudiante en la fecha pactada y se comparó con la línea de base tomada antes de empezar?
- ¿La conclusión sobre si el programa "funcionó" se apoyó en esos dos registros, no solo en la conformidad declarada?
Si alguna de las tres preguntas queda sin responder, la conclusión sobre el programa se apoyó en un registro que no mide lo que dice medir. La conformidad, sola, no autoriza esa conclusión. Si la conformidad es baja pero la aplicación fue fiel al diseño y el indicador cambió, hay un problema de presentación del programa, no de su efecto.
6. Para el parcial
Bullets testeables:
- El seguimiento y la evaluación final no son sinónimos. El seguimiento registra si el programa se aplicó como fue diseñado mientras corre; la evaluación final mide si el estudiante cambió en el indicador pactado al cierre.
- La forma en que se aplica un programa cambia el resultado: un programa bien diseñado, mal aplicado, produce poco, y un programa diseñado de manera modesta, bien aplicado, produce más de lo que su diseño prometía en el papel (Durlak y DuPre, 2008).
- El seguimiento se organiza en cuatro dimensiones nucleares (adherencia, dosis, calidad de la entrega, respuesta de los participantes) y se amplía con una quinta cuando el programa incluye un componente familiar (involucramiento de la familia).
- El seguimiento de un programa escolar incluye registrar cómo se involucra la familia, porque esa implementación también modifica el resultado del programa (Garbacz et al., 2017).
- El indicador de resultado del estudiante se registra por separado del seguimiento y se compara con la línea de base tomada antes de empezar.
- La conformidad declarada por los participantes al cierre no es evidencia de cambio: es una pista sobre la aplicación, no una medición del indicador.
- La decisión del psicólogo se ordena en cuatro pasos: fijar antes de empezar qué se va a registrar, registrar en cada sesión, revisar a mitad de camino si la aplicación se desvió, y comparar el indicador con la línea de base en la fecha pactada.
- Sin registro de seguimiento, la evaluación final no puede distinguir entre un programa que no se aplicó como estaba diseñado y un programa que no llegó al estudiante.
Preguntas de examen que pueden aparecer y cómo responderlas:
- "¿Qué diferencia hay entre seguimiento y evaluación final?" — El seguimiento registra si el programa se aplicó como fue diseñado mientras corre; la evaluación final mide si el estudiante cambió en el indicador pactado al cierre.
- "¿Qué dimensiones se registran en el seguimiento de un programa escolar?" — Cuatro nucleares: adherencia, dosis, calidad de la entrega y respuesta de los participantes. Cuando el programa incluye un componente familiar, se añade una quinta: involucramiento de la familia.
- "¿Por qué el seguimiento incluye a la familia?" — Porque el componente familiar también modifica el resultado del programa (Garbacz et al., 2017).
- "¿Qué permite distinguir un programa que no funcionó de un programa que no se aplicó como estaba diseñado?" — El registro de seguimiento por sesión, comparado con el cambio en el indicador del estudiante en la fecha pactada.
- "¿Por qué la conformidad declarada al cierre no basta para decir que el programa funcionó?" — Porque la conformidad mide la aceptabilidad de la experiencia, no si la aplicación fue fiel al diseño ni si el indicador cambió.
Si en un ítem de selección múltiple una opción dice que el programa "funcionó" porque los participantes quedaron conformes, esa opción es la incorrecta. La opción correcta distingue entre conformidad, registro de aplicación e indicador del estudiante, y los presenta como tres registros que se leen juntos. Si dudas entre dos opciones, mira si la que elegiste separa esos tres registros; si no los separa, no es la correcta.
Mnemotecnia para los cuatro pasos. Las cuatro letras son FRCC:
- F — Fijar antes de empezar qué se va a registrar: las cinco dimensiones de seguimiento y el indicador del estudiante, con su forma de registro y la fecha de la línea de base.
- R — Registrar en cada sesión con la ficha de seguimiento, no al final del programa.
- C — Corregir a mitad de camino si la aplicación se desvió y ajustar antes de seguir.
- C — Comparar el indicador del estudiante en la fecha pactada con la línea de base.
Cada letra prepara a la siguiente. Sin la F no se sabe qué registrar en la R. Sin la R no hay material para la C de la corrección. Sin esa C se llega a la C final sin haber ajustado la aplicación, y el resultado no se puede interpretar. La regla mnemotécnica sostiene el orden, y el orden sostiene la lectura final del programa.
Errores frecuentes que pueden aparecer como distractores en el examen:
- Tratar la conformidad como evidencia de cambio. La conformidad es una pista sobre la aceptabilidad, no una medición del indicador.
- Confundir seguimiento con evaluación final. El seguimiento se hace mientras el programa corre, sesión por sesión; la evaluación final se hace al cierre, sobre el indicador del estudiante.
- Citar a Durlak y DuPre (2008) como si la implementación no importara. El hallazgo central es que la implementación cambia el resultado.
- Olvidar el componente familiar. El seguimiento incluye registrar cómo se involucra la familia, porque esa implementación también modifica el resultado (Garbacz et al., 2017).
Referencias
Las dos fuentes citadas son las que sostienen los argumentos de este apunte. Ningún dato, porcentaje o nombre ajeno a ellas aparece en el texto.
- Durlak, J. A. y DuPre, E. P. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41(3-4), 327-350. https://doi.org/10.1007/s10464-008-9165-0
- Garbacz, S. A., Herman, K. C., Thompson, A. M. y Reinke, W. M. (2017). Family engagement in education and intervention: Implementation and evaluation to maximize family, school, and student outcomes. Journal of School Psychology, 62, 1-10. https://doi.org/10.1016/j.jsp.2017.04.002