En una frase: confiabilidad = consistencia de las puntuaciones; validez = defensa de lo que dicen; adaptación = equivalencia cultural; nivel de medición = qué análisis son legítimos.
Este apunte continúa el hilo de la materia: ya tienes objetivos y justificación y sabes operacionalizar hipótesis. Ahora toca el instrumento que va a producir los datos. La escena canónica es la de Rosaura, estudiante de Medellín, cuya tesis volvió dos veces porque declaró una escala traducida por ella misma, sin confiabilidad regional ni protocolo de adaptación. Su error no fue de redacción: fue de arquitectura métrica.
1. Confiabilidad: cuatro estimadores, cuatro preguntas distintas
Cada estimador responde una pregunta distinta, y confundirlos es la trampa de parcial más repetida de la materia:
- Consistencia interna: ¿los ítems miden lo mismo entre sí? Se estima con el coeficiente alfa de Cronbach (1951), bajo el supuesto de tau equivalencia, y con el coeficiente omega de McDonald, que se calcula a partir de cargas factoriales de un modelo confirmatorio.
- Estabilidad temporal: ¿el puntaje se sostiene a través del tiempo? Test-retest: dos aplicaciones al mismo grupo con intervalo típico de dos a cuatro semanas, correlación de Pearson o Spearman según el nivel de medición.
- Acuerdo interjuez: ¿dos observadores clasifican igual? Coeficiente kappa de Cohen, que ajusta la concordancia observada por la esperada por azar.
- Equivalencia entre formas paralelas: ¿dos versiones con contenido equivalente producen puntuaciones intercambiables? Coeficiente de correlación intraclase (ICC), que ajusta correlación y desplazamiento de media.
1.1. Alfa versus omega: por qué se reportan en paralelo
El alfa asume tau equivalencia: que cada ítem carga con la misma magnitud sobre el rasgo latente. En escalas psicológicas reales ese supuesto rara vez se cumple, y cuando falla, el alfa subestima la consistencia interna verdadera. El omega de McDonald corrige esa limitación estimando el coeficiente desde las cargas factoriales de un modelo confirmatorio. Por eso la práctica contemporánea, recogida en los Estándares conjuntos de AERA, APA y NCME (2014), reporta ambos en paralelo.
Los umbrales convencionales que sistematizaron Nunnally y Bernstein (1994) sirven de brújula: por encima de cero coma ochenta para investigación aplicada, por encima de cero coma noventa para decisiones individuales de alta responsabilidad, entre cero coma setenta y cero coma ochenta aceptable para estudios exploratorios. En población colombiana general adulta, el grupo de Posada-Villa reportó alfa de cero coma ochenta y nueve para el BDI-II; en atención primaria chilena, Baader reportó cero coma ochenta y seis para el PHQ-9.
1.2. Kappa e ICC: cuando la medición depende de personas observando
El kappa aplica cuando el dato depende del juicio categórico de observadores: entrevistas estructuradas, codificación de respuestas abiertas, clasificación conductual. Valores por encima de cero coma sesenta indican acuerdo sustancial; por encima de cero coma ochenta, acuerdo casi pleno. El ICC cubre el caso de formas paralelas y es más conservador que la correlación de Pearson porque penaliza además el desplazamiento de medias entre versiones.
Autoevaluación: ¿por qué el alfa subestima cuando falta tau equivalencia?
Porque el alfa depende de que las covarianzas entre ítems sean iguales entre sí. Cuando los ítems cargan con distinta magnitud sobre el rasgo, las covarianzas se desigualan y el promedio que calcula el alfa cae por debajo de la consistencia real. El omega, al estimar desde las cargas factoriales del modelo, no depende de ese supuesto y recupera el valor verdadero.
2. Validez: la visión unificada de Messick
La vieja taxonomía presentaba tres tipos separados de validez. Messick (1989) la sustituyó por una visión unificada: toda validez es validez de constructo, y las evidencias de contenido y de criterio son componentes específicos de ese juicio único. Los Estándares conjuntos de AERA, APA y NCME (2014) consolidaron esta visión como marco normativo vigente.
| Evidencia | Pregunta que responde | Procedimiento canónico | Ejemplo regional |
|---|---|---|---|
| Contenido | ¿Los ítems representan el universo del constructo? | Panel de cinco a diez expertos + índice de Lawshe | Panel bicultural del BDI-II en Colombia (Posada-Villa) |
| Criterio concurrente | ¿Correlaciona con un criterio medido ahora? | Correlación con estándar dorado simultáneo | PHQ-9 frente a entrevista clínica estructurada (Baader, Chile) |
| Criterio predictiva | ¿Anticipa un desenlace futuro? | Correlación con criterio medido después | PHQ-9 inicial frente a tratamiento en doce meses |
| Constructo | ¿La estructura y las relaciones teóricas se sostienen? | AFE + AFC, convergente/discriminante, matriz multirrasgo-multimétodo de Campbell y Fiske (1959) | AFC multigrupo del BDI-II comparado con la estructura original |
Messick añadió dos dimensiones que suelen preguntarse en parcial: la evidencia sustantiva (procesos cognitivos del respondiente, estudiados con pensamiento en voz alta y tiempos de respuesta) y la evidencia consecuencial (efectos del uso del instrumento sobre la población, incluidos los efectos diferenciales sobre subgrupos vulnerables). Los colegios profesionales regionales —COLPSIC en Colombia, FEPRA en Argentina— incorporaron ambas a sus orientaciones sobre uso responsable de pruebas.
Autoevaluación: ¿qué evidencia priorizarías si vas a usar el PHQ-9 para tamizaje en atención primaria?
La de criterio concurrente: correlación de las puntuaciones con diagnóstico clínico estructurado en la misma población y momento. Es la evidencia que Baader documentó en Chile. Para decisiones de tratamiento individual añadirías la predictiva; para defender la escala ante un comité, la de constructo con AFC regional.
3. Adaptación transcultural: las directrices ITC
Las directrices de Muñiz, Elosua y Hambleton (2013), emitidas por la Comisión Internacional de Pruebas (ITC), organizan veinte recomendaciones en tres bloques:
- Contexto previo: evaluar la pertinencia cultural del constructo y los efectos potenciales de las diferencias culturales y lingüísticas antes de empezar.
- Desarrollo: traducción y retrotraducción por equipos independientes, panel bicultural, equivalencia de formato y administración, piloto en la cultura objetivo, contraste de propiedades psicométricas entre versiones.
- Confirmación: equivalencia métrica mediante AFC multigrupo, funcionamiento diferencial del ítem por sexo y edad, documentación pública del manual técnico regional.
El caso de Rosaura se resuelve así: dejar la traducción propia, adoptar el BDI-II con adaptación colombiana documentada por Posada-Villa —traducción y retrotraducción independientes, panel bicultural, piloto en Bogotá, Medellín y Cali, AFC multigrupo contra los datos normativos originales— o justificar con protocolo ITC íntegro u otra elección con fundamento. Las revistas regionales aplican estas directrices como criterio editorial, y su incumplimiento es causa frecuente de rechazo.
4. Diseño de escalas nuevas y redacción de ítems
Nunnally y Bernstein (1994) proponen seis etapas para diseñar una escala desde cero:
Reglas de redacción que el OVA sistematiza: lenguaje accesible al nivel educativo mínimo de la población, una sola idea por ítem, sin dobles negaciones, sin términos ambiguos culturalmente, entre cuatro y siete opciones de respuesta, equilibrio entre ítems directos e inversos para reducir el sesgo de aquiescencia, y orden aleatorizado o contrabalanceado cuando hay varias dimensiones para evitar efectos de arrastre. Muñiz, Elosua y Hambleton insisten en que la retrotraducción sola no prueba equivalencia lingüística: se complementa con panel bicultural, piloto y análisis de funcionamiento diferencial.
Autoevaluación: ¿para qué sirve el índice de Lawshe y qué le pide al panel?
Cuantifica el acuerdo entre jueces sobre la pertinencia de cada ítem y produce valores entre menos uno y uno, con umbrales críticos que dependen del número de jueces. Le pide al panel juzgar dimensiones como pertinencia, claridad, suficiencia y redacción. Es la pieza cuantitativa de la validez de contenido.
5. Operacionalización y niveles de medición
Operacionalizar es convertir un constructo teórico en observación mediable con reglas explícitas de asignación numérica. Kerlinger y Lee (2002) y Nunnally y Bernstein (1994) coinciden: ningún constructo psicológico es observable directamente. La operacionalización documentada incluye definición teórica, dimensiones, instrumento por dimensión, regla de puntuación y regla de agregación.
| Nivel | Qué añade | Ejemplo psicológico | Análisis legítimos |
|---|---|---|---|
| Nominal | Categorías excluyentes sin orden | Diagnóstico categorial, afiliación institucional | Moda, frecuencias, chi cuadrado |
| Ordinal | Orden sin magnitudes iguales | Nivel educativo, grupos de riesgo | Mediana, percentiles, Wilcoxon, Kruskal-Wallis |
| Intervalo | Magnitud constante sin cero absoluto | Puntuaciones típicas CI (media cien, desviación quince) | Media, desviación estándar, prueba t, ANOVA, Pearson |
| Razón | Cero absoluto | Tiempo de reacción en milisegundos | El conjunto lleno de operaciones aritméticas |
La práctica regional suele tratar las puntuaciones Likert como de intervalo aunque su nivel estricto sea ordinal. Esa decisión es defendible, pero debe declararse en el protocolo y justificarse con la literatura que documenta cuándo el tratamiento como intervalo es razonable. Los microdatos del DANE, del INDEC y del INE documentan el nivel de medición de cada variable: buen modelo técnico para tu propio protocolo.
6. Baterías digitales y recolección en línea
La recolección en línea expandió la investigación regional entre 2020 y 2024. Plataformas de código abierto como LimeSurvey y EpiCollect permiten muestras amplias y geográficamente dispersas. Pero el formato digital exige sus propias evidencias: equivalencia entre administración en papel y digital mediante estudios de contraste, adecuación en dispositivos móviles, y controles de calidad de respuesta con ítems de atención e indicadores de tiempo. Muñiz, Elosua y Hambleton añadieron directrices específicas para el formato digital: antes de asumir que los baremos originales siguen válidos, hay que evaluar la equivalencia entre formatos.
Autoevaluación: ¿qué exige el bloque de confirmación de las directrices ITC?
Evidencia de equivalencia métrica mediante análisis factorial confirmatorio multigrupo, análisis de funcionamiento diferencial del ítem por sexo y edad, y documentación explícita de las diferencias detectadas. Es el bloque que separa una adaptación seria de una traducción con piloto.
Autoevaluación: ¿cuándo corresponde kappa y cuándo ICC?
Kappa cuando el dato depende del juicio categórico de observadores humanos sobre las mismas unidades. ICC cuando se contrastan dos formas paralelas del instrumento con el mismo contenido pero ítems distintos, porque ajusta además el desplazamiento de medias entre versiones.
Autoevaluación: ¿por qué la matriz multirrasgo-multimétodo aporta convergencia y discriminación a la vez?
Porque cruza varios rasgos medidos con varios métodos: la convergencia aparece cuando el mismo rasgo medido por métodos distintos correlaciona alto, y la discriminación cuando rasgos distintos medidos por el mismo método correlacionan bajo. Campbell y Fiske (1959) la propusieron precisamente para separar varianza de rasgo de varianza de método.
Autoevaluación: ¿qué significa que la confiabilidad es propiedad de las puntuaciones?
Que no reside en el papel del test sino en el comportamiento de sus puntajes en una muestra concreta. Por eso el alfa del manual original no exime de reestimarla en tu estudio regional: otra muestra, otro idioma, otro contexto, otras puntuaciones.
- Cuatro estimadores de confiabilidad con su pregunta propia: consistencia (alfa/omega), estabilidad (test-retest), acuerdo interjuez (kappa), formas paralelas (ICC).
- Alfa asume tau equivalencia; omega corrige su subestimación; se reportan en paralelo según los Estándares de 2014.
- Umbrales de Nunnally y Bernstein (1994): cero coma setenta exploratorio, cero coma ochenta aplicada, cero coma noventa decisiones individuales.
- Validez unificada de Messick (1989): toda validez es de constructo; evidencias de contenido (Lawshe), criterio (concurrente/predictiva) y constructo (AFE/AFC, Campbell y Fiske).
- Adaptación transcultural: tres bloques ITC de Muñiz, Elosua y Hambleton (2013); retrotraducción sola no basta.
- Casos regionales: BDI-II por Posada-Villa (Colombia), PHQ-9 por Baader (Chile), MMPI-2-RF bajo protocolo ITC.
- Cuatro niveles de medición y su consecuencia directa sobre qué análisis son legítimos.
7. Errores frecuentes al acreditar un instrumento
El patrón que repiten los protocolos devueltos en la región cabe en cuatro errores. Primero, heredar los coeficientes: reportar el alfa y la validez del manual original como si cubrieran la aplicación local, cuando la confiabilidad debe reestimarse en cada muestra. Segundo, confundir traducción con adaptación: presentar una retrotraducción limpia como prueba de equivalencia cultural, sin panel bicultural ni funcionamiento diferencial del ítem. Tercero, elegir el instrumento por disponibilidad gratuita en lugar de por ajuste entre constructo, población objetivo y evidencia regional disponible; el ahorro inicial se paga en rechazos editoriales y observaciones de comité. Cuarto, declarar niveles de medición después de elegir los análisis, cuando la dirección correcta va del nivel hacia la estadística: primero se declara si las puntuaciones operan como ordinales o de intervalo, y solo entonces se justifica la prueba.