Validez y confiabilidad en psicometría: la diferencia con ejemplos

1. La analogía del reloj que abre todo

Imagina un reloj de pulsera que atrasa diez minutos cada día. Si lo miras hoy y mañana a la misma hora, el atraso es el mismo. El reloj es estable: si te dice que son las 10:14, las dos veces te va a decir algo cercano a las 10:14. Eso es confiabilidad: poca variación entre mediciones repetidas en condiciones parecidas.

Ahora pregúntate si el reloj sirve para llegar a tiempo. No. Aunque sea estable, mide mal el tiempo real. Le faltan diez minutos. Eso significa que no es válido para el uso que le quieres dar. Un instrumento puede ser confiable y, aun así, no medir lo que dice medir.

Analogía clave. Confiabilidad responde: ¿el instrumento repite el resultado con estabilidad? Validez responde: ¿el resultado refleja el rasgo o la conducta que dice reflejar?

En psicometría pasa lo mismo. Un inventario de ansiedad puede darte puntajes parecidos en dos sesiones distintas y seguir evaluando enojo en lugar de ansiedad. Repite con estabilidad, pero mide otra cosa. La confiabilidad es un techo para la validez: si el puntaje brinca de un día a otro, difícilmente puede estar midiendo algo de forma fiel. Pero pasar ese techo no te garantiza nada.

Este artículo se enfoca en la diferencia entre validez y confiabilidad con ejemplos cotidianos de test: un examen parcial de estadística, un inventario de ansiedad y una aplicación del WAIS. Si te interesa cómo se construye el instrumento paso a paso (ítems, jueces, piloto, análisis), eso vive en Construcción de tests y análisis de ítems. Si lo que buscas es baremos y normas por población, lo revisamos al pasar y el desarrollo a fondo está en Estandarización, normas y baremos.

—

2. Qué es confiabilidad (y por qué tiene cuatro caras)

Confiabilidad es el grado en que un instrumento mide sin error aleatorio. En la práctica no se observa un solo número; se observa un puntaje compuesto por el valor verdadero más error: `X = V + E`. La confiabilidad estima qué tan grande es `V` respecto a `E` cuando aplicas el test en condiciones similares (Cronbach, 1951, 10.1007/bf02310555). Un instrumento con mucha varianza de error repite mal; uno con poca varianza de error repite bien.

Como el error puede entrar por varios caminos, hay cuatro formas de estimar la confiabilidad. No son intercambiables, y conviene saber cuál te entrega el manual antes de festejar el número.

El alfa de Cronbach es un coeficiente de consistencia interna. Mide cuánto se parecen entre sí los ítems de una escala que apuntan al mismo constructo. Para entenderlo a fondo lo revisamos en la sección 5; por ahora basta con que sepas que es uno entre cuatro estimadores, no un veredicto aislado sobre el test.

Idea fuerza. Confiabilidad no es “el alfa”. Es una familia de coeficientes. Pedir “la confiabilidad” sin aclarar cuál es, si acaso, una imprecisión; en el extremo, te deja leyendo mal un manual.

Si te interesa el detalle histórico y matemático de los cuatro coeficientes, lo tenemos desarrollado en Confiabilidad. Para una mirada panorámica del campo donde se usan, revisa Instrumentos de recolección: confiabilidad y validez.

—

3. Qué es validez (contenido, criterio, constructo — Messick como argumento)

Validez es el grado en que la evidencia y la teoría respaldan las interpretaciones y usos de los puntajes de un test para una población y un contexto dados. La definición moderna no pregunta si el test “es válido” en abstracto; pregunta si las inferencias que haces a partir del puntaje están justificadas (Kane, 2013, 10.1111/jedm.12000).

Históricamente se separó en tres tipos que siguen siendo útiles para organizar la evidencia:

• Validez de contenido. ¿Los ítems cubren el dominio que dicen cubrir? ¿Una rúbrica de “resolución de problemas” evalúa pasos del proceso, no solo el resultado? La validación de contenido se sostiene con juicio de expertos, tabla de especificaciones y, a veces, índices como el de Lawshe modificado (Haynes, Richard y Kubany, 1995, 10.1037/1040-3590.7.3.238).
• Validez de criterio. ¿El puntaje predice un resultado externo o coincide con un referente? Si divides por temporalidad tienes validez concurrente (correlación con un criterio presente, como una evaluación clínica paralela) y validez predictiva (correlación con un criterio futuro, como rendimiento académico o reingreso hospitalario).
• Validez de constructo. ¿El instrumento se comporta como debe comportarse un instrumento que mide ese constructo? Aquí entran la estructura interna (análisis factorial), la convergencia y discriminación entre medidas (Campbell y Fiske, 1959, 10.1037/h0046016; el marco clásico de constructo está en Cronbach y Meehl, 1955, 10.1037/h0040957), la invarianza entre grupos y las relaciones con variables externas esperadas por la teoría.

El giro moderno. Messick (1989) propuso que la validez no se fragmenta en “tipos” sino que es un argumento unitario: cada tipo de evidencia (contenido, criterio, consecuencias) alimenta la misma inferencia. No es una lista para tachar; es un expediente integrado que se acumula a lo largo de los años. (Borsboom, Mellenbergh y van Heerden, 2004, 10.1037/0033-295x.111.4.1061 formaliza esta postura.)

Esto tiene una consecuencia práctica: si el manual de un test te vende “validez de contenido, criterio y constructo” como tres apartados separados y se detiene ahí, te está vendiendo una versión antigua. Lo que importa es el argumento de validez: la cadena de evidencias que conecta ítem, puntaje, constructo e inferencia.

El recorrido por los subtipos vive en Validez en psicometría. Si vas a aplicar el argumento a poblaciones distintas (por ejemplo, comparar una versión en español rioplatense con una mexicana), necesitas mirar la Invarianza de medición.

—

4. Por qué un test puede ser confiable y no válido

Volvamos al reloj que atrasa diez minutos. La lección inversa también es cierta, y esta es la más útil para un parcial.

Confiabilidad es necesaria, no suficiente. Un test puede ser muy estable y estar midiendo algo distinto de lo que dice medir. Los ejemplos abundan:

• Examen de estadística con pistas accidentales. Si los ítems comparten un patrón (la respuesta correcta es la C en cada ítem, o los reactivos están ordenados de fácil a difícil y los últimos tres tienen una pista visual), tus estudiantes obtienen puntajes parecidos entre sí semana a semana, pero esos puntajes reflejan memoria de patrón o lectura de pista, no razonamiento estadístico. La prueba es confiable y poco válida para lo que dice evaluar.
• Inventario de ansiedad con ítems somáticos en muestra deportiva. Si una escala de “ansiedad” carga mucho en mareo, taquicardia y sudor, y la aplicas a un equipo de jugadores antes de un partido, vas a tener puntajes estables (los jugadores con más activación simpática puntúan alto una y otra vez). Pero esos puntajes pueden estar reflejando activación física por competencia deportiva, no ansiedad rasgo. Confiable, escasamente válido para el uso que le das.
• WAIS con baremos desactualizados. Si la versión que tienes usa baremos de hace 25 años y los aplicas a una cohorte que ha tenido acceso masivo a educación digital, el CI puede estar sistemáticamente subestimado. La consistencia interna del WAIS sigue siendo alta; la validez de las inferencias normativas decae con el tiempo.

El corolario es directo: un alfa alto no te salva de una validez pobre. Si los ítems miden sistemáticamente algo distinto del constructo, el instrumento es un cronómetro de algo equivocado. Eso lo demostraron empíricamente estudios que mostraron cómo ítems bien correlacionados entre sí producen un constructo distinto del que el test declara medir (Borsboom et al., 2004).

La asimetría inversa también existe: validez alta implica confiabilidad alta (techo), pero confiabilidad alta no implica validez. Es una relación de cota, no de equivalencia. Si recuerdas una sola cosa de esta sección, que sea esa asimetría.

—

5. Alfa de Cronbach: qué dice y qué no (no «alfa alto = test bueno»)

El alfa de Cronbach se volvió el número de referencia en informes de investigación y manuales de test, a veces con más entusiasmo del que la matemática admite. Vale la pena mirar qué hace y dónde se le va la mano.

Qué hace. El alfa es una cota inferior de la confiabilidad cuando los ítems cumplen el modelo de tau-equivalencia (cada ítem mide el mismo constructo con la misma carga y errores independientes). Bajo ese supuesto, valores por encima de 0.70 suelen considerarse aceptables para investigación y por encima de 0.85 para decisiones individuales (Streiner, 2003, 10.1207/s15327752jpa8001_18). Su cálculo se deriva del trabajo fundacional de Cronbach (1951) y se formaliza en Novick y Lewis (1967, 10.1007/bf02289400).

Qué no hace. Tres puntos que vale la pena tener claros:

1. No mide unidimensionalidad. El alfa puede ser alto con varios constructos latentes, cuando los ítems de cada constructo covarían en forma similar. Para tocar unidimensionalidad necesitas análisis factorial confirmatorio o métodos específicos (Cortina, 1993, 10.1037/0021-9010.78.1.98).
2. Crece con el número de ítems. Meter ítems redundantes infla el alfa aunque no aporte información nueva. El alfa te dice cuán confiable es esa forma del test, no cuánto mide bien.
3. No te dice nada sobre validez. Un alfa de 0.92 en una escala que mide algo distinto del constructo objetivo es, técnicamente, un instrumento muy estable midiendo lo que no debe. Schmitt (1996, 10.1037/1040-3590.8.4.350) y Tavakol y Dennick (2011, 10.5116/ijme.4dfb.8dfd) repasaron los usos y abusos con detalle; la conclusión operativa es la misma: trátalo como uno entre varios indicadores, no como veredicto.

Lectura sana del alfa. Si el manual dice alfa = 0.85, pregúntate: ¿con cuántos ítems? ¿en qué muestra? ¿con qué tipo de consistencia interna? ¿hay análisis factorial que respalde la estructura? Si solo aparece el número, falta información.

Una alternativa útil es el omega de McDonald, que estima la confiabilidad asumiendo un modelo de carga variable y es más robusto cuando hay multidimensionalidad leve. No reemplaza al alfa por decreto, pero conviene tenerlo en el radar cuando el manual reporta solo alfa en escalas con estructura jerárquica.

—

6. Validez de constructo y MTMM en un ejemplo LATAM

La matriz multirrasgo-multimétodo (MTMM) es el procedimiento clásico para examinar validez de constructo cuando tienes varios constructos medidos con varios métodos (Campbell y Fiske, 1959). La idea: si la “ansiedad” medida por autoinforme correlaciona alto con la “ansiedad” medida por entrevista clínica, hay validez convergente. Si “ansiedad” correlaciona bajo con “depresión” usando el mismo método, hay validez discriminante. Si “ansiedad” medida por autoinforme correlaciona más alto con “ansiedad” medida por autoinforme que con “depresión” medida por autoinforme, el método no está secuestrando la medición (los coeficientes monorrasgo-monométodo no dominan la matriz).

Veamos un ejemplo localizado. Supón que estás validando un inventario breve de ansiedad para uso en consulta en una ciudad latinoamericana. Decides reunir tres métodos (autoinforme, observación conductual en una tarea de estrés leve, entrevista clínica estructurada) sobre tres constructos (ansiedad, depresión, somatización). Esperarías algo así, en versión esquemática:

Lectura rápida de esa matriz ideal: la diagonal heterométodo (ans-autoinforme × ans-observ = 0.55) supera a las heterorrasgo-homométodo dentro del autoinforme (ans-dep autoinforme = 0.35). Hay validez convergente y discriminante razonable. Cuando la diagonal heterométodo cae por debajo de las heterorrasgo dentro del mismo método, el método está tapando el constructo: un problema serio.

Una advertencia: en muestras pequeñas o con baja fiabilidad de los métodos, los correlatos MTMM se aplastan y los patrones se vuelven ilegibles. Sireci (2007, 10.3102/0013189×07311609) revisó cómo la teoría de validez moderna reinterpreta el MTMM y cuándo conviene migrar a modelos de ecuaciones estructurales con un solo indicador por método. El MTMM sigue siendo un mapa útil; el ancla inferencial hoy suele ser el análisis factorial confirmatorio multirrasgo-multimétodo (CFA-MTMM).

Regla práctica. Si en una tabla MTMM encuentras correlaciones altas en la diagonal de “mismo método, distintos constructos” (ans-dep autoinforme = 0.70, por ejemplo), el autoinforme no te está separando ansiedad de depresión. Hace falta revisar ítems, método o marco teórico antes de usar esa escala para discriminarlas en clínica.

—

7. Error de medición y el puntaje observado

Cuando alguien obtiene 42 en una escala de ansiedad, ese 42 no es “su ansiedad”. Es un puntaje observado compuesto por su nivel verdadero más un error que cambia de aplicación en aplicación: `X = V + E`. Si la confiabilidad del test es 0.85, la varianza del error es 0.15 veces la varianza global del puntaje.

Una forma útil de verlo es el error estándar de medición (EEM), que se estima como `EEM = DE * raiz(1 – rxx)`, donde `DE` es la desviación estándar del puntaje en la muestra de baremos y `rxx` es la confiabilidad. Si la DE es 10 y la confiabilidad es 0.85, el EEM es aproximadamente 3.87. Eso significa que, con 95% de confianza, el puntaje verdadero de la persona está dentro de un intervalo de aproximadamente 7.6 puntos arriba o abajo alrededor del puntaje observado. Una diferencia de 3 puntos entre dos aplicaciones probablemente sea ruido.

Consecuencia clínica. Una persona que hoy obtiene 42 y la semana próxima 45 no necesariamente está más ansiosa. La diferencia cae dentro del error estándar de medición, y atribuirla a cambio clínico sin mirar el EEM es una fuente típica de falsos positivos en seguimiento.

Tres implicaciones para la práctica:

• Para cribado, una sola aplicación puede ser razonable si el costo de un falso negativo es bajo y el instrumento tiene buena sensibilidad.
• Para diagnóstico, una sola aplicación sin confirmación por otro método (entrevista, observación, prueba convergente) suele ser insuficiente, sobre todo cuando el EEM es grande.
• Para seguimiento, las diferencias menores al doble del EEM rara vez justifican un cambio de intervención. Cambios más pequeños son ruido, por más visibles que parezcan en una gráfica.

Si te interesa cómo se articulan estas ideas con baremos y normas por población, la base está en Estandarización, normas y baremos.

—

8. Ejemplos de aula y clínica: ansiedad, inteligencia, rendimiento

Tres situaciones concretas para aterrizar lo anterior. No son instructivos; son patrones que verás una y otra vez.

8.1 Un inventario de ansiedad aplicado a estudiantes universitarios

Aplicas el BAI o el STAI en una muestra de estudiantes durante la semana de parciales. La consistencia interna (alfa) suele ser 0.90 o más, y el test-retest a dos semanas puede andar por 0.80. Estos números son altos y, aun así, no te dan respiro por sí solos:

• Validez de contenido. ¿Los ítems cubren ansiedad cognitiva, afectiva y somática? ¿Hay ítems que apuntan a un solo subtipo? Si tu muestra tiene ansiedad predominantemente cognitiva, la escala puede subestimar el nivel real.
• Validez de criterio. ¿El puntaje predice asistencia a consulta o rendimiento en el parcial? Si no correlaciona con un criterio externo razonablemente cercano, falta evidencia.
• Validez de constructo. ¿Ansiedad y depresión covarían en 0.60, o el inventario está midiendo distrés general etiquetado como ansiedad? Si correlaciona 0.75 con un inventario de depresión, probablemente mide afecto negativo amplio.

8.2 Un WAIS en una evaluación neuropsicológica

El WAIS-IV tiene consistencias internas reportadas por subtest entre 0.80 y 0.95 en la muestra de estandarización. Test-retest a 2-12 semanas suele estar entre 0.85 y 0.94 para el CI de la escala global. Estos números son fuertes. Aun así:

• Validez de constructo del CI de la escala global. Depende de qué entiendas por “inteligencia”. El CI de la escala global resume varios índices (comprensión verbal, razonamiento perceptivo, memoria de trabajo, velocidad de procesamiento). Si lo reduces a una cifra sola pierdes información clínica relevante, sobre todo en perfiles dispersos donde la media enmascara déficits específicos.
• Validez convergente con pruebas de funciones ejecutivas. Si una persona rinde alto en CI de la escala global pero bajo en una prueba específica de inhibición, no es contradictorio. Miden cosas distintas y la dispersión informa.
• Validez normativa en población local. Si la baremación es de hace más de 15 años o no incluyó una muestra representativa de tu país, el puntaje puede tener un sesgo sistemático. La decisión clínica informada exige revisar la base normativa.

8.3 Un examen parcial de estadística

Tienes una prueba con 20 reactivos, alfa de Kuder-Richardson (consistencia interna para ítems dicotómicos) de 0.78. Antes de usarla para decidir promoción, conviene revisar:

• Validez de contenido. ¿Cubriste los temas del programa en la proporción que les asignaste? Una tabla de especificaciones ayuda a no sobrerrepresentar un tema.
• Validez de criterio. ¿El puntaje predice el rendimiento en el curso posterior, en un proyecto aplicado o en una evaluación práctica? Si no predice nada fuera del aula, tu prueba puede estar midiendo habilidades de examen, no aprendizaje.
• Validez de constructo. ¿Los estudiantes que rinden bien en problemas abiertos también rinden bien en tu prueba? Si los dos puntajes divergen, sospecha.

Para una comparación detallada entre las pruebas de inteligencia más usadas y los inventarios de personalidad clásicos, revisa Comparativo WAIS, MMPI y NEO. Para el encuadre metodológico de cómo se construye una variable psicológica antes de testearla, lo revisamos en Método científico en psicología: variables, hipótesis y control.

—

9. Cómo leer el manual de un test sin tragar el marketing

Los manuales de test son textos promocionales disfrazados de técnicos. La información valiosa está ahí, pero mezclada con claims que conviene filtrar. Una rutina de cinco pasos funciona en la mayoría de los casos:

1. Identifica la población y la muestra de baremación. ¿Quiénes fueron? ¿Cuántos? ¿De dónde? Si la muestra es angloparlante de hace 30 años y lo aplicas a adolescentes latinoamericanos de hoy, el manual te está vendiendo un instrumento cuyas inferencias normativas no aplican sin adaptación.
2. Revisa los coeficientes de consistencia interna y test-retest. ¿Para qué subescalas? ¿Con qué tamaño de muestra? ¿Hay intervalos de confianza o solo el número? Los intervalos importan porque un alfa de 0.78 con IC95% [0.71, 0.84] no es lo mismo que uno con IC95% [0.55, 0.88].
3. Lee los apartados de validez de criterio y constructo. ¿Con qué criterios correlaciona? ¿Con qué tamaño de efecto? ¿Hay análisis factorial confirmatorio? ¿La estructura coincide con la teoría del manual o hay reordenamientos?
4. Pregunta por la invarianza. Si lo vas a usar entre grupos (género, edad, región), ¿hay evidencia de invarianza de medición? Eso vive en Invarianza de medición y conviene chequearla antes de comparar grupos.
5. Busca evidencia independiente. ¿Hay meta-análisis, estudios en poblaciones similares a la tuya, críticas publicadas? El manual suele omitir lo que no le conviene.

Regla de pulgar. Si el manual solo destaca un alfa global y un par de correlaciones con criterios antiguos, falta evidencia para tomar decisiones individuales con ese instrumento. La regla cambia si el manual reporta CFA, invarianza, sensibilidad/especificidad y replicaciones independientes.

—

10. Errores frecuentes en el parcial y en la consulta

Una lista corta de los tropiezos que más cuesta esquivar. Útil para examen, para supervisión clínica y para tesis.

• Confundir validez con confiabilidad en una pregunta de parcial. Si te preguntan “¿el inventario es válido?”, el alfa alto no alcanza. Necesitas evidencia de constructo, criterio y contenido para el uso específico.
• Citar el alfa como sinónimo de calidad del test. El alfa es un estimador de consistencia interna bajo supuestos. Sin chequear esos supuestos, el número no respalda nada sobre validez.
• Tratar “test confiable” como “test bueno”. Recuerda el reloj: estable distinto de útil para el propósito.
• Olvidar el error estándar de medición. Una diferencia de 2 puntos en una escala con EEM = 5 no es cambio clínico.
• Comparar puntajes entre subescalas como si fueran la misma unidad. El BAI puntúa de 0 a 63; el STAI Estado de 20 a 80. Sumarlos, restarlos o promediarlos sin transformar es un error frecuente.
• Aplicar baremos de otro país sin adaptación. Las diferencias culturales, lingüísticas y educativas distorsionan las inferencias normativas. La adaptación no es solo traducir.
• Citar Messick como si fuera un simple proponente de “validez de constructo”. Messick articuló un argumento unitario que integra consecuencias sociales y valores como parte del expediente de validez. Para el alcance ético-normativo, mira Ética en la práctica psicométrica.
• Limitar la interpretación a un número de CI sin dispersión de índices. El CI de la escala global de un WAIS oculta perfiles clínicamente informativos. Reportar solo esa cifra es desperdiciar información.

Si te queda una idea. Confiabilidad es el techo; validez es el techo más los argumentos. Sin validez no hay interpretación que se sostenga. Con validez hay, como mínimo, una conversación que se puede defender.

—

Preguntas frecuentes

¿Un test con alfa alto es forzosamente válido?

No. El alfa alto indica consistencia interna bajo el supuesto de tau-equivalencia. Sin evidencia de contenido, criterio y constructo, el instrumento puede medir con estabilidad algo distinto del constructo objetivo. Un alfa de 0.90 en una escala que mide activación simpática no la convierte en escala de ansiedad rasgo.

¿Cuál es la diferencia entre test-retest y consistencia interna?

Test-retest estima estabilidad temporal aplicando el mismo test dos veces. Consistencia interna estima covarianción entre ítems de la misma aplicación. Si tu constructo es estable en el tiempo (personalidad), test-retest es clave. Si tu constructo varía con el estado, consistencia interna es más relevante que test-retest.

¿Por qué se reporta más alfa que omega?

Por tradición acumulada, facilidad de cálculo sin software adicional y costumbre editorial en revistas y manuales de test. El omega de McDonald es más robusto ante violaciones de tau-equivalencia y ante multidimensionalidad leve, pero requiere modelos y software específico. Verifica ambos cuando el constructo es complejo, sobre todo en escalas jerárquicas.

¿Qué hago si la consistencia interna me da baja (alfa menor a 0.60)?

Revisa si los ítems apuntan al mismo constructo, si hay ítems invertidos mal codificados, si la muestra es muy pequeña para que el alfa se estabilice y si la escala es multidimensional. No la reportes como “confiable” solo porque quedó alta; tampoco la descartes sin revisar.

¿La validez de criterio se reemplaza con análisis factorial moderno?

No se reemplaza, se complementa. El análisis factorial confirmatorio respalda la validez de constructo estructural, es decir, cómo se organizan los ítems en factores. La validez de criterio sigue dependiendo de evidencia externa: ¿el puntaje predice o coincide con un resultado del mundo real? Sin evidencia de criterio, el CFA describe estructura, no impacto.

¿Cómo sé si un manual es serio o solo marketing?

Revisa si reporta intervalos de confianza, tamaños de muestra por subgrupo, análisis factorial confirmatorio, invarianza entre grupos y estudios independientes de otros autores. Si solo aparecen correlaciones con criterios antiguos y un alfa global sin detalle por subescala, sospecha. Un buen manual también describe limitaciones y poblaciones en las que el test no está recomendado.

¿Messick 1989 es un artículo?

Es un capítulo en Educational Measurement (Linn, ed.). Se cita como capítulo, sin DOI. Su aporte es integrar validez de contenido, criterio y consecuencias en un argumento unitario. Borsboom et al. (2004) lo formalizaron en una revista con DOI consultable.

—

Validez y confiabilidad no son rivales ni sinónimos. Son una relación asimétrica: la confiabilidad es techo de la validez, y la validez es el techo más el argumento que conecta ítems, puntajes, constructos e inferencias. Un instrumento confiable puede medir establemente algo que no te interesa; un instrumento válido, por construcción, tiene que haber pasado primero el techo de confiabilidad. Si logras ver esa asimetría en cada ejemplo —el reloj, el examen, el inventario, el WAIS—, ya tienes lo que la mayoría de los manuales intenta disimular detrás de un solo número.

La próxima vez que leas un alfa de 0.89, hazte tres preguntas: ¿para qué muestra?, ¿con cuántos ítems?, ¿qué dice la evidencia de validez? Las respuestas te van a separar del público que compra el número como si fuera veredicto.

—

Referencias

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Psychological Association.

Anastasi, A. (1988). Psychological testing (6th ed.). Macmillan.

Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061-1071. 10.1037/0033-295x.111.4.1061

Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81-105. 10.1037/h0046016

Cortina, J. M. (1993). What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology, 78(1), 98-104. 10.1037/0021-9010.78.1.98

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. 10.1007/bf02310555

Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302. 10.1037/h0040957

Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3), 238-247. 10.1037/1040-3590.7.3.238

Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1-73. 10.1111/jedm.12000

Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Addison-Wesley.

Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13-103). American Council on Education / Macmillan.

Novick, M. R., & Lewis, C. (1967). Coefficient alpha and the reliability of composite measurements. Psychometrika, 32(1), 1-13. 10.1007/bf02289400

Nunnally, J. C. (1978). Psychometric theory (2nd ed.). McGraw-Hill.

Schmitt, N. (1996). Uses and abuses of coefficient alpha. Psychological Assessment, 8(4), 350-353. 10.1037/1040-3590.8.4.350

Sireci, S. G. (2007). On validity theory and test validation. Educational Researcher, 36(8), 477-481. 10.3102/0013189×07311609

Streiner, D. L. (2003). Starting at the beginning: An introduction to coefficient alpha and internal consistency. Journal of Personality Assessment, 80(1), 99-103. 10.1207/s15327752jpa8001_18

Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53-55. 10.5116/ijme.4dfb.8dfd