Construcción de tests y análisis de ítems

1. Tipos de ítems — opción múltiple, Likert y abiertos

En psicometría, el reactivo es la unidad con la que se construye un test. Un ítem es una tarea breve —una pregunta, una afirmación, una consigna— que se presenta al examinado bajo condiciones controladas y produce una respuesta registrada en forma de dato numérico o categorial. Esa respuesta se combina con la de los demás ítems para producir un puntaje, y ese puntaje, finalmente, se interpreta a la luz de un constructo. Si el ítem está mal escrito, lo que viene después se contamina.

Hay tres formatos que dominan la práctica, y la elección entre ellos depende de lo que se quiera medir y del nivel cognitivo que se quiera exigir al examinado. No es una decisión estilística.

Antes de comparar formatos, conviene dejar plantada una distinción: los reactivos se dividen, de entrada, en ítems de respuesta seleccionada (el examinado elige entre opciones dadas — opción múltiple, emparejamiento, ordenamiento) y ítems de respuesta construida (el examinado produce la respuesta — Likert, respuesta corta, ensayo). La diferencia no es de tamaño: es de tarea cognitiva y de corrección.

1.1 Ítems de opción múltiple

Un ítem de opción múltiple presenta un enunciado (la base) seguido de varias opciones de respuesta: una sola llave correcta y un conjunto de distractores, opciones plausibles pero incorrectas. Es el formato más usado en pruebas de rendimiento y en pruebas estandarizadas de gran escala porque admite corrección automática, reduce el sesgo del corrector y permite cubrir mucho contenido en poco tiempo. Su límite es conocido: mide sobre todo reconocimiento, y un distractor mal calibrado puede ofrecer pistas que revientan el reactivo.

Dentro de la opción múltiple hay variantes que conviene tener a la vista:

1.2 Ítems Likert

Un ítem Likert presenta una afirmación y pide al examinado que indique su grado de acuerdo o de frecuencia en una escala ordinal de categorías (típicamente cinco o siete opciones: desde el rechazo pleno hasta la aceptación plena; por ejemplo, desde «totalmente en desacuerdo» hasta «totalmente de acuerdo», o desde «rara vez» hasta «con mucha frecuencia»). Aunque las opciones se puntúan con números (por ejemplo, de 1 a 5), ese número es una etiqueta ordinal, no una distancia métrica: la diferencia entre «de acuerdo» y «muy de acuerdo» no se asume igual a la diferencia entre «de acuerdo» y «neutral».

La inversión de ítems es práctica común: cuando una parte del cuestionario está en sentido positivo y otra en sentido negativo, se invierten las respuestas antes de sumar para que apunten en la misma dirección. Esto reduce el acuerdo automático (la tendencia a marcar las opciones de acuerdo sin leer) y el efecto de aquiescencia. Pero la inversión no convierte la escala en intervalo: los ítems invertidos continúan siendo ordinales, y ese supuesto es crítico para la mayoría de los análisis posteriores.

1.3 Ítems abiertos

Los ítems abiertos —respuesta corta, respuesta restringida y ensayo— piden al examinado producir la respuesta, no elegirla. Son útiles cuando lo que se quiere medir es producción verbal, razonamiento complejo, creatividad o conocimiento declarativo difícil de reducir a alternativas. Su costo operativo es la calificación: exigen rúbricas, jueces entrenados y, normalmente, doble corrección independiente para controlar el sesgo del corrector.

La elección entre formatos no es trivial. Un test de personalidad suele apoyarse en Likert; un examen de conocimientos avanza con opción múltiple; una evaluación clínica de procesos de pensamiento puede requerir formatos abiertos con rúbrica. Mezclar formatos sin razón suele introducir ruido de método que luego no se separa del constructo.

2. Reglas de redacción de ítems

Escribir un ítem es una habilidad técnica con reglas. Aiken condensó las más operativas en un decálogo que Muñiz retoma en español; los Standards de AERA/APA/NCME lo formulan como criterio de validez de contenido: si los reactivos están mal redactados, el test no puede medir lo que dice medir. La siguiente lista es operativa y condensada.

1. Una sola idea por ítem. Si el reactivo requiere resolver dos cosas a la vez, atribuye aciertos a quien contesta solo una de ellas y castiga a quien contesta las dos. Fracciona el reactivo en dos.
2. Evita las negaciones innecesarias. Si puedes formular la idea en positivo, hazlo. Una negación doble o un «cuál de las siguientes NO…» cambia la tarea cognitiva: el examinado ahora tiene que invertir el sentido de cada opción antes de decidir.
3. Lenguaje claro y nivel de lectura uniforme. Apunta a un nivel lector equivalente al de la población objetivo. Si la muestra lee en nivel universitario, puedes exigir tecnicismos; si lee en nivel medio, usa vocabulario cotidiano.
4. Distractores plausibles y homogéneos. Un distractor sin examinados no informa; uno con examinados de sobra confunde. La longitud y la estructura sintáctica de las opciones deben ser similares, y la respuesta correcta no debe destacar por ser más larga, más técnica o por ocupar una posición fija.
5. Evita pistas accidentales. Concordancia gramatical sospechosa, paralelismos, pistas gramaticales en el enunciado («el ___ recomendado») y opciones que se solapan son puertas abiertas al ojo entrenado del examinado. Un ítem que premia elipsis gramatical no mide el constructo.
6. Enunciado independiente de las opciones. La base debe contener la información suficiente para que la respuesta correcta pueda justificarse sin mirar las opciones. Si necesitas el distractor para entender la pregunta, la pregunta está rota.
7. Coherencia con el contenido curricular o teórico. Los ítems deben reflejar lo que el constructo y la tabla de especificaciones dicen cubrir. Un ítem curioso pero ajeno al dominio es ruido.
8. Evita sesgos culturales, regionales o de género. Lo familiar para el grupo que desarrolló el ítem puede ser ajeno para la población objetivo. Las referencias que tengan sentido solo para un subgrupo sesgan la medición.
9. específica la respuesta esperada con criterio explícito. En ítems abiertos y en ítems de respuesta preferida, el corrector necesita una rúbrica o una guía con la respuesta esperada y los criterios de puntuación.
10. Pilota y revisa antes de puntuar. Ningún ítem entra al test final sin haber sido probado en una muestra pequeña y sin haber sido revisado por al menos otra persona con criterio.

Estas reglas no aseguran nada por sí solas: son condiciones mínimas. Un ítem que las cumple puede seguir siendo malo en su contenido (medir otra cosa, no discriminar, aburrir). Y un ítem que las rompe rara vez se salva con buenos índices psicométricos: si el contenido está torcido, los números describen el daño, no lo reparan.

3. Análisis clásico de ítems — dificultad y discriminación

Tras pilotar el test en una muestra con cierto tamaño (regla operativa: al menos cien examinandos, aunque cuanto más heterogénea la muestra, más estables son los índices), se calculan dos descriptores por ítem: la dificultad y la discriminación. Ambos se calculan sobre las respuestas de los examinandos y, en TCT, dependen de la muestra. Ese último punto importa mucho: un ítem «fácil» en una muestra de expertos puede ser «difícil» en una muestra de novatos.

3.1 Índice de dificultad (p)

Para un ítem dicotómico (acierto o error), el índice de dificultad p es la proporción de examinandos que aciertan el ítem. Va de 0 a 1, donde p = 0 indica que ningún examinado lo acertó y p = 1 indica que lo acertó el conjunto de la muestra. Por convención operativa, valores en torno a 0,50 suelen considerarse de máxima información para distinguir entre personas con puntajes cercanos al centro de la distribución; valores muy altos o muy bajos comprimen la varianza y aportan poco a la diferenciación individual.

Esa última frase hay que leerla con cuidado. El valor p = 0,50 no es una ley ni un umbral obligatorio. Es una referencia para tests de rendimiento de dificultad media; en tests de velocidad donde la práctica totalidad de la muestra debería acertar, los p altos son esperables; en pruebas de máximo desempeño donde solo las personas expertas deberían acertar, los p bajos son la norma. La dificultad se interpreta en relación con la población y el propósito del test.

3.2 Índice de discriminación (D o r_bis)

El índice de discriminación compara el desempeño en el ítem entre personas con puntaje alto en el test y personas con puntaje bajo. Hay dos formas usuales:

• D = p_sup − p_inf: se ordenan los examinandos por su puntaje en la prueba, se toma el tercio superior y el tercio inferior, y se resta la proporción de aciertos en el inferior de la proporción de aciertos en el superior. Va de −1 a 1.
• r_bis: correlación biserial puntual entre la respuesta al ítem (0 o 1) y el puntaje en la prueba. También va aproximadamente de −1 a 1, y tiene la ventaja de usar la muestra entera, no solo los extremos.

Un ítem con discriminación positiva alta (por ejemplo, D mayor que 0,30, o rbis mayor que 0,30) separa bien a quienes puntúan alto de quienes puntúan bajo. Un ítem con discriminación cercana a 0 aporta poco. Un ítem con discriminación negativa indica que las personas con puntaje alto responden con menor acierto que las de puntaje bajo: ese ítem probablemente está midiendo otra cosa o tiene errores en la llave.

3.3 Lectura conjunta de p y discriminación

Dificultad y discriminación no se interpretan por separado. La tabla siguiente recoge cuatro zonas operativas para tests de rendimiento y de autoinforme. Los umbrales son referencias de trabajo, no reglas universales.

Antes de pasar a la siguiente sección, una observación importante. En autoinformes tipo Likert, los índices se calculan sobre cada opción del ítem (por ejemplo, la correlación entre la respuesta del examinado a un ítem y su puntaje sumado al resto de la escala), no solo sobre el puntaje dicotómico. La interpretación cambia: ya no se pregunta «quiénes aciertan», sino «cuáles personas que puntúan alto en la escala eligen esta opción». El paralelismo se mantiene en la lógica, pero los nombres de los índices cambian: correlación del ítem con el resto de la escala, homogeneidad, media del ítem al cuadrado.

4. Revisión y depuración de ítems

Un test no se publica con los primeros cien ítems que salgan de la cabeza. El flujo de revisión tiene tres paradas obligatorias antes del instrumento final: revisión por jueces, pilotaje con análisis cuantitativo, y depuración.

4.1 Revisión por jueces

La revisión por jueces (también llamada revisión de expertos o juicio de expertos) consiste en entregar el banco inicial de ítems a un panel de personas con conocimiento del constructo y de la población objetivo. Cada juez valora, ítem por ítem, si el reactivo es claro, si mide lo que dice medir, si tiene sesgos y si la llave (o la rúbrica, en abiertos) está bien definida. Las valoraciones se agregan con índices de acuerdo entre jueces (kappa, porcentaje de acuerdo, o simplemente agregación de comentarios cualitativos).

Los jueces también pueden señalar problemas de redacción que quien escribió el ítem ya no ve porque está demasiado cerca del texto. Esto es un efecto conocido de la revisión por iguales: a mayor familiaridad con el reactivo, menor capacidad de detectar ambigüedades. La revisión por jueces externos rompe ese sesgo.

4.2 Pilotaje

El pilotaje (o prueba piloto) es la administración del banco inicial a una muestra reducida con carácterísticas similares a la población objetivo. El tamaño de la muestra de pilotaje no tiene una regla exacta; orientativamente, entre 50 y 200 examinandos bastan para hacer análisis clásico de ítems con resultados interpretables. La clave es que la muestra sea representativa del rango del constructo en la población objetivo: si pilotas un test de ansiedad solo con estudiantes universitarios tranquilos, los índices no servirán. Algunos errores frecuentes en el pilotaje son: muestra demasiado homogénea, que aplana los índices de discriminación; muestra demasiado pequeña (menos de 50 examinandos), donde los índices son inestables; condiciones de administración distintas al test final, que cambian las dificultades; ausencia de retroalimentación cualitativa, porque las personas examinadas suelen señalar ítems confusos; y, en el caso de ítems abiertos, olvidar registrar las respuestas, lo que obliga a volver a recolectarlas. El pilotaje es una fuente mixta de información: índices cuantitativos y comentarios cualitativos, y ambos se usan.

4.3 Depuración

La depuración consiste en decidir qué ítems entran al instrumento final y cuáles se reescriben, se mueven a un banco de respaldo o se eliminan. La decisión combina tres tipos de evidencia:

• cuantitativa: índices de dificultad y discriminación; en autoinformes, también correlación del ítem con el resto de la escala y patrón de respuesta por opción.
• cualitativa: comentarios de jueces y de examinandos en el pilotaje; observaciones de los aplicadores.
• Teórica: coherencia del ítem con la tabla de especificaciones y con el constructo que dice medir el test.

Un ítem con índices malos y contenido irrelevante se descarta sin más. Un ítem con índices buenos pero contenido torcido se reescribe o se saca del banco. Un ítem con índices marginales y contenido relevante se conserva con vigilancia y se sigue en próximas aplicaciones.

5. Tabla de especificaciones y operacionalización

Hasta aquí hemos hablado de cómo escribir un ítem y cómo limpiarlo. Falta la pregunta anterior: qué ítems hay que escribir. Esa pregunta la responde la tabla de especificaciones (también llamada blueprint, tabla de planeación, o matriz de contenido).

Las filas suelen ser los contenidos o dominios del constructo (por ejemplo, en un test de comprensión lectora: hechos, inferencias, vocabulario en contexto, estructura del texto). Las columnas suelen ser los niveles cognitivos que el examinado debe poner en juego (recordar, comprender, aplicar, analizar, evaluar, crear — la taxonomía de Bloom, o una versión adaptada al constructo). En cada celda se anota cuántos ítems se escribirán y con qué peso en el puntaje.

5.1 Operacionalización: del constructo al ítem

La operacionalización es el puente entre el concepto abstracto y el reactivo concreto. Se hace en cuatro pasos encadenados, que conviene revisar uno por uno.

Paso 1 · Definir el constructo. Sin una definición operativa previa, escribir ítems es tirar al aire. La definición del constructo sale de la teoría y de la literatura previa; los Standards lo formulan como primer criterio de validez.

Paso 2 · Identificar los dominios o indicadores. A partir de la definición, se identifican las dimensiones o los indicadores observables del constructo. Un test de ansiedad puede operacionalizarse en preocupación cognitiva, activación fisiológica y conducta de evitación.

Paso 3 · Establecer conductas observables. Para cada indicador, se define qué conducta observable lo manifiesta. La preocupación cognitiva se puede manifestar en preguntas intrusivas; la activación fisiológica, en ritmo cardíaco autorreportado; la evitación, en cancelación de actividades.

Paso 4 · Escribir ítems que eliciten esas conductas. El ítem es una tarea breve cuya respuesta se puntúa como presencia, grado o ausencia de la conducta. Aquí entran las reglas de redacción del apartado 2.

Una tabla de especificaciones bien hecha asegura cobertura: cada dominio del constructo tiene ítems asignados y cada nivel cognitivo tiene el peso previsto. Si al terminar la redacción sobran ítems en una celda y faltan en otra, el test quedó sesgado hacia el dominio sobrante.

Un error frecuente es confundir tabla de especificaciones con banco de ítems. La tabla es el plano; el banco es el material ya escrito. Un banco sin tabla pierde la trazabilidad entre constructo y reactivo; una tabla sin banco es papel mojado.

5.2 Cómo encaja la tabla con el resto del proceso

La tabla de especificaciones no es un documento aislado: condiciona lo demás. Define qué ítems escribir (apartado 2), qué jueces reclutar (apartado 4), qué análisis psicométricos correr (apartado 3) y qué tipo de evidencia de validez aportar. Cuando se modifica un ítem tras el pilotaje, la tabla se actualiza para reflejar el cambio. Cuando se construye una forma paralela del test, la tabla vuelve a ser el punto de partida.

Para no duplicar lo que ya tienes cubierto. Este apunte asume que tienes frescos los conceptos de Teoría Clásica de los Tests, confiabilidad, validez y selección de instrumentos. Si necesitas repasarlos, los enlaces directos están abajo. Aquí no se reescribe alfa, omega, ni los argumentos formales de validez: se trata la parte de fabricación y limpieza del reactivo.

• Teoría clásica de los tests · el marco donde se calculan p y discriminación.
• Confiabilidad · alfa de Cronbach, omega, consistencia interna y errores de medida.
• Validez en psicometría · argumentos de validez, incluyendo el de contenido que apoya a la tabla de especificaciones.
• Escalas y selección de instrumentos · cómo elegir entre formatos y escalas ya publicados.