Funcionamiento diferencial del ítem (DIF) y sesgo

Por Ricardo de Castro King · Psicólogo clínico · Director de Psique Académica

Tesis del tema: El funcionamiento diferencial del ítem (DIF) ocurre cuando personas de distinto grupo (por genero, cultura, región) con el mismo nivel de habilidad tienen distinta probabilidad de responder bien. DIF no es lo mismo que impacto: el impacto refleja una diferencia real de habilidad; el DIF, un sesgo del ítem.

En una frase: mismo nivel de habilidad, distinta probabilidad de acierto.

1. Que es el DIF: definición operativa

En psicometria, un ítem presenta funcionamiento diferencial cuando, después de igualar a las personas por su nivel en el rasgo que mide el test, la probabilidad de dar la respuesta correcta (o de elegir una categoría) varia según el grupo de pertenencia. El grupo de referencia suele ser el mayoritario o el que sirvió para construir el test; el grupo focal es el que se evalúa en busca de sesgo.

Definición clave: DIF es la diferencia de probabilidad de acierto entre dos grupos al mismo nivel de habilidad. La frase clave es "al mismo nivel de habilidad": sin ella, cualquier diferencia seria impacto, no DIF.

Se compara un grupo de referencia (frecuentemente el grupo mayoritario o de estandarización) con un grupo focal.
La comparación se hace condicionada al puntaje total del test, que funciona como estimación de la habilidad.
Si a igual puntaje los grupos responden distinto, el ítem se senala como posible DIF.
DIF no implica automáticamente sesgo injusto: requiere revisar el contenido para confirmarlo.

Trampa de parcial: confundir DIF con impacto. El impacto es una diferencia observada en el promedio entre grupos (por ejemplo, que un grupo saque menor puntaje total). El DIF es un sesgo del ítem que aparece después de igualar por habilidad. Un ítem puede mostrar impacto sin DIF, y DIF sin impacto global.

2. Tipos de DIF: uniforme y no uniforme

El DIF se clasifica según como varia la diferencia entre grupos a lo largo de la escala de habilidad. Hay dos tipos principales.

Característica	DIF uniforme	DIF no uniforme
Dirección de la diferencia	Constante a lo largo de la habilidad	Cambia de dirección según el nivel de habilidad
Forma típica	Un grupo responde con mayor probabilidad de acierto de forma constante	Un grupo acierta mas en habilidad baja y menos en alta, o viceversa
Detección	Mantel-Haenszel, regresión logística simple	Regresión logística con interacción, lordif
Frecuencia	Mas común en la practica	Menos frecuente, pero fácil de pasar por alto

2.1. DIF uniforme

En el DIF uniforme, la ventaja o desventaja de un grupo es constante a lo largo de toda la escala de habilidad. Si el grupo focal tiene una probabilidad menor de acertar a habilidad baja, también la tiene a habilidad alta. Es el tipo mas estudiado y el que detectan con mayor facilidad los métodos clásicos.

2.2. DIF no uniforme

El DIF no uniforme aparece cuando la diferencia entre grupos cambia de signo según el nivel de habilidad. Por ejemplo, el grupo focal podría tener ventaja en habilidad baja y desventaja en habilidad alta. Este patrón es mas sutil: exige métodos que modelen la interacción entre grupo y habilidad, como la regresión logística con termino de interacción o el paquete lordif basado en TRI.

Definición clave: el DIF no uniforme refleja una interacción entre habilidad y grupo. No basta con mirar promedios: hay que ver si la curva del ítem cambia de forma entre grupos, no solo de posición.

3. Métodos de detección del DIF

Existen varios métodos para detectar DIF. Cada uno tiene un origen, una lógica y un nivel de complejidad distintos. Lo habitual en un análisis serio es combinar dos o mas.

3.1. Mantel-Haenszel

Es el método clásico, descrito por Holland y Thayer en 1988. Compara las probabilidades de acierto entre grupos en cada estrato de puntaje total y combina los resultados en un estadístico común. Es simple, robusto y funciona muy bien para detectar DIF uniforme. Su limitación es que no detecta bien el DIF no uniforme.

3.2. Regresión logística

Propuesta por Swaminathan y Rogers en 1990. Modela la probabilidad de acierto como función de la habilidad (puntaje total), del grupo y de su interacción. En tres pasos anida los términos: primero la habilidad, luego el grupo, después la interacción. Si el grupo aporta de forma significativa, hay DIF uniforme; si la interacción aporta, hay DIF no uniforme.

3.3. SIBTEST

El procedimiento SIBTEST (Simulation Based Item Bias Test), descrito por Shealy y Stout en 1993, evalúa el sesgo del ítem con una estimación de la habilidad basada en un subconjunto valido de ítems. Su virtud es que corrige la contaminación que produce incluir el ítem bajo análisis en el puntaje total. Existe una variante llamada poly-SIBTEST para ítems politomicos.

3.4. lordif

El paquete lordif (Choi, Gibbons y Crane, 2011) aplica la TRI para detectar DIF. Compara las curvas características del ítem entre grupos usando un modelo de 1, 2 o 3 parámetros. Es sensible tanto al DIF uniforme como al no uniforme, porque compara curvas completas, no solo promedios. Su nombre viene de "Lord's framework for DIF".

Método	Autor y ano	Tipo de DIF que detecta	Base estadística
Mantel-Haenszel	Holland y Thayer (1988)	Uniforme	Tablas de contingencia estratificadas
Regresión logística	Swaminathan y Rogers (1990)	Uniforme y no uniforme	Modelo logit con interacción
SIBTEST	Shealy y Stout (1993)	Uniforme	Estimación basada en subconjunto valido
lordif	Choi, Gibbons y Crane (2011)	Uniforme y no uniforme	Comparación de curvas TRI

Truco de memoria para los cuatro métodos: "MSRL" piensa en las siglas de un periódico: Mantel-Haenszel, SIBTEST, Regresion logística, Lordif. De menos a mas complejo: M y S detectan uniforme; R y L detectan ambos.
M - Mantel-HaenszelS - SIBTESTR - Regresion logísticaL - lordif

Trampa de parcial: creer que Mantel-Haenszel basta para todo. No. Es excelente para DIF uniforme, pero pierde sensibilidad ante DIF no uniforme. Si se sospecha interacción entre habilidad y grupo, conviene complementar con regresión logística o lordif.

4. DIF frente a impacto: la distinción ética

La diferencia entre DIF e impacto es central para no etiquetar como sesgo lo que es una diferencia real, ni ignorar el sesgo disfrazandolo de diferencia.

Impacto: diferencia genuina en el rasgo medido. Por ejemplo, un grupo podría tener un promedio menor en un test de matemáticas por brechas educativas reales. Esa diferencia es impacto, no sesgo del ítem.
DIF: diferencia en la probabilidad de acierto al mismo nivel de habilidad. Refleja que el ítem mide algo distinto para un grupo, o que su redacción favorece a un grupo por razones ajenas al constructo.
Sesgo: cuando el DIF se explica por una fuente ajena al constructo (contenido cultural, genero, lenguaje). Es decir, DIF confirmado como problema de equidad.

Definición clave: el DIF es un hallazgo estadístico; el sesgo es su interpretación sustantiva. No todo DIF es sesgo, pero todo sesgo que se refleja en un ítem produce DIF.

El ejemplo clásico lo ofrecen los ítems con referencias culturales locales: un ítem que menciona un deporte propio de un país puede ser fácil para quien lo conoce y difícil para quien no, sin que esa diferencia tenga que ver con el constructo (por ejemplo, razonamiento verbal). El análisis de DIF detecta el patrón; la revisión de contenido confirma el sesgo.

5. Impacto del DIF en la equidad del test

Un ítem con DIF no corregido contamina la medición: introduce una fuente de varianza ajena al constructo y distorsiona las comparaciones entre grupos. Si varios ítems presentan DIF en la misma dirección, el efecto se acumula y puede sesgar el puntaje total.

Distorsión del puntaje: la habilidad estimada se desvía del valor real para el grupo afectado.
Perdida de validez: el test deja de medir lo mismo para ambos grupos.
Problemas legales y éticos: en contextos de selección (educación, empleo), el DIF no detectado puede dar lugar a discriminación.
Dano a la reputación del instrumento: un test con DIF conocido y no tratado pierde credibilidad.

Principio operativo: el DIF se analiza a nivel del ítem, pero sus consecuencias se evalúan a nivel del test. Un solo ítem con DIF leve puede ser tolerable; una acumulación de ítems con DIF en la misma dirección senala un problema sistemático.

6. Pasos para una revisión de DIF en un test estandarizado

Una revisión de DIF en un test formal sigue una secuencia ordenada. Los pasos están pensados para no senalar falsos positivos y para confirmar el sesgo con criterio sustantivo, no solo estadístico.

Definir grupos: seleccionar grupo de referencia y grupo focal según el criterio de interés (genero, idioma, región, nivel socioeconómico).
Elegir el criterio de igualacion: por lo general el puntaje total del test, que sirve como estimación de la habilidad.
Aplicar al menos dos métodos de detección: por ejemplo, Mantel-Haenszel para DIF uniforme y regresión logística o lordif para DIF no uniforme.
Clasificar la magnitud del DIF: según las reglas de la Educational Testing Service (ETS), en categorías A (sin DIF), B (DIF leve), C (DIF grave). La categoría C obliga a revisar o descartar el ítem.
Revisión de contenido: un comité de expertos examina el ítem para encontrar la razón del sesgo (lenguaje, contenido cultural, formato).
Decisión sobre el ítem: descartar, reescribir o mantener con justificación. Si se mantiene, se documenta.
Reanalizar el test: tras descartar o reescribir ítems, repetir el análisis para confirmar que el DIF se redujo.

Truco de memoria para los siete pasos: "DEGAM CRD". Definir grupos, Elegir criterio de igualacion, Guardar dos métodos (aplicarlos), Asignar categoría de magnitud (ETS: A, B, C), Mirar el contenido, CR D: Confirmar decisión y Reanalizar. Si te queda largo, recuerda la columna vertebral: definir, detectar, clasificar, revisar, decidir, reanalizar.
DefinirDetectarClasificarRevisarDecidirReanalizar

7. Ejemplos reales de ítems con DIF

La literatura documenta múltiples casos de DIF. Estos ejemplos ayudan a entender por que un ítem aparentemente neutro puede sesgarse.

7.1. DIF cultural

Un caso frecuente son los ítems que mencionan objetos, deportes o practicas propias de una región. En pruebas de razonamiento verbal o lectura, un texto sobre un deporte local puede favorecer al grupo familiarizado con ese contexto. Zumbo (2007) senala que el DIF cultural suele aparecer en items que mezclan el constructo con conocimiento previo especifico de una cultura.

7.2. DIF por genero

Algunos ítems de matemáticas o ciencias han mostrado DIF por genero cuando el enunciado apela a un contexto estereotipadamente asociado a un genero (por ejemplo, problemas sobre deportes tradicionalmente masculinos o sobre actividades domesticas). La diferencia no esta en la habilidad matemática, sino en la familiaridad o motivación que genera el contexto del enunciado.

7.3. DIF por idioma o región

En tests adaptados a varios países de habla hispana, un ítem puede usar una palabra con significado distinto entre regiones. Lo que en un país es un termino corriente, en otro puede ser desconocido o tener connotaciones distintas. Esto genera DIF por idioma o variante regional incluso dentro del mismo idioma.

Trampa de parcial: asumir que un ítem sin DIF estadístico es "neutro" en sentido estricto. El DIF se evalúa respecto a los grupos definidos. Un ítem sin DIF por genero podría tenerlo por región o por nivel socioeconómico. El análisis depende de la variable de agrupación que se elija.

8. Linea de tiempo del DIF

1968 Lord y Novick publican Statistical Theories of Mental Test Scores, marco de la TRI que sustenta métodos posteriores como lordif.

1988 Holland y Thayer describen el método Mantel-Haenszel aplicado a detección de DIF.

1990 Swaminathan y Rogers proponen la regresión logística para detectar DIF uniforme y no uniforme.

1993 Shealy y Stout presentan SIBTEST.

2007 Zumbo publica trabajos sobre la naturaleza del DIF y su relación con la validez.

2011 Choi, Gibbons y Crane publican lordif, basado en TRI.

9. Errores frecuentes en el parcial

1. Confundir DIF e impacto. El impacto es diferencia real de habilidad; el DIF es diferencia en la probabilidad de acierto a igual habilidad. La frase "al mismo nivel de habilidad" es la que separa uno del otro.

2. Creer que Mantel-Haenszel detecta DIF no uniforme. No. Es optimo para DIF uniforme. Para DIF no uniforme hay que usar regresión logística con interacción o lordif.

3. Asumir que todo DIF es sesgo. El DIF es estadístico; el sesgo es la interpretación sustantiva. Hay DIF sin sesgo (por artefactos) y la confirmación exige revisión de contenido.

4. Ignorar la acumulación de DIF. Un ítem con DIF leve puede tolerarse, pero varios ítems con DIF en la misma dirección senalan un problema sistemático del test.

10. Para el parcial

Lo que suelen preguntar:

Definir DIF y subrayar la frase "al mismo nivel de habilidad".
Diferenciar DIF uniforme de no uniforme con un ejemplo.
Vincular cada método (Mantel-Haenszel, regresión logística, SIBTEST, lordif) con su autor y su tipo de DIF.
Explicar la diferencia entre DIF, impacto y sesgo.
Enumerar los pasos de una revisión de DIF en orden.
Citar las categorías ETS (A, B, C) para clasificar la magnitud del DIF.

Repaso en 30 segundos:

DIF: mismo nivel de habilidad, distinta probabilidad de acierto.
DIF uniforme: constante; DIF no uniforme: cambia según la habilidad.
Métodos: Mantel-Haenszel (Holland y Thayer, 1988), regresión logística (Swaminathan y Rogers, 1990), SIBTEST (Shealy y Stout, 1993), lordif (Choi y cols., 2011).
Impacto: diferencia real. Sesgo: DIF confirmado por contenido.
Pasos: definir grupos, detectar, clasificar (ETS A/B/C), revisar contenido, decidir, reanalizar.

11. Preguntas de autoevaluación

1. ¿Que condición debe cumplirse para que una diferencia entre grupos se considere DIF?

Que la diferencia en la probabilidad de acierto aparezca al comparar personas con el mismo nivel de habilidad, estimado por el puntaje total del test.

2. ¿En que se diferencian DIF uniforme y DIF no uniforme?

En el DIF uniforme la ventaja de un grupo es constante a lo largo de la habilidad; en el no uniforme cambia de dirección según el nivel de habilidad.

3. ¿Que método es el mas adecuado para detectar DIF no uniforme y por que?

La regresión logística con termino de interacción o lordif, porque permiten modelar como cambia el efecto del grupo según el nivel de habilidad.

4. ¿Que significa que un ítem tenga DIF de categoría C según la clasificación ETS?

Categoría C indica DIF grave. Según las reglas ETS obliga a revisar o descartar el ítem, salvo que haya una razón sustantiva documentada para mantenerlo.

5. Explica con un ejemplo la diferencia entre impacto y sesgo.

Impacto: un grupo saca menor puntaje en matemáticas por una brecha educativa real. Sesgo: un ítem deportivo favorece a quienes conocen ese deporte al margen de su habilidad verbal o matemática. El impacto refleja habilidad; el sesgo, una fuente ajena al constructo.

Estudia esta materia jugando en la Escuela PsiqueAcademica — la sesión 1 es gratis. O comprueba lo que sabes en la sección de tests y simulacros.