Funcionamiento diferencial del ítem (DIF) y sesgo

En una frase: mismo nivel de habilidad, distinta probabilidad de acierto.

1. Que es el DIF: definicion operativa

En psicometria, un item presenta funcionamiento diferencial cuando, despues de igualar a las personas por su nivel en el rasgo que mide el test, la probabilidad de dar la respuesta correcta (o de elegir una categoria) varia segun el grupo de pertenencia. El grupo de referencia suele ser el mayoritario o el que sirvio para construir el test; el grupo focal es el que se evalua en busca de sesgo.

1. Se compara un grupo de referencia (frecuentemente el grupo mayoritario o de estandarizacion) con un grupo focal.
2. La comparacion se hace condicionada al puntaje total del test, que funciona como estimacion de la habilidad.
3. Si a igual puntaje los grupos responden distinto, el item se senala como posible DIF.
4. DIF no implica automaticamente sesgo injusto: requiere revisar el contenido para confirmarlo.

2. Tipos de DIF: uniforme y no uniforme

El DIF se clasifica segun como varia la diferencia entre grupos a lo largo de la escala de habilidad. Hay dos tipos principales.

2.1. DIF uniforme

En el DIF uniforme, la ventaja o desventaja de un grupo es constante a lo largo de toda la escala de habilidad. Si el grupo focal tiene una probabilidad menor de acertar a habilidad baja, tambien la tiene a habilidad alta. Es el tipo mas estudiado y el que detectan con mayor facilidad los metodos clasicos.

2.2. DIF no uniforme

El DIF no uniforme aparece cuando la diferencia entre grupos cambia de signo segun el nivel de habilidad. Por ejemplo, el grupo focal podria tener ventaja en habilidad baja y desventaja en habilidad alta. Este patron es mas sutil: exige metodos que modelen la interaccion entre grupo y habilidad, como la regresion logistica con termino de interaccion o el paquete lordif basado en TRI.

3. Metodos de deteccion del DIF

Existen varios metodos para detectar DIF. Cada uno tiene un origen, una logica y un nivel de complejidad distintos. Lo habitual en un analisis serio es combinar dos o mas.

3.1. Mantel-Haenszel

Es el metodo clasico, descrito por Holland y Thayer en 1988. Compara las probabilidades de acierto entre grupos en cada estrato de puntaje total y combina los resultados en un estadistico comun. Es simple, robusto y funciona muy bien para detectar DIF uniforme. Su limitacion es que no detecta bien el DIF no uniforme.

3.2. Regresion logistica

Propuesta por Swaminathan y Rogers en 1990. Modela la probabilidad de acierto como funcion de la habilidad (puntaje total), del grupo y de su interaccion. En tres pasos anida los terminos: primero la habilidad, luego el grupo, despues la interaccion. Si el grupo aporta de forma significativa, hay DIF uniforme; si la interaccion aporta, hay DIF no uniforme.

3.3. SIBTEST

El procedimiento SIBTEST (Simulation Based Item Bias Test), descrito por Shealy y Stout en 1993, evalua el sesgo del item con una estimacion de la habilidad basada en un subconjunto valido de items. Su virtud es que corrige la contaminacion que produce incluir el item bajo analisis en el puntaje total. Existe una variante llamada poly-SIBTEST para items politomicos.

3.4. lordif

El paquete lordif (Choi, Gibbons y Crane, 2011) aplica la TRI para detectar DIF. Compara las curvas caracteristicas del item entre grupos usando un modelo de 1, 2 o 3 parametros. Es sensible tanto al DIF uniforme como al no uniforme, porque compara curvas completas, no solo promedios. Su nombre viene de "Lord's framework for DIF".

4. DIF frente a impacto: la distincion etica

La diferencia entre DIF e impacto es central para no etiquetar como sesgo lo que es una diferencia real, ni ignorar el sesgo disfrazandolo de diferencia.

1. Impacto: diferencia genuina en el rasgo medido. Por ejemplo, un grupo podria tener un promedio menor en un test de matematicas por brechas educativas reales. Esa diferencia es impacto, no sesgo del item.
2. DIF: diferencia en la probabilidad de acierto al mismo nivel de habilidad. Refleja que el item mide algo distinto para un grupo, o que su redaccion favorece a un grupo por razones ajenas al constructo.
3. Sesgo: cuando el DIF se explica por una fuente ajena al constructo (contenido cultural, genero, lenguaje). Es decir, DIF confirmado como problema de equidad.

El ejemplo clasico lo ofrecen los items con referencias culturales locales: un item que menciona un deporte propio de un pais puede ser facil para quien lo conoce y dificil para quien no, sin que esa diferencia tenga que ver con el constructo (por ejemplo, razonamiento verbal). El analisis de DIF detecta el patron; la revision de contenido confirma el sesgo.

5. Impacto del DIF en la equidad del test

Un item con DIF no corregido contamina la medicion: introduce una fuente de varianza ajena al constructo y distorsiona las comparaciones entre grupos. Si varios items presentan DIF en la misma direccion, el efecto se acumula y puede sesgar el puntaje total.

1. Distorsion del puntaje: la habilidad estimada se desvía del valor real para el grupo afectado.
2. Perdida de validez: el test deja de medir lo mismo para ambos grupos.
3. Problemas legales y eticos: en contextos de seleccion (educacion, empleo), el DIF no detectado puede dar lugar a discriminacion.
4. Dano a la reputacion del instrumento: un test con DIF conocido y no tratado pierde credibilidad.

6. Pasos para una revision de DIF en un test estandarizado

Una revision de DIF en un test formal sigue una secuencia ordenada. Los pasos estan pensados para no senalar falsos positivos y para confirmar el sesgo con criterio sustantivo, no solo estadistico.

1. Definir grupos: seleccionar grupo de referencia y grupo focal segun el criterio de interes (genero, idioma, region, nivel socioeconomico).
2. Elegir el criterio de igualacion: por lo general el puntaje total del test, que sirve como estimacion de la habilidad.
3. Aplicar al menos dos metodos de deteccion: por ejemplo, Mantel-Haenszel para DIF uniforme y regresion logistica o lordif para DIF no uniforme.
4. Clasificar la magnitud del DIF: segun las reglas de la Educational Testing Service (ETS), en categorias A (sin DIF), B (DIF leve), C (DIF grave). La categoria C obliga a revisar o descartar el item.
5. Revision de contenido: un comite de expertos examina el item para encontrar la razon del sesgo (lenguaje, contenido cultural, formato).
6. Decision sobre el item: descartar, reescribir o mantener con justificacion. Si se mantiene, se documenta.
7. Reanalizar el test: tras descartar o reescribir items, repetir el analisis para confirmar que el DIF se redujo.

7. Ejemplos reales de items con DIF

La literatura documenta multiples casos de DIF. Estos ejemplos ayudan a entender por que un item aparentemente neutro puede sesgarse.

7.1. DIF cultural

Un caso frecuente son los items que mencionan objetos, deportes o practicas propias de una region. En pruebas de razonamiento verbal o lectura, un texto sobre un deporte local puede favorecer al grupo familiarizado con ese contexto. Zumbo (2007) senala que el DIF cultural suele aparecer en items que mezclan el constructo con conocimiento previo especifico de una cultura.

7.2. DIF por genero

Algunos items de matematicas o ciencias han mostrado DIF por genero cuando el enunciado apela a un contexto estereotipadamente asociado a un genero (por ejemplo, problemas sobre deportes tradicionalmente masculinos o sobre actividades domesticas). La diferencia no esta en la habilidad matematica, sino en la familiaridad o motivacion que genera el contexto del enunciado.

7.3. DIF por idioma o region

En tests adaptados a varios paises de habla hispana, un item puede usar una palabra con significado distinto entre regiones. Lo que en un pais es un termino corriente, en otro puede ser desconocido o tener connotaciones distintas. Esto genera DIF por idioma o variante regional incluso dentro del mismo idioma.

8. Linea de tiempo del DIF

9. Errores frecuentes en el parcial

10. Para el parcial

11. Preguntas de autoevaluacion

Estudia esta materia jugando en la Escuela PsiqueAcademica — la sesion 1 es gratis. O comprueba lo que sabes en la Arena de preguntas.