Exploración y depuración de bases de datos

Tukey (1977) deja una regla simple: mirar antes de modelar. Tabachnick y Fidell (2019) denominan a esa etapa depuración de datos previa al análisis.

Sección 1. Por qué mirar la base antes de analizarla

El análisis estadístico se parece a una máquina: recibe una tabla, aplica una operación y entrega un resultado con decimales. Esa exactitud es engañosa. Si la tabla de entrada tiene un número transcrito al revés, la máquina no se detiene ni avisa: entrega una media con dos decimales que se acepta sin discusión. El error deja de parecer un error y se disfraza de hallazgo. Por eso el trabajo sobre la base forma parte del análisis y no funciona como un trámite previo.

John Tukey (1977) propuso el análisis exploratorio de datos como una etapa con objetivo propio: entender la estructura de la información antes de decidir qué modelo conviene. La pregunta "qué hay en esta base" va antes que la pregunta "qué prueba corresponde". Ese orden ahorra trabajo. Un error de captura detectado al inicio cuesta unos minutos; el mismo error detectado al final obliga a repetir el análisis entero y a revisar todo lo que se apoyó en él.

Tabachnick y Fidell (2019) dedicaron un capítulo a la depuración de datos previa al análisis, con una advertencia firme: los problemas de captura no se anuncian. No aparece un cartel de "error" sobre la tabla. Aparecen como frecuencias desiguales, como una variable que no se mueve, como una columna de texto donde debería haber números. La revisión tiene que buscar, porque nada se presenta solo.

Conviene tener presentes tres ejemplos para dimensionar el problema. Una base donde la variable de ingresos tiene un 18 % de celdas vacías. Una base donde la mitad de los participantes aparecen dos veces porque el instrumento se administró dos veces. Una base donde la escala de insatisfacción de 1 a 5 fue guardada como texto, y el programa la reconoce como categoría mientras el cálculo de la media la ignora. Ninguno de esos tres casos se detecta leyendo el enunciado del estudio, se detecta mirando la base.

El segundo motivo por el que la exploración se documenta es de defensa metodológica. Cada decisión de depuración cambia el resultado: borrar un caso, rellenar un vacío, recodificar una categoría. Un parcial o un informe con resultados imposibles de reconstruir es un resultado que no se sostiene. El registro de la limpieza permite afirmar "estos son los datos con los que trabajé" y sostener esa afirmación.

El tercero es de costo. Un recorrido de frecuencias, un histograma y una tabla de valores faltantes toman minutos. Es la operación más barata que existe en un proyecto de datos y la que evita los errores más caros.

Sección 2. Las cuatro familias de problemas

Dato perdido: celda que no contiene un valor observado para ese caso y esa variable. El hueco puede deberse a que la pregunta no aplicaba, a que la persona no quiso responder o a un error en el registro. Duplicado: dos filas que corresponden al mismo sujeto. Valor extremo: observación que se aparta del cuerpo de la distribución. Recodificación: transformación de los valores de una variable a otra forma, con un criterio declarado.

Analogía para recordar las cuatro familias: una hoja de calificaciones. Una hoja en blanco es el dato perdido. Una hoja copiada dos veces es el duplicado. Una nota de 137 en un examen de 10 es el valor extremo. Y cuando el profesor decide pasar de letras a números, eso es una recodificación. Las cuatro familias aparecen en la vida cotidiana mucho antes de aparecer en un programa de análisis.

Las bases reales suelen llegar con los mismos cuatro grupos de problemas, y suelen llegar juntos. Un dato perdido puede ser la causa de un duplicado, un valor extremo suele ser un problema de codificación, y una etiqueta mal escrita produce duplicados fantasma. Por eso conviene tener un mapa mental de las cuatro familias antes de abrir el archivo con el programa.

La primera familia es la de los valores perdidos: celdas vacías, códigos como 9 o 99 que significan "no aplica", y respuestas en blanco dentro de encuestas. Importa el patrón más que la cantidad. Si lo perdido se concentra en una variable o en un subgrupo de participantes, hay una razón detrás y el problema es sistemático. Si se reparte al azar, el impacto en las medias tiende a ser menor.

La segunda familia es la de los duplicados. Distinguir el duplicado exacto, donde las dos filas son idénticas, del duplicado parcial, donde la misma persona aparece con mediciones de momentos distintos. El primero suele ser un error de captura y se resuelve quitando filas. El segundo puede ser un dato legítimo: alguien medido antes y después de una intervención. Quitarlo sin pensar cambia el sentido del estudio.

La tercera familia son los valores extremos. Un valor atípico puede ser un error de tecleo (mil años de edad, un ingreso con un cero de más) o puede ser el dato más informativo de la tabla: alguien con una situación económica muy por encima del resto del grupo. La prueba que decide es de contexto, no de estadística: hay que preguntarse si el valor tiene sentido en el mundo que la base describe.

La cuarta familia son los tipos de variable mal codificados. Una escala de 1 a 7 guardada como texto en lugar de número. Fechas en formato libre. Niveles de una variable categórica que se repiten con variaciones de mayúsculas, tildes o espacios, de modo que "Sí", "sí", "SÍ" y "si " terminan siendo cuatro categorías distintas en el conteo. Y el caso clásico: el 9 y el 99 usados como "no contesto" conviviendo con valores reales de 9 y 99.

Sección 3. El orden de la limpieza

El orden importa más de lo que parece, porque cada paso deja el terreno preparado para el siguiente y porque los errores de paso se acumulan. La secuencia que funciona es la siguiente, y es la que sostiene el resto del apunte.

1. Leer el inventario de la base. Cuántas filas, cuántas variables, qué tipo declarado tiene cada una, qué escala se espera, qué variable identifica a cada sujeto y qué rango de valores resulta razonable en cada campo.
2. Identificar los duplicados. Contar filas repetidas exactas y revisar las coincidencias parciales por identificador, para entender si repiten una sesión o si hay un error de digitación en la clave.
3. Medir los valores perdidos. Calcular el porcentaje que falta por variable y revisar si ese porcentaje cambia al cruzar por subgrupos, para distinguir el hueco aleatorio del hueco con causa.
4. Purgar los valores imposibles. Retirar códigos fuera de la escala prevista, valores negativos donde el constructo no admite negativos, fechas incoherentes y los códigos de no respuesta que se han colado como datos válidos.
5. Inspeccionar la codificación. Corregir el tipo de cada variable, unificar etiquetas que se repiten con diferencias de formato y ordenar los niveles de las escalas ordinales en su secuencia real.
6. Analizar los valores extremos. Localizarlos con un criterio explícito, revisar uno por uno en su contexto y decidir cuáles son error de captura y cuáles forman parte del fenómeno estudiado.
7. Recodificar y registrar. Aplicar los cambios acordados, documentar cada decisión con su motivo y dejar la base preparada para el análisis, sin perder trazabilidad de lo que se hizo.

Sección 4. Diagnóstico: la señal, la causa y la decisión

El trabajo de exploración consiste, sobre todo, en emparejar señales con causas. La tabla siguiente resume los patrones que aparecen con más frecuencia y la decisión que suele derivarse en cada caso. Funciona como un catálogo de señales: cuando algo se ve raro en la base, se busca su fila aquí.

Problema	Señal que lo delata	Pregunta sobre la causa	Decisión habitual
Valores perdidos	Porcentaje alto de celdas vacías o presencia del código 9 y 99	¿El instrumento no se aplicó, o la persona decidió no responder?	Conservar el caso y tratar el hueco según el patrón observado
Duplicado exacto	Fila repetida entera, detectada al contar identificadores	¿Se digitó dos veces la misma sesión?	Conservar una sola fila y dejar constancia
Duplicado parcial	Mismo identificador con mediciones en fechas distintas	¿El diseño pedía una o dos mediciones?	Conservar ambas y separar el sujeto por tiempo
Valor extremo	Distancia grande al resto de la distribución, más allá del criterio fijado	¿Tiene sentido en el contexto del estudio?	Corregir si es error de captura, conservar si es caso real
Tipo mal codificado	Promedios que no se calculan o categorías inesperadas en el conteo	¿El archivo guardó la variable como texto?	Convertir el tipo y unificar las etiquetas
Etiquetas repetidas	Conteos con categorías que se parecen y no sabías unificadas	¿Cambian tildes, mayúsculas o espacios?	Unificar la escritura y agrupar en una sola categoría

La columna de la causa es la que evita el error más caro de la limpieza, que es tratar el síntoma. Si una variable tiene 20 % de vacíos porque el formato de la fecha no se reconoce, rellenar con la media no arregla el problema: lo esconde y deja un hueco falseado dentro de la variable. Si en cambio ese 20 % real es gente que no quiere responder, la decisión correcta pasa por analizar en qué se diferencian esas personas de las demás, algo que se responde con un cruce y no con un promedio.

Un segundo patrón habitual de la tabla es el de los duplicados exactos. Aquí la decisión casi no requiere discusión: la fila repetida es un error de captura y una de las dos sobrantes. Lo que sí requiere registro es el hecho de que existió, porque cambia el denominador de cada porcentaje que se calcule después.

Sección 5. Trampas de parcial

Sección 6. La tarjeta de memoria: el orden que no se olvida

Sección 7. Cada paso con más detalle

Leer el inventario: la foto de la base antes de tocarla

El inventario responde a cuatro preguntas y es la foto que se toma antes de la primera intervención. Cuántos participantes hay y cuántas variables tiene cada participante. Qué tipo tiene cada variable, porque el tipo es la causa más frecuente de errores de cálculo. Qué rango de valores tiene sentido en cada campo, porque los límites del constructo son el criterio para detectar imposibles. Y qué variable identifica a cada sujeto, porque sin identificador no se puede buscar duplicados ni cruzar información entre archivos.

Una observación sobre el orden conviene que quede clara: el inventario se hace sobre la base tal como llegó. Si se empieza a corregir mientras se describe, la foto queda mezclada con el arreglo y se pierde la posibilidad de medir cuánto cambió cada cosa. En la práctica conviene conservar una copia intacta del archivo original y trabajar sobre una versión derivada, con un nombre que lo indique.

Identificar duplicados: la misma persona en dos filas

El duplicado se detecta contando identificadores. Si el número de filas es mayor que el número de identificadores distintos, hay filas repetidas. La pregunta que sigue es de diseño: si el estudio medía a cada persona una vez, la repetición es un error de captura. Si el estudio medía dos momentos, la repetición es el dato y hay que separarla por tiempo de medición.

Hay un caso intermediario que suele aparecer en encuestas y que conviene reconocer: la misma persona que difiere en una fecha o en un campo de texto libre porque cambió un dato menor. Eso se llama duplicado casi idéntico, y decidirlo requiere revisar el contenido, no solo la clave. Una forma práctica es comparar fila por fila los registros que comparten identificador y ver cuántos campos difieren; si difieren en uno o dos, probablemente sea una versión distinta de la misma captura.

Medir los valores perdidos: el patrón dice más que la cantidad

Medir significa calcular el porcentaje de huecos por variable y, después, cruzar esa variable por subgrupos. El contraste entre ambos resultados es la información decisiva. Si el porcentaje de pérdida se parece en cada grupo, el hueco tiene un carácter aleatorio y el impacto sobre las medias es acotado. Si el porcentaje se dispara en un grupo concreto, hay una razón social o logística detrás, y esa razón admite un tratamiento distinto, desde el análisis por patrones hasta la decisión de dejar la variable fuera del modelo en ese subgrupo.

Conviene distinguir tres cosas que se confunden con facilidad. El dato que falta porque la pregunta no aplicaba a esa persona. El dato que falta porque la persona no quiso contestar. Y el dato que falta porque se perdió en el camino, por un error de digitación o de almacenamiento. Los dos primeros son parte del fenómeno social que se estudia y el tercero es un problema técnico que se corrige. Tratar a los tres con la misma operación produce resultados que no dicen nada.

Purgar los imposibles: los límites del constructo mandan

Un valor imposible es aquel que el constructo no permite, y la detección no depende de la estadística sino del sentido de la variable. La edad no puede ser negativa. Una escala de 1 a 5 no puede contener 7 ni 0. Una fecha de aplicación no puede estar antes del inicio del estudio. La cantidad de hijos no puede ser 47. Estos casos no son valores extremos que se discutan, son errores que se corrigen o se eliminan, y la decisión se toma con el conocimiento del instrumento.

El caso especial son los códigos de no respuesta que viajan como si fueran datos. Cuando alguien no contesta una pregunta de escala y el sistema guarda un 9, ese 9 no representa un 9. Lo mismo con el 99, el 999, el -9 y el -99. Estos códigos existen en la base y por eso hay que detectarlos y recodificarlos como vacíos antes de calcular. Cuando aparecen mezclados con respuestas reales, la media de esa variable sale inflada o achatada sin explicación visible.

Inspeccionar la codificación: el detalle que más problemas genera

Un archivo puede tener todo en orden y aun así producir resultados incorrectos. La causa más frecuente es que la variable se guardó con un tipo que el programa de cálculo no reconoce como número. El síntoma es característico: la media de esa columna no se calcula, o el programa la devuelve como texto o como cero. La solución es convertir el tipo y volver a verificar que el rango que aparece ahora tiene sentido.

El segundo detalle son las etiquetas que se repiten con diferencias de forma. "Sí" con mayúscula, "sí" en minúscula, "SÍ" con acento, "si" sin tilde y "si " con un espacio final se convierten en cinco categorías distintas en un conteo. Lo mismo con "Trabajo" y "trabajo", o con nombres de categorías que mezclan espacios dobles. El arreglo es la unificación de la escritura antes de contar, y la comprobación de que el número final de categorías es el que el instrumento define.

El tercer detalle es el orden de los niveles. Una escala de Likert guardada como texto no tiene orden, y cuando se convierte a número el programa puede interpretar los valores como texto ordenado alfabéticamente: "1", "2", "3", "4", "5" queda bien por casualidad, pero "10", "11", "2" no. Hay que fijar el orden a mano y comprobar que la recodificación conserva la dirección del constructo: si se invierte sin querer, los análisis posteriores dan la vuelta a las conclusiones.

Analizar los valores extremos: el dato raro puede ser el dato bueno

Localizar valores extremos requiere un criterio declarado de antemano, y hay varios criterios habituales, ninguno definitivo por sí mismo. El criterio del rango intercuartílico, que considera extremo a lo que queda por fuera de 1,5 veces el rango intercuartílico. El criterio de la desviación estándar, que señala lo que se aparta más de tres desviaciones. El criterio del rango intercuartílico con el factor extendido. La elección del criterio importa menos que el hecho de que quede escrito y que la decisión sobre cada caso se tome mirando el caso.

La mirada al caso es la parte que separa el análisis serio de la depuración automática. Un valor de edad de 47 años en una base de adultos se corrige con alta confianza, porque no hay contexto que lo vuelva plausible. Un ingreso muy superior al resto puede ser el participante que el estudio se propone caracterizar, y borrarlo elimina justo el caso que da sentido al trabajo. La pregunta que resuelve el caso es de sentido: puede existir esa persona en el mundo que la base describe.

Un apunte sobre esto: el valor extremo también puede ser una señal de que la variable está mal construida. Si la mitad de los casos de una escala Likert aparece en un extremo, la sospecha recae sobre un problema de codificación o sobre un ítem mal redactado, no sobre una población atípica.

Recodificar y registrar: el paso que sostiene lo demás

La recodificación cambia la base, y cada cambio necesita un registro. El registro mínimo tiene cuatro partes: qué se cambió, por qué se cambió, cuántas filas quedaron afectadas y en qué fecha se decidió. Con eso, quien siga el registro en el equipo puede reconstruir la base analítica a partir del archivo original, y el trabajo resiste una revisión.

Sobre las recodificaciones que más se repiten en trabajos de grado, hay que tener tres precauciones en mente. La primera: convertir una escala de cinco puntos en tres categorías descarta información que la escala tenía disponible. Cuando el objetivo de la pregunta sea comparar niveles extremos, esa dicotomización se justifica; cuando el objetivo sea describir el continuo, se pierde variación. La segunda: recodificar a partir de la media o de la mediana del propio grupo puede generar circularidad cuando esa variable entra después en un modelo. La tercera: recodificar sin consultar la matriz de códigos del instrumento produce recodificaciones que contradicen el manual de aplicación, y ese error queda invisible después porque la base parece coherente.

El orden de las operaciones se resume en una frase que conviene tener a mano: primero se ve, después se decide, al final se registra y se repite la mirada sobre la base ya limpia. Ese último paso, el segundo recorrido, es el que muchos saltan. Volver a mirar después de limpiar revela problemas nuevos: las celdas que se rellenaron pueden haber introducido una categoría imposible, la unificación de etiquetas puede haber creado un grupo vacío, y la eliminación de filas puede haber desequilibrado la proporción de los subgrupos.

Sección 8. Los tres motivos del hueco y sus nombres técnicos

Los datos faltantes no son un solo fenómeno, y esa distinción sostiene el tratamiento. Little y Rubin (2002) formalizaron los mecanismos que llevan a la ausencia de datos, a partir del trabajo previo de Rubin (1976), y esos nombres se usan en la literatura hasta hoy.

El primer mecanismo es la ausencia aleatoria en sentido pleno, con la sigla MCAR: el hueco no guarda relación ni con el valor observado ni con el valor que falta. Ocurre cuando la pérdida viene del proceso, por un error de almacenamiento o por un corte en la digitación. El segundo es la ausencia aleatoria, con la sigla MAR: el hueco depende de variables que sí están observadas. Un ejemplo típico es que la variable medida al final del estudio se pierde más entre quienes desertaron de las mediciones intermedias. El tercero es la ausencia no aleatoria, con la sigla MNAR: el hueco depende justamente del valor que falta. Quien no responde una pregunta de ingreso tendería a tener un ingreso distinto del de quien responde.

La consecuencia práctica es directa: el nombre del mecanismo indica qué tan defendible resulta ignorar el hueco. Con MCAR, analizar solo los casos observados deja un subconjunto que representa a la muestra íntegra, de modo que el porcentaje de pérdida tiene poco efecto. Con MAR, ignorarlo resulta aceptable si se documenta la afirmación, porque el hueco ya se explica con lo observado. Con MNAR, ignorar el hueco introduce un sesgo que las técnicas de análisis no corrigen por sí solas, y hace falta una hipótesis explícita o un análisis de sensibilidad.

Sección 9. Para el parcial

Referencias

Tabachnick, B. G., y Fidell, L. S. (2019). Using multivariate statistics (séptima edición). Pearson.

Little, R. J. A., y Rubin, D. B. (2002). Statistical analysis with missing data (segunda edición). Wiley.

Rubin, D. B. (1976). Inference and missing data. Biometrika, 63(3), 581-592.

Tukey, J. W. (1977). Exploratory data analysis. Addison-Wesley.

Sección 10. Autoevaluación

Pulsa para ver la respuesta

Pregunta: En una base de 240 participantes, la variable de horas de estudio viene con 12 % de celdas vacías, el 9 % de ellas concentrado en el grupo de primer semestre, y además hay 14 filas con el valor 99. Explica el orden en que actuarías y qué le preguntarías a los datos antes de decidir.

Respuesta: Primero leería el inventario para confirmar qué tipo tiene la variable y cuál es su rango legítimo, porque el 99 puede ser un código de no respuesta y no una hora de estudio. Segundo, mediría los huecos por subgrupo para confirmar que la concentración en primer semestre es real y no una distribución pareja. Tercero, purgaría el 99 como código de no respuesta antes de calcular, dejando constancia. Cuarto, revisaría el 12 % en conjunto, preguntando si hubo una aplicación parcial en ese semestre. Recién después decidiría sobre el tratamiento del hueco, y lo documentaría. Rellenar con la media antes de esas preguntas resolvería el síntoma y perdería la explicación.

Pulsa para ver la respuesta

Pregunta: Explica con tus palabras por qué el orden de los siete pasos de la tarjeta de memoria no es arbitrario, y qué pasaría si se invirtieran los pasos de medir los perdidos y purgar los imposibles.

Respuesta: Cada paso deja el terreno listo para el siguiente. El inventario define los límites del constructo, y esos límites permiten reconocer lo imposible. Si se invirtieran, se mediría el hueco con el 99 todavía dentro de la variable, y lo que se contaría como pérdida sería en parte un código de no respuesta, de modo que la decisión sobre el hueco se tomaría sobre una base mal medida. Además, los imposibles los detecta el criterio del constructo, que viene del inventario. La secuencia fija cumple una función concreta: cada respuesta sostiene a la anterior.

Pulsa para ver la respuesta

Pregunta: Distingue el duplicado exacto del duplicado parcial y di qué decisión corresponde a cada uno, incluyendo el registro que dejarías.

Respuesta: El duplicado exacto tiene filas idénticas en cada campo, y su causa habitual es la digitación repetida de una misma sesión; se conserva una fila y se deja constancia de la eliminación, porque el denominador de los porcentajes cambia. El duplicado parcial comparte identificador pero difiere en fecha o en algún campo, y suele corresponder al diseño: una persona medida antes y después de una intervención; en ese caso se conservan ambas mediciones y se separan por momento temporal, y la decisión se toma con el conocimiento del protocolo. La diferencia decisiva es si el estudio pedía una medición o dos.

Pulsa para ver la respuesta

Pregunta: Una escala de satisfacción de 1 a 5 aparece con cuatro categorías en el conteo (1, 2, 4 y 5), la variable no tiene media calculada y los valores 2 y 4 no son extremos en la distribución. ¿Qué problema detectas y qué pasos intervienen?

Respuesta: Hay dos problemas encadenados. El primero es de codificación: la variable probablemente está guardada como texto, lo que explica que no se calcule la media, y la ausencia de la categoría 3 apunta a un problema en el registro o en la captura. El segundo es de valores imposibles o de etiquetas: si el 9 fue usado como no respuesta, al mostrarlo como categoría separada apareció el 9; la falta del 3 puede venir de que se recodificó sin revisar la matriz de códigos. La intervención pasa por purgar los imposibles y convertir el tipo, dentro de los pasos de la tarjeta: Purgar e Inspeccionar, con recodificación y registro al final. Conviene además volver a mirar la base ya limpia, porque la conversión puede revelar categorías que quedaron vacías.