Crisis de replicación y ciencia abierta

La Open Science Collaboration (OSC) publicó en agosto de 2015 el estudio Estimating the reproducibility of psychological science en la revista Science. El proyecto reclutó a cientos de investigadores voluntarios para replicar cien estudios originales publicados en 2008 en tres revistas de referencia: Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition, y Psychological Science. Cada replicación usaba un protocolo escrito de antemano y se esforzaba por aumentar el tamaño muestral para mejorar el poder estadístico respecto al estudio original.

El resultado más citado fue crudo: de los cien estudios, solo treinta y cinco obtuvieron un efecto significativo en la misma dirección que el original. La cifra exacta, 35 de 97 estudios evaluables, corresponde al 36,1 % con un intervalo de confianza al 95 % de 26,6 % a 46,2 %. La diferencia respecto al 100 % esperado fue estadísticamente significativa (test de McNemar, p menor a 0,001). Cuando se aplicaron criterios más laxos (por ejemplo, que el intervalo de confianza de la replicación incluyera la estimación puntual del estudio original), la tasa de éxito subía al rango del 47 %, pero seguía siendo alarmante.

Antes de la OSC, ya existían antecedentes. En 2012, el equipo de la Reproducibility Project piloteó el procedimiento con una pre-replicación a menor escala. Y en 2005, John Ioannidis había publicado en PLoS Medicine un artículo que muchos consideran la chispa teórica: Why most published research findings are false. Ioannidis modeló la probabilidad de que un hallazgo publicado sea verdadero y mostró que depende de manera directa del poder estadístico, de la tasa de hipótesis falsas en el campo, y del nivel de sesgo. Si el poder es bajo y la flexibilidad analítica es alta, la mayoría de los hallazgos significativos serán falsos positivos.

Una crítica frecuente a la OSC 2015 vino de Gilbert, King, Pettigrew y Wilson, quienes argumentaron que la cifra del 36 % no se debía interpretar como porcentaje de hallazgos falsos, sino como consecuencia del bajo poder estadístico de las propias replicaciones. Su argumento técnico es legítimo: con muestras pequeñas, hasta un hallazgo verdadero puede no replicarse. Pero la lectura dominante, también fundamentada, es que la combinación de bajo poder original, sesgo de publicación y prácticas flexibles de análisis hace que la cifra real de falsos positivos sea considerable.

La tarjeta OSCRE resume el montaje. Cada letra ata una decisión metodológica. Si te preguntan en el parcial ¿qué demostró la OSC 2015?, la respuesta correcta combina tres elementos: un equipo amplio, un protocolo escrito antes de mirar los datos originales, y un resultado de alrededor del 36 % de replicaciones exitosas. Olvidar el protocolo previo es un error frecuente: sin él, la crítica de Gilbert et al. pierde fuerza.

En 2011, Joseph Simmons, Leif Nelson y Uri Simonsohn publicaron en Psychological Science un artículo con un título provocador: False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Su tesis era simple y demoledora: si un investigador tiene libertad para decidir cómo limpiar los datos, qué variables dependientes mirar, qué covariados incluir y cómo tratar los valores atípicos, puede convertir un resultado nulo en uno significativo con un margen de error nominal del 5 % pero una tasa real de falsos positivos cercana al 60 %.

Lo que ellos llamaron researcher degrees of freedom (grados de libertad del investigador) incluye decisiones que parecen menores pero acumulan efectos: excluir participantes por criterios cambiantes, decidir entre medidas alternativas después de mirar los datos, transformar variables, cambiar el nivel de significación de 0,05 a 0,01 según conveniencia, o agregar variables hasta encontrar una correlación significativa. Cada decisión individual parece defendible; el conjunto es p-hacking.

Simmons, Nelson y Simonsohn ofrecieron un ejemplo concreto con datos simulados. Un investigador que escucha una canción de los Beatles puede reportar que la fecha de nacimiento de los participantes predice su preferencia musical, si selecciona cuidadosamente la submuestra, decide excluir a quienes no contestaron, transforma la edad en categorías y prueba varios modelos hasta encontrar significación. Conclusión genuinamente falsa, pero estadísticamente significativa. El artículo mostró además que muchas decisiones de la práctica habitual (cuándo detener la recolección, cómo tratar los valores atípicos, qué covariables incluir) son tan flexibles que un resultado nulo rara vez lo es.

Una forma de visualizar el problema es el p-curve, introducido por Simonsohn, Nelson y Simmons en 2014. Cuando los estudios publicados en un campo muestran un sesgo sistemático hacia valores p cercanos a 0,05, esto sugiere que los investigadores están seleccionando análisis hasta cruzar el umbral. Un campo con hipótesis verdaderas produce una distribución de valores p más uniforme entre 0 y 0,05; un campo con p-hacking muestra un pico justo debajo del corte.

Hay una relación directa entre p-hacking y bajo poder estadístico. Cuando un estudio recluta pocos participantes (por ejemplo, veinte por condición), la probabilidad de detectar un efecto real es baja incluso si la hipótesis es cierta. El investigador, ante un resultado marginal, se ve tentado a explorar los datos hasta encontrar un subconjunto o un análisis que produzca p menor a 0,05. Esta tentación se vuelve casi irresistible cuando la cultura local premia exclusivamente los resultados significativos.

El acrónimo ESTÁS recoge las cinco formas más comunes de p-hacking. Si en el parcial te preguntan ¿qué son los grados de libertad del investigador?, la respuesta incluye estas cinco palancas y su efecto acumulativo. Una sola decisión aislada no rompe el método; el problema aparece cuando se combinan varias en el mismo estudio.

El término HARKing (Hypothesizing After the Results are Known) lo acuñaron Norbert Kerr y sus colaboradores en un artículo de 1998 en American Psychologist. La práctica consiste en presentar como si hubieran sido predichas de antemano hipótesis que, en realidad, surgieron después de mirar los datos. Es la hermana gemela del p-hacking: donde este manipula el análisis, el HARKing reescribe la historia de la investigación.

La tentación es comprensible. Un investigador recoge datos, prueba varias hipótesis, encuentra una que funciona y la presenta como la predicción original. ¿Qué daño hace, si el hallazgo es real? El daño es serio: oculta la flexibilidad analítica, impide a los lectores juzgar la probabilidad de que el resultado sea un falso positivo, y rompe la asimetría entre predicción y postdicción que define el método científico. Una hipótesis predicha a priori se evalúa con una lógica distinta a una surgida tras inspeccionar los datos.

El HARKing se alimenta de la misma lógica cultural que el p-hacking: las revistas aceptan con más facilidad los artículos con hipótesis claras y resultados significativos. Contar la investigación como confirmación de una hipótesis previa vende más que presentarla como exploración de un patrón observado. Los incentivos editoriales empujan hacia el HARKing sin que medie mala fe en la mayoría de los casos.

Kerr et al. (1998) propusieron varias soluciones: exigir a los autores que declaren explícitamente si las hipótesis fueron predichas o surgieron tras el análisis, fomentar la publicación de resultados exploratorios por derecho propio, y aceptar que la investigación exploratoria no necesita el disfraz de la confirmación. Estas recomendaciones tardaron casi dos décadas en traducirse en prácticas editoriales, pero son la base del cambio posterior hacia el preregistro.

Una diferencia clave con el p-hacking: el HARKing no infla la tasa de falsos positivos de un estudio individual de la misma manera directa, pero multiplica los hallazgos especulativos disfrazados de confirmatorios. Si diez laboratorios exploran los mismos datos y cada uno presenta su hallazgo favorito como hipótesis confirmada, la literatura acumula diez confirmaciones que en realidad son diez exploraciones independientes. El resultado agregado parece robusto, pero cada pieza es exploratoria.

La tarjeta HARKING cubre las siete piezas del problema. Si en el parcial te preguntan ¿qué implica el HARKing para la replicabilidad?, la respuesta recorre estas siete: la hipótesis se formula tarde, se reescribe el manuscrito, se borra la distinción predicción/exploración, y la literatura termina acumulando hallazgos con apariencia confirmada que en realidad son exploratorios.

El sesgo de publicación es el más antiguo y el más sencillo de explicar. Las revistas de psicología publican preferentemente estudios con resultados significativos; los estudios con resultados nulos quedan en los cajones de los investigadores o se reportan en tesis y congresos que quedan sin lector. El resultado es una literatura acumulada donde la mayor parte de los hallazgos son positivos, lo cual es estadísticamente inverosímil.

La raíz del problema está en los incentivos. Para un investigador junior, publicar resultados positivos es casi obligatorio para conseguir financiamiento, plaza o tesis. Para una revista, los artículos con resultados claros y significativos tienen más posibilidades de ser citados. Para un revisor, un manuscrito con resultados nulos es más difícil de evaluar (¿es un hallazgo verdadero negativo, o un estudio mal diseñado?). El sistema, en su conjunto, empuja hacia el cajón.

El efecto acumulativo es severo. Si un campo tiene una tasa base de hipótesis verdaderas del 50 % y se publican solo los resultados significativos con p menor a 0,05, la literatura publicada termina mostrando una proporción de hallazgos positivos cercana al 100 %. Esto no significa que el campo haya descubierto el 100 % de las verdades; significa que solo las verdades (y los falsos positivos) sobreviven al filtro editorial. El observador que lee la literatura se forma una imagen inflada del conocimiento.

Una variante conexa es el sesgo de archivo: dentro de un mismo estudio, los investigadores analizan varias hipótesis y reportan solo la que dio significativo. Esta variante es difícil de detectar desde fuera, porque el manuscrito no muestra los análisis fallidos. Es la combinación con el p-hacking de la sección anterior.

Una de las demostraciones más impactantes del sesgo de publicación en psicología vino de los intentos de replicación de la propia OSC. Cuando un hallazgo aparece una vez y ningún otro equipo logra replicarlo, ¿es porque el hallazgo era falso o porque ningún laboratorio intentó replicarlo? La respuesta, en muchos casos documentados, es la segunda: ningún equipo intentó porque un resultado negativo no se publica. La OSC rompió ese equilibrio al publicar el conjunto de los resultados de replicación, exitosos y fallidos.

Las soluciones parciales al sesgo de publicación incluyen: registros de estudios (como el OSF, Open Science Framework) donde se documentan los diseños antes de la recolección; revistas dedicadas a resultados negativos; políticas de publicación de datos; y cláusulas de los financiadores que exigen reportar el conjunto de los resultados. Cada una aporta algo; ninguna resuelve el problema por sí sola.

El acrónimo IRACLAS recorre el circuito vicioso. Si te preguntan ¿por qué el sesgo de publicación es un problema para la credibilidad del campo?, la respuesta menciona cómo la combinación de incentivos, filtros editoriales y archivos selectivos produce una literatura inflada que no representa la evidencia íntegra.

La respuesta a la crisis de replicación no fue un cambio de normas morales, sino de infraestructura. Aparecieron tres herramientas que, combinadas, cambian los incentivos del sistema: el preregistro de estudios, los datos abiertos y los registered reports. Las tres comparten un principio: obligan a registrar compromisos antes de mirar los resultados, y premian el cumplimiento en lugar del resultado.

El preregistro consiste en subir a un registro público (típicamente el Open Science Framework) el diseño del estudio antes de recoger datos: hipótesis, variables, tamaño muestral previsto, plan de análisis y criterios de exclusión. Una vez registrado, el documento es público y no puede modificarse sin dejar huella. Si el estudio se desvía del plan, debe justificar la desviación. Esto cierra la puerta al p-hacking y al HARKing en su forma más burda.

Brian Nosek y el Center for Open Science han sido los impulsores centrales del preregistro en psicología. Su artículo de 2018 The preregistration revolution en Proceedings of the National Academy of Sciences articuló la lógica: distinguir entre predicción (testeo de hipótesis a priori) y postdicción (exploración) es necesario para que el método científico funcione, y la cultura de la disciplina tiende a borrar esa distinción.

Los datos abiertos complementan al preregistro. Si un investigador sube sus datos crudos a un repositorio público tras la publicación, otros pueden reanalizarlos, detectar errores y comprobar si los análisis reportados son los reportes disponibles. Esto no impide el sesgo, pero lo hace auditable. Repositorios como el OSF, Dryad o PsychArchives reciben cada año miles de conjuntos de datos en psicología.

El primer journal mainstream en adoptar registered reports fue Córtex en 2013, siguiendo la propuesta de Christopher Chambers. Para 2018, más de cien revistas los aceptaban. En 2020, la práctica se había consolidado y la mayoría de las revistas top de psicología ofrecen esta vía. El cambio es lento pero acumulativo: cada nuevo registered report publicado añade un dato sin filtro de significación al cuerpo de evidencia.

Una tabla comparativa ayuda a fijar las diferencias entre las tres herramientas de ciencia abierta y su efecto sobre los problemas discutidos en las secciones anteriores.

La tabla muestra que ninguna herramienta resuelve el conjunto de los problemas. El preregistro es la base; los datos abiertos añaden auditoría; los registered reports añaden el incentivo editorial. La adopción de las tres en conjunto produce el cambio más sólido, pero cada una aporta algo por sí sola.

La tarjeta PDROS resume las cinco piezas. Si en el parcial te preguntan ¿qué herramientas de ciencia abierta responden a la crisis de replicación?, la respuesta cubre las tres herramientas centrales, la infraestructura común (OSF) y el principio metodológico de fondo (separar predicción de postdicción).

Lo que el parcial suele preguntar

El examen puede combinar las cinco secciones en distintas formas. Aquí van las cinco preguntas más probables con su respuesta nuclear.

1. ¿Qué demostró la OSC 2015? Que de cien estudios de tres revistas top publicados en 2008, solo 35 se replicaron con éxito (36,1 %), con un protocolo previo y muestras en general más grandes que las originales.
2. ¿Qué son los grados de libertad del investigador? Decisiones de recolección, limpieza y análisis que el investigador toma después de mirar los datos y que, en conjunto, inflan la tasa de falsos positivos sin infringir formalmente las normas.
3. ¿Qué es el HARKing? Presentar como hipótesis predicha una conjetura surgida tras observar los resultados, borrando la distinción entre predicción y postdicción.
4. ¿Por qué el sesgo de publicación distorsiona la literatura? Porque las revistas aceptan preferentemente resultados significativos, dejando en archivos y cajones los estudios nulos, lo que produce una tasa aparente de positivos cercana al 100 %.
5. ¿Qué aportan preregistro, datos abiertos y registered reports? El preregistro cierra la flexibilidad analítica previa al estudio; los datos abiertos permiten auditoría posterior; los registered reports garantizan publicación del resultado y eliminan el incentivo de buscar la significación a toda costa.

Autoevaluación antes del parcial