Una guía rápida para la crisis de replicación en psicología

El estudio:

Brian Nosek y la Colaboración de Open Science:

Realizamos réplicas de 100 estudios experimentales y correlacionales publicados en tres revistas de psicología utilizando diseños de alta potencia y materiales originales cuando están disponibles. [Artículo de ciencia aquí.]

Los resultados:

  1. Solo el 36% de las repeticiones fueron "exitosas" (es decir, produjeron valores p <.05).
  2. El tamaño del efecto promedio de las repeticiones fue aproximadamente la mitad del de los estudios originales.
  3. Los resultados más débiles y más sorprendentes fueron menos propensos a replicarse.
  4. Los hallazgos de la psicología social tenían menos de la mitad de probabilidades de replicarse que los hallazgos en la psicología cognitiva.
  5. Los efectos principales fueron más propensos a replicarse que los efectos de interacción.

Algunos de los hallazgos que no se replicaron …

  • Es más probable que las personas hagan trampa después de leer un pasaje informándoles que sus acciones están determinadas y, por lo tanto, que no tienen libre albedrío.
  • Las personas hacen juicios morales menos severos cuando acaban de lavarse las manos.
  • Las mujeres unidas se sienten más atraídas por hombres solos cuando están ovulando (cuando las mujeres están ovulando, eso es). [Ver aquí, aquí.]

¿Cuál es el problema?

La tasa de replicación es preocupante baja. El epidemiólogo John Ioannidis estimó que alrededor del 50% de los hallazgos publicados son falsos, al menos en medicina, por lo que este resultado es peor de lo que él esperaba.

Y la tasa de replicación real puede ser incluso inferior al 36%. Todos los estudios fueron tomados de tres revistas de psicología de primer nivel. ¿Quién sabe cuál sería la tasa de éxito más adelante en el tótem, en las revistas de menor rango?

Tomado al pie de la letra, el estudio de Nosek sugiere que cualquier hallazgo dado en psicología es más probable que sea ficción que hecho. Si estás estudiando psicología, mucho de lo que te enseñan es falso. Y si estás enseñando psicología, potencialmente estás dedicando una gran parte de tu vida a difundir falsedades. Eso es un problema.

Las respuestas:

"Una tasa de replicación del 36% no es tan mala".

Sanjay Srivastava:

La ciencia necesita involucrar tomar riesgos y empujar las fronteras, por lo que incluso una ciencia óptima generará falsos positivos. Si el 36 por ciento de las repeticiones obtiene resultados estadísticamente significativos, no está del todo claro cuál debería ser ese número. [Más]

Veredicto : No estoy de acuerdo.

En primer lugar, la alta tasa de falsos positivos no se debe solo a la toma de riesgos intelectuales. También se debe a los tamaños de muestra pequeños, el phacking, el fenómeno de los archivadores de archivos, el sesgo de publicación y, en algunos casos, la fabricación directa de datos.

Además, incluso si ninguna de estas cosas fuera un problema, la tasa de replicación aún sería preocupante dada la poca frecuencia con la que se intentan o publican las réplicas en psicología . Una tasa de replicación del 36% podría estar bien si le prestamos más atención a erradicar los falsos positivos de la literatura, pero no es así, por lo que no lo es.

"¡No es solo psicología!"

Veredicto : de acuerdo. Algunos campos están yendo mejor que la psicología, sin duda, pero algunos están empeorando. [Ver, por ejemplo, aquí]

"No es todo psicología. Algunas áreas son peores que otras ".

Veredicto : de acuerdo. [Ver, por ejemplo, aquí.]

Vern Quinsey:

Me gusta este proyecto pero no me gusta la manera parroquial en que se comunican los resultados. En primer lugar, los resultados tienden a presentarse como si fueran representativos de la psicología; no lo son. Por ejemplo, la psicofísica y la memoria están infrarrepresentadas. Más importante aún, mucha psicología no utiliza experimentación de laboratorio: los datos se recopilan de fuentes de archivo. En algunas de estas áreas, las observaciones importantes se han replicado cientos de veces (piénsese en la correlación edad-crimen, por ejemplo). En segundo lugar, las técnicas metaanalíticas que se han diseñado explícitamente para abordar cuestiones de replicabilidad y que ahora son altamente sofisticadas se ignoran por completo.

Algunos tweets relevantes:

Twitter
Fuente: Twitter

[Nota: "beh genetic" = "genética del comportamiento." El estudio al que Brian se relacionó está aquí.]

Twitter
Fuente: Twitter

"No hay crisis: la detección y el rechazo de hallazgos falsos es solo parte de la ciencia". La psicología está muy bien ".

Lisa Feldman Barrett:

la falla en replicar no es motivo de alarma; de hecho, es una parte normal de cómo funciona la ciencia … Supongamos que tiene dos estudios bien diseñados y cuidadosamente ejecutados, A y B, que investigan el mismo fenómeno. Realizan lo que parecen ser experimentos idénticos y, sin embargo, llegan a conclusiones opuestas. El estudio A produce el fenómeno predicho, mientras que el estudio B no lo hace. Tenemos una falla para replicar.

¿Significa esto que el fenómeno en cuestión es necesariamente ilusorio? Absolutamente no. Si los estudios fueron bien diseñados y ejecutados, es más probable que el fenómeno del Estudio A sea verdadero solo bajo ciertas condiciones. El trabajo del científico ahora es descubrir cuáles son esas condiciones, a fin de formar nuevas y mejores hipótesis para evaluar. [Más]

Veredicto : No estoy de acuerdo.

Ed Yong:

Para empezar, como Dorothy Bishop de la Universidad de Oxford señaló en Twitter, "plantea [la cuestión] de qué tan seriamente tomar conclusiones que dependen tan precisamente de las condiciones". En otras palabras, si los resultados son flores marchitas delicadas que solo florecen bajo el cuidado de ciertos experimentadores, ¿qué tan relevantes son para el mundo desordenado, ruidoso y caótico fuera del laboratorio? [Más]

Además de eso, los investigadores se esforzaron por replicar los estudios de la forma más precisa posible, lo que debería haber eliminado cualquier efecto de contexto significativo.

"OK, las noticias no son geniales". Pero si miramos los hallazgos a través de una lente Bayesiana, son un poco menos sombríos de lo que parecen … "

Veredicto : de acuerdo. Tomando un enfoque Bayesiano, Alex Etz describió el resultado del estudio así:

  • Fuertes éxitos de replicación: ≈25%
  • Éxitos moderados de replicación: ≈10%
  • Inconclusive: ≈30%
  • Fallas de replicación moderadas: ≈20%
  • Fracasos de replicación fuertes: ≈20% [Más]

La última palabra

Para ser claros, nada de esto implica que la psicología no sea válida como ciencia o que sea un campo de investigación con imperfecciones únicas. Estamos progresando, y esta investigación es parte de eso. ¡Nos queda mucho más de lo que pensamos la mayoría de nosotros!

—————————-

Gracias al compañero blogger Robert King por estimular la discusión de estos temas.

Para más de lo mismo solo diferente, sígueme en Twitter.