Sobre dos tercios de los hallazgos psicológicos se sostienen en las principales revistas

Los estudios en establecimientos de primer nivel no están exentos de preocupaciones sobre reproducibilidad.

Fuente: VikiVector / Shutterstock

Un equipo de científicos que trató de repetir 21 hallazgos de psicología experimental publicados en las revistas de renombre Science and Nature pudo replicar a 13 de ellos.

La psicología ha estado en medio de un movimiento para reconocer y reformar las prácticas problemáticas que conducen a resultados poco fiables. Las percepciones de las revistas más prestigiosas no son inmunes a estos obstáculos, lo que demuestra la importancia de continuar implementando políticas que hagan que los nuevos descubrimientos científicos sean más confiables.

• ¿Por qué no deberías subir la escalera corporativa?
• La salvación: convertirse en mí
• Decisiones fundamentales que crean sus éxitos
• Mapa # 34: ¿El sueño americano, o Fantasyland?
• El problema de la psicología

“Todos vamos a estar luchando por ese resultado contradictorio y sorprendente. Eso no es algo malo en ciencia, porque así es como la ciencia rompe fronteras ”, dijo Brian Nosek, autor principal del estudio y profesor de psicología en la Universidad de Virginia. “La clave es reconocer y aceptar la incertidumbre de eso, y está bien si algunos resultan ser incorrectos”. Lo que muestran las últimas pruebas, explicó en una conferencia web la semana pasada, “es que podemos ser mucho más eficientes en “identificar pistas falsas en lugar de hacerlas perseverar porque nunca nos molestamos en replicarlas en primer lugar”.

Un equipo internacional de científicos revisó cada artículo de ciencias sociales publicado en Science and Nature entre 2010 y 2015. Planearon replicar un subconjunto de estudios que incluyeron una intervención experimental, generaron un resultado significativo y se realizaron en un grupo de participantes.

El equipo recreó el diseño experimental lo más cerca posible y trabajó con los autores originales para hacerlo. También registraron el protocolo de estudio, el diseño y el análisis en el Open Science Framework, un sistema diseñado para aumentar la confiabilidad y la transparencia en la ciencia. Llevaron a cabo cada estudio con cinco veces más personas que el original, de modo que la investigación sería especialmente sensible para detectar cualquier efecto experimental.

• 5 estrategias sorprendentes para lidiar con la baja confianza en sí mismo
• ¿Por qué el escritor de opinión se queda en la Casa Blanca?
• La AZ de extrañas y extrañas adicciones (Parte 2)
• Asesinos en serie: entonces, ahora y por venir
• El impacto devastador del desempleo

El equipo replicó con éxito 13 de los hallazgos del estudio, o el 62 por ciento. Los ocho estudios restantes no se replicaron. Las iniciativas de replicación anteriores han producido una serie de resultados, y el equipo estima que la tasa de reproducibilidad de la psicología actualmente se encuentra entre el 35 y el 75 por ciento. Los científicos también descubrieron que la fuerza de los efectos experimentales era aproximadamente la mitad de lo que eran en los estudios originales. Los resultados fueron publicados hoy en la revista Nature Human Behavior.

Muchas piezas han contribuido a los problemas con la replicación. Los científicos suelen tener flexibilidad en la forma en que analizan los datos experimentales y, al probar diferentes enfoques, pueden empujar consciente o inconscientemente los hallazgos hacia el umbral de significación estadística. Los investigadores también pueden alterar una hipótesis después de ver los resultados, lo que tiene el efecto de tejer los resultados significativos que encontraron en una narrativa convincente. No están obligados a hacer que sus datos estén disponibles, lo que puede hacer que el comportamiento cuestionable no se verifique. Quizás lo más importante es que los científicos y editores de revistas están incentivados a publicar tantos hallazgos novedosos y llamativos como sea posible, en lugar de replicar hallazgos anteriores para garantizar la confiabilidad.

Estos elementos conducen a resultados novedosos ya que se reportan fuertes efectos a una tasa engañosamente alta. Esto se ilustra por el hecho de que el tamaño promedio de los efectos fue la mitad en los estudios replicados de lo que era originalmente. “Este es un tema muy consistente en la replicación”, dijo Sanjay Srivastava, profesor de psicología de la Universidad de Oregon, que no participó en la investigación. “Si los estudios a veces se rebasan y otras veces no se alcanzan, entonces debería ser 50/50. Pero ese no es el caso en absoluto “.

El equipo también ideó un experimento para ver si los psicólogos podían detectar resultados sólidos y rigurosos. Un grupo de 200 investigadores apuestan sobre qué estudios sostendrían o no el escrutinio. La probabilidad de que un estudio se replicara correctamente predijo el resultado para 18 de los 21 estudios.

“Como comunidad, no estamos tropezando en la oscuridad cuando se trata de lo que se va a replicar”, dijo Will Gervais, profesor asociado de psicología de la Universidad de Kentucky, en la conferencia web. “Podrías capacitar a revisores para que observen los patrones que están siguiendo las personas. De esta manera, esperamos poder eliminar algunos de estos falsos positivos antes de que contaminen la literatura “.

Gervais fue autor de uno de los estudios que no se replicó. El documento se publicó en Science en 2012 y mostró que el pensamiento analítico suprimió la creencia en la religión. En ese momento, las preocupaciones sobre el aumento de la credibilidad aún no habían permeado el campo. Ahora reconoce que el experimento fue bastante débil y no se mantuvo tan bien como otras ideas a lo largo de su carrera.

“Nuestro estudio, en retrospectiva, fue completamente tonto. “Fue un número muy pequeño [de participantes] y apenas significativo, un poco par para el curso antes de que empezáramos a tomar en serio la replicabilidad”, dijo Gervais. “Una de las mejores cosas que se desprende de todo el movimiento de replicabilidad es que está empujando a los revisores y editores a ser más inteligentes sobre lo que deberíamos publicar y aprobar en primer lugar”.

El campo ha recorrido un largo camino hacia el fortalecimiento de la credibilidad de las nuevas investigaciones. Las soluciones incluyen experimentos de prueba en un mayor número de personas, creando un umbral más estricto para la significación estadística, haciendo que los datos estén disponibles al público, continúen los esfuerzos de replicación y preinscriban públicamente el plan para un estudio antes de realizarlo, lo que limita el tipo de flexibilidad del investigador que conduce a la falsa positivos El Open Science Framework se creó en 2012 y ahora incluye registros de más de 20,000 estudios, según Nosek, quien es el director ejecutivo del Centro de Ciencia Abierta. La tasa se ha duplicado cada año desde su creación.

“Este estudio es una muy buena motivación para continuar presionando a las revistas para actualizar sus políticas y cambiar los incentivos para que los científicos sean recompensados ​​por más de estas prácticas”, dijo Srivastava. “Es como empujar tu auto cuando está parado. El auto se está moviendo, pero tienes que seguir empujando, o si no, se detendrá “.