¿Hay una crisis de replicación en la psicología experimental?

Fuente: wikicommons

Una crisis de replicación?

La publicación del año pasado en Science de un estudio sobre la replicabilidad de los hallazgos en la psicología experimental provocó consternación en todos los campos relevantes. Doscientos setenta investigadores asociados con The Open Science Collaboration intentaron replicar los hallazgos de cien artículos de revistas líderes de toda la psicología experimental, pero solo pudieron obtener replicaciones no controversiales en el treinta y nueve por ciento de los casos. Ese número, por supuesto, está muy por debajo del número que se esperaría sobre la base de los estándares estadísticos convencionales para la investigación publicable.

Este documento solo se suma a las crecientes preocupaciones sobre la solidez metodológica de gran parte de la investigación científica, ya que las tasas de retractación de artículos publicados entre las revistas han aumentado en la mayoría de las ciencias en la última década. La preocupación general es que la presión sobre los científicos no solo para publicar, sino también para publicar nuevos hallazgos sorprendentes, está tentando a algunos a hacer recortes de vez en cuando en sus investigaciones. Los comentaristas han avanzado una variedad de propuestas sobre prácticas problemáticas que pueden llevar a la incapacidad de replicar algún resultado, incluido un número insuficiente de participantes experimentales o la presentación de una hipótesis formulada sobre la base de patrones descubiertos en los hallazgos después de los hechos como si fuera la hipótesis original en estudio.

¿Importa el contexto?

• ¿Necesita un aumento de creatividad? Pruebe este nuevo enfoque de múltiples puntas
• Cómo encontrar a su próximo empleado de Super Star
• Abuso de medicamentos recetados y el guardián médico
• La Neurociencia de Formar Nuevas Memorias
• La Neurociencia de la Confianza

En un artículo reciente en el New York Times , Jay Van Bavel, describió la investigación que él y sus colegas llevaron a cabo para abordar este asunto. Tenía como objetivo determinar si las diferencias entre los contextos en los que se realizaron las repeticiones intentadas, por una parte, y los contextos de los cien estudios originales, por otra, pueden haber sido una consideración crítica al explicar por qué la tasa de replicación era tan bajo. ¿Los contextos en los que se llevaron a cabo los estudios de replicación intentados difieren de manera crítica de los experimentos originales a fin de reducir las probabilidades de obtener replicaciones?

Los factores contextuales abarcan las diferencias temporales, culturales, geográficas y demográficas. ¿Se realizó un estudio antes de la Gran Recesión mientras que el otro se llevó a cabo después? ¿Los participantes en un estudio fueron chinos, pero los participantes en el intento de reproducción canadienses? ¿La investigación original se realizó en una gran ciudad, mientras que el estudio correspondiente tuvo lugar en un pueblo pequeño? ¿Fueron los participantes en el primer estudio universitarios de una élite, una universidad estadounidense privada, pero los participantes en la segunda madres solteras de mediana edad que estaban desempleadas, solicitaron cupones de alimentos? El punto no es que alguien pueda saber de antemano que tales variables afectarán los resultados de los estudios. Es solo que los resultados de algunos estudios, dado el carácter de los temas que están explorando, pueden parecer más propensos que otros a ser influenciados por tales asuntos contextuales.

Explorando el papel del contexto

• Aumente su conciencia de confianza con estos interesados ​​clave
• El valor del soporte
• Cómo entrenar a tu cerebro como un campeón de la memoria
• "Sé que no se siente bien, pero todos los demás lo están haciendo"
• Ejercer nuestra libertad e inteligencia: parte 6

Van Bavel y sus colaboradores reclutaron codificadores con entrenamiento en psicología experimental para evaluar la sensibilidad relativa al contexto de los cien experimentos. Cada uno de los codificadores leyó los resúmenes de cincuenta de los documentos y los calificó en una escala del uno al cinco en cuanto a la sensibilidad al contexto que creían que probablemente eran los estudios. La coincidencia sustancial de los juicios de los evaluadores de veinticinco estudios seleccionados al azar que evaluaron todos los evaluadores indicó que estaban evaluando los estudios de manera similar. Van Bavel y sus colaboradores calcularon las calificaciones promedio de la sensibilidad al contexto de los estudios y midieron qué tan bien se correlacionaban con las repeticiones exitosas.

Fundamentalmente, los estudios con los puntajes de sensibilidad de contexto más bajos fueron significativamente más propensos a replicarse con éxito. Las calificaciones de la sensibilidad al contexto de los estudios demostraron ser un predictor influyente incluso después de tener en cuenta una variedad de factores que se han conectado previamente en la literatura de la psicología experimental con una replicación exitosa. La medida de sensibilidad al contexto también hizo un buen trabajo de predicción de los once estudios entre los cien para los cuales los investigadores originales expresaron su inquietud de antemano sobre los intentos de replicarlos. Frente a las sospechas de que esos autores registraron sus preocupaciones, porque reconocieron las debilidades de sus estudios, un análisis posterior reveló que solo la medida de sensibilidad contextual, entre la variedad de características del estudio previamente asociadas con la predicción del éxito de la replicación, demostró ser un predictor significativo de si un autor expresó tales preocupaciones.

La conclusión es que, una vez que los investigadores prestan atención al papel crítico que las variables contextuales pueden tener en los resultados de los experimentos psicológicos, los rumores sobre una crisis de replicación en la psicología experimental pueden ser algo exagerados.