¿Cuándo se puede creer la ciencia psicológica?

La mayoría de mis entradas hasta ahora han abordado problemas con la psicología como ciencia: problemas de replicabilidad, prácticas de investigación cuestionables, prejuicios políticos y problemas de interpretación y credibilidad. Y creo que comprender las limitaciones y los problemas de la ciencia psicológica es increíblemente importante.

Sin embargo, al mismo tiempo, nunca he declarado, insinuado o tenido la intención de declarar la investigación psicológica como litera. Hay una tonelada de buena investigación pasando por ahí. Entonces, la pregunta es: "¿Cómo se sabe cuándo tomar en serio algún reclamo hecho por los investigadores psicológicos?"

Aunque esta no es una pregunta simple, intento proporcionar algunas pautas útiles aquí sobre cómo saber cuándo y si tomar la ciencia en general, específicamente la ciencia psicológica, y las afirmaciones supuestamente basadas en la ciencia en serio.

I. ¿Cuál es el reclamo? ¿El reclamo es "Encontramos X" o el reclamo "X es verdadero"? "Hallamos X" es probable que sea una descripción del resultado de un estudio en particular. Los investigadores a veces malinterpretan sus propios estudios y los de otros, pero, al menos, "Encontramos X" es un reclamo limitado. O el estudio encontró o no X. "X es verdadero" es mucho más extremo. X puede ser cierto, pero creer que X es cierto requiere un estándar de evidencia mucho más alto que el requerido para creer que "encontraron X".

• Un cruasán y una camarera cruzada
• Diciendo "No" a través de las diferencias de poder
• Ray Clark, Phillip Garrido, y amigos hombres
• La sabiduría de la incertidumbre
• Cómo la irracionalidad puede reducir el atasco de tráfico

Aquí es por qué:

II. Nunca crea como "generalmente cierto" ninguna conclusión de un solo estudio. Los estudios únicos pueden producir resultados erróneos o engañosos por un trillón de razones.

Y

• Survived By One – Una revisión
• ¿Barato? Tal vez. ¿Irrelevante? ¡No!
• 4 razones para pensar en lo que podría haber sido
• El caso de la mujer que rechazó su mamografía
• Cuentacuentos de padres y familia: un ajuste natural

III. Nunca creas como "generalmente cierto" ninguna conclusión que surja de un solo investigador o equipo de investigadores.

Ver mis publicaciones anteriores para los puntos II y III anteriores:

Influencias no científicas en la psicología social

Unicornios de Psicología Social

Siete razones por las que deberías desconfiar de la ciencia

La Crítica Científica de la (Principalmente) Ciencia Psicológica

IV. Si se informa un resultado en un solo documento, debe tratarse como "Ah, eso es interesante, me pregunto si es cierto", pero no como "hecho". Por supuesto, el resultado es un hecho (a menos que los investigadores cometieran fraude) , que es muy poco probable). Pero eso no significa que el fenómeno que encontraron o las conclusiones a las que llegaron estén justificados o sean replicables.

V. Típicamente, cuando un resultado ha sido encontrado por cinco o más equipos de investigadores independientes, sin fallas o calificaciones, es altamente creíble. Por supuesto, siempre puede haber algo sistemáticamente incorrecto en todo el campo, y alguien, algún día, puede descubrir eso. Cuando eso sucede, uno debe estar abierto a cambiar la conclusión. La ciencia difiere de la religión en que la religión supuestamente trata con verdades "eternas". No hay verdades inherentemente eternas en la ciencia, porque siempre es posible que nuevos datos salgan a la luz para cambiar nuestras creencias.

VI. Además, mi criterio de "cinco" equipos de investigadores es arbitrario. Una persona razonable podría seleccionar un número mayor o menor. Para mí, sin embargo, si cinco equipos distintos encuentran algo, y no hay ninguna investigación que contradiga esos hallazgos, por lo general estoy bastante convencido, a menos que pueda ver algo sistemáticamente problemático.

Nota: "Equipos independientes" significa equipos que no están conectados. Un estudio del Dr. X, dos repeticiones de los documentos del Dr. X, y dos más de los antiguos estudiantes de doctorado del Dr. X, NO cuentan.

VII. ¡Busca metaanálisis! (El metanálisis es un conjunto de técnicas para combinar resultados de muchos estudios, en parte, para ver si realmente hay un allí y, de ser así, qué tan grande es). Cuando se ha realizado una gran cantidad de investigaciones en algún área, los metanálisis suelen proporcionar resúmenes EXCELENTES de cuán grande o pequeño es algún fenómeno. Por ejemplo, muchos psicólogos sociales parecen creer que los prejuicios del estereotipo de género (al juzgar a hombres y mujeres individuales) son grandes, poderosos y omnipresentes (vea mi libro para encontrar numerosos ejemplos). Sin embargo, Swim et al. Encontraron que, en promedio, los sesgos de estereotipos de género son uno de los efectos más pequeños en la psicología social, promediando una correlación (entre el objetivo de género y el juicio del perceptor) de r = .04.

VIII. Otorgue más credibilidad a los estudios cuando no es probable que hayan sido pirateados. Mantenga los ojos abiertos ante la evidencia de p-hacking. P-piratería ocurre cuando los investigadores tuercen, distorsionan, fríen, asan, tuestan y marinan sus datos con el fin de producir un análisis que llegue al Santo Grial científico de p <.05, con el fin de publicar. Banderas rojas de p-hackeo conocidas: Tamaños de muestra pequeños, especialmente con efectos inusualmente grandes, uso de covariables, participantes descartados, hallazgos "lindos" y "contraintuitivos". El hecho de que algunos informes incluyan estas banderas rojas no significa que hayan participado en p-hacking. Pero es más probable que lo hayan hecho que cuando el informe no incluye esas banderas rojas. Los informes sin tales banderas rojas son más creíbles.

IX. En áreas politizadas de investigación psicológica, esté atento al potencial de sesgo político para distorsionar la teoría, los métodos y las interpretaciones. La mayoría de los psicólogos son liberales. En general, los liberales no son más, y posiblemente menos, sesgados en la forma en que ven la ciencia que los conservadores. Sin embargo, hay tan pocos conservadores en psicología que el "sesgo conservador", por mucho que exista en el mundo más amplio, apenas exista en la ciencia psicológica. El sesgo liberal, sin embargo, está vivo y bien. Esté atento a las agendas de investigación que parecen estar inspiradas e impulsadas por agendas ideológicas. En buena ciencia, alguna pregunta sobre el funcionamiento humano impulsa la investigación; en la ciencia sesgada, probar que una cosmovisión liberal es "mejor" o "justificada" conduce la ciencia.

Referencias seleccionadas

Jussim, L. (2012). Percepción social y realidad social: por qué la precisión domina el prejuicio y la profecía autocumplida. Nueva York: Oxford University Press.

Simmons, JP, Nelson, LD, y Simonsohn, U. (2011). Psicología falsamente positiva: la flexibilidad no divulgada en la recopilación y análisis de datos permite presentar cualquier cosa como significativa. Psychological Science, 22, 1359-1366.

Swim, J, et al (1989). Joan McKay vs. John McKay: ¿Las evaluaciones de prejuicios de los estereotipos de género? Psychological Bulletin, 105, 409-429.