¿Qué está mal con la ciencia psicológica social?
Esta entrada de blog resume algunas de las muchas y profundas disfunciones que caracterizan a la ciencia psicológica y, especialmente, a la ciencia psicológica social. Algo de esto implica "mirar debajo del capó", es decir, los aspectos técnicos, estadísticos y metodológicos de la investigación psicológica social.
¿No es esto increíblemente aburrido, comparado con, por ejemplo, leer artículos sobre "Seis maneras de mejorar el sexo" o "Cinco signos de que estás viviendo con un sociópata", el tipo de artículos que a menudo se encuentran en otros blogs de Psych Today. ¿Por qué alguien más que los científicos se preocupan por esto?
Es por eso que deberías preocuparte y por qué creo que muchos de ustedes encontrarán esto interesante. La "información" en esas columnas de consejos puede provenir de dos lugares: las experiencias profesionales y personales de los autores, o la ciencia. En ausencia de una buena ciencia, la experiencia profesional y personal es todo lo que tenemos que seguir, y definitivamente es mejor que nada.
Pero el estándar de oro es la ciencia. Cuando la ciencia se lleva a cabo de una manera de alta calidad y da respuestas claras a alguna pregunta, esa es la respuesta que iría siempre. Y si obtener la respuesta correcta es importante para usted, debe intentar rastrear la ciencia.
¿Prefieres llevar tu vida basada en tu bisabuelo de 95 años que fumó 3 paquetes cada día hasta que finalmente pateó, o en la montaña de pruebas de que fumar te pone en un riesgo mucho más alto de todo tipo de enfermedades horribles y una muerte prematura? Por supuesto, esto solo tiene sentido si la ciencia es sólida …
Así que aquí está la vista desde debajo del capó …
El controvertido ensayo Fiske
Este es mi segundo post inspirado en un ensayo controvertido e incluso incendiario, por un eminente psicólogo social. (Vaya aquí para la primera entrada).
En ese ensayo, que se enmarcaba como un llamado a una mayor cortesía en la crítica científica, la ex presidenta de la Asociación para la Ciencia Psicológica, Susan Fiske, arremetió contra los críticos en línea de la ciencia psicológica, llamándoles con todo tipo de nombres desagradables, como "matón". "Y" terrorista metodológico ".
En este post, repaso el contexto científico profundamente disfuncional del que surgió el ensayo de Fiske. Hay un término militar, que comienza con "grupo" y seguido por la palabra de cuatro letras, para una operación en la que varias cosas han ido mal, una vez popularizada por Jon Stuart en el Daily Show. Podría decirse que se aplica bien al estado actual de la Psicología Social.
¿QUÉ HA HECHO EQUIVOCADO CON LA CIENCIA PSICOLÓGICA?
La crisis de replicación
A veces, los problemas en la psicología social se conocen como una "crisis de replicación" porque:
1. Muchos de nosotros creemos que hemos descubierto recientemente que gran parte de nuestra literatura empírica publicada no se puede replicar. Todo tipo de hallazgos famosos, simpáticos y contraintuitivos han estado sujetos a fallas de replicación. Vea los Hallazgos Sociales de Psicología Social más falsos para más detalles. Hacia el final de este post, proporcioné una lista, una lista muy larga, de fenómenos o hallazgos, muchos de los cuales fueron bastante famosos y salpicaron las principales fuentes de noticias porque eran increíbles. que han estado sujetos a replicaciones fallidas u otras fuentes de duda.
2. Sin embargo, ni siquiera hay consenso en la psicología social sobre lo que "cuenta" como una replicación exitosa versus fallida. Por ejemplo, cuando el Open Science Framework (OSF) realizó intentos de replicación en varios sitios de muchos estudios de psicología social, estimaron la replicación en una variedad de formas y obtuvieron una cifra entre 25% y 50%, según los criterios.
Gilbert et al. (2015) abogaron por diferentes estándares y concluyeron que casi el 85% se replicaron.
Simonsohn (2016) argumentó que ambos estaban equivocados.
No voy a "resolver" este problema; mi punto principal aquí es que los psicólogos sociales ni siquiera pueden ponerse de acuerdo sobre lo que cuenta como una réplica. Hasta que, como campo, lleguemos a algún tipo de consenso sobre este tema, nos reduciremos a interminables disputas internas sobre lo que se replica y lo que no, y lo que todo eso significa.
* Y por "nosotros" me refiero a los investigadores de psicología social. De manera tangencial, si no tenemos un consenso sobre estos temas, podríamos considerar ser un poco más tolerantes con los laicos que no siempre creen en nuestras afirmaciones a veces elevadas.
Independientemente de lo que uno piense del estudio de replicación de OSF, muchos psicólogos sociales creen que hay un problema de replicación, y por una buena razón. Muchas cosas no se replican. He publicado repetidamente en Psych Today sobre este mismo problema:
Vea mis dos blogs de Unicornios (Unicorns de Psicología Social y Unicornios de Psicología Social) y mi entrada más reciente titulada "¿Los Hallazgos de Psicología Social más publicados son falsos?"). Spoiler: dudo que la respuesta sea "sí", pero es muy difícil saberlo con certeza. Y es aún más difícil saber qué hallazgos, en nuestra vasta historia de publicación de investigaciones, serán robustos y válidos, y que son completamente falsos, no completamente falsos, sino exageradamente exagerados, y en los que realmente podemos colgar nuestros sombreros.
Sin embargo, "Crisis de replicación" es un nombre inapropiado, ya que se centra demasiado estrechamente en las repeticiones fallidas como una amenaza para la ciencia psicológica social. Las replicaciones fallidas son una amenaza, y una grande. Pero…
La crisis de la validez: las disfunciones en la ciencia psicológica social van mucho más allá de las replicaciones fallidas
Aquí hay una breve muestra de problemas adicionales que amenazan la integridad de la ciencia psicológica social, y cómo crean problemas potenciales, ya menudo muy reales, que socavan la validez de la psicología social.
Pequeñas muestras . Las estadísticas calculadas con muestras diminutas bordean sin sentido, comparable a decir, "estamos bastante seguros de que la temperatura mañana estará entre 10 y 100 grados Fahrenheit". El Estudio de la prisión de Zimbardo es quizás uno de los ejemplos más famosos de un estudio dado una publicidad tremendamente intensa basada en una pequeña muestra de 24 participantes.
Y aquí hay un bocado que es realmente muy loco. Un estudio reciente de los reformadores científicos Chris Fraley y Simine Vazire (fundador de la Sociedad para la Mejora de la Ciencia Psicológica) encontró que las revistas más prestigiosas e influyentes en psicología social – las que "todos" (en el campo) leen y que tienen grandes factores de impacto e índices de citas: tamaños de muestra promedio más pequeños que las revistas menos prestigiosas e impactantes. ¿A quien le importa? Los estudios con muestras pequeñas producen resultados menos creíbles que aquellos con muestras más grandes. Se podría pensar que las revistas científicas "mejores" serían garantes de ciencia de alta calidad. Pero si pensabas eso, estarías equivocado (lo que no quiere decir que todo lo que allí se publica sea malo, solo que con frecuencia no lograron mantener una de las fuentes más importantes y obvias de que la ciencia es buena).
Hace 10 años, habría escrito "puedes dispararme ahora"; sin embargo, es precisamente por la evidencia y la defensa de los reformadores como Fraley y Vazire que las cosas están, de hecho, comenzando a mejorar (exactamente cómo es un blog para otro día, pero un cambio simple es que muchas revistas pueden requerir tamaños de muestra más grandes).
Muestras no representativas A menudo llegamos injustificadamente a conclusiones sobre "personas" basadas en participantes que claramente no representan a "toda la humanidad". Por lo general, no son representativos de ningún grupo conocido, ni siquiera estudiantes universitarios (pueden ser estudiantes universitarios sin ser representativos de estudiantes universitarios) de la misma manera que puedes ser de Iowa sin ser representativo de los habitantes de Iowa).
P-piratería y falta de transparencia . A veces corremos muchas estadísticas, escogemos las que dicen lo que queremos y luego inventamos una historia convincente. Esto se ha llamado "p-hacking" para capturar las ideas que, intencionalmente o no, los investigadores a veces "piratean" su camino hacia el Santo Grial de "significación estadística", que generalmente es necesario para publicar un artículo. Es decir, a veces llevamos a cabo nuestras estadísticas como un arquero que dispara una flecha, luego dibuja un objetivo alrededor de donde cae la flecha, con la flecha en la diana. The Garden of Forking Paths captura la idea de que hay muchas maneras de analizar los datos, y solo informamos un subconjunto que nos lleva a donde queremos ir (preferiblemente, una publicación en una prestigiosa revista).
Cronismo . Los científicos a veces están predispuestos a favor del trabajo de sus amigos y estudiantes actuales y anteriores.
Estadísticas subóptimas. Las estadísticas de caballo de batalla en la mayoría de la psicología no responden a la pregunta que los investigadores generalmente quieren responder. Por lo general, los investigadores quieren saber: "¿Son correctas mi teoría o hipótesis o, al menos, más correctas que las alternativas conocidas?" Las estadísticas que la mayoría de nosotros usamos responden la siguiente pregunta: "¿Cuán probable es que la relación o diferencia que obtuve tenga ¿ocurrió, o uno aún más grande (más extremo), si la hipótesis nula es verdadera? "(la hipótesis nula generalmente establece que, en la población más grande, no hay ningún efecto o relación en absoluto). Si esto te parece intrincado y no puedes seguirlo, no te preocupes demasiado. Es intrincado En realidad, para llegar a la conclusión, "¡Eureka, mi hipótesis está confirmada!", La lógica se torna aún más intrincada. Esto se debe a que la lógica debe ser torturada para que las estadísticas aparezcan como dicen "¡Mi hipótesis está confirmada!" Cuando en realidad no hacen eso.
Sesgos de publicación. Las revistas e investigadores generalmente requieren estudios empíricos para llegar a un Santo Grial estadístico antes de su publicación ("significación estadística", también conocida como "p <.05 " ). Para los no iniciados estadísticamente, ¿te estarás preguntando qué demonios es p <.05? Significa que "hay menos de un 5% de posibilidades de que estos datos, o datos más extremos, ocurrieran si la hipótesis nula fuera verdadera". ¿Cuál es la "hipótesis nula"? Es la hipótesis de que no hay efecto alguno de la propia condiciones experimentales o intervención, o que no hay relación alguna entre dos variables. Entonces, por ejemplo, una "hipótesis nula" sería: "La confianza no está correlacionada con el rendimiento".
P <.05 ha sido interpretado por mucho tiempo como "Eureka, ¡ increíble! ¡cambia el mundo! la hipótesis está confirmada! "y las revistas rara vez estaban interesadas en publicar hipótesis no confirmadas. Una consecuencia de esto es que la literatura publicada a menudo exagera el poder de los procesos e hipótesis sociopsicológicas. Piénsalo. Si solo se publican los efectos "fuertes" (p <.05), muchos de los efectos cercanos a cero no se publicarán. Pero necesitamos saber sobre esos efectos cercanos a cero para descubrir el poder del fenómeno que se estudia. Pero no los conocemos porque no están publicados.
Más sesgos de publicación . Carl Sagan dijo una vez: "Las afirmaciones extraordinarias requieren evidencia extraordinaria". Esto se debe a que es muy poco probable que algo extraordinario sea cierto. Para superar el escepticismo justificado sobre tal afirmación, la evidencia debería ser muy fuerte. La psicología social ha funcionado de una manera casi completamente opuesta: "Las afirmaciones extraordinarias requieren pequeños tamaños de muestra". Esto se debe a que la psicología social tiene una cultura extraña de valorar los hallazgos "sorprendentes" y "contraintuitivos". Los protagonistas de estas disfunciones son los infames estereotipos primarios de personas mayores / estudios que ayudaron a desencadenar la crisis de replicación, que tuvo dos experimentos "que demostraron" este efecto, cada uno con apenas 30 participantes; y la amenaza estereotipada, en la que el estudio más grande (114 participantes) no tuvo un efecto significativo de amenaza estereotipada, pero se informó uno en estudios con 40 y 47 participantes). Tales hallazgos se consideran innovadores y creativos, por lo que, en lugar de exigir a los investigadores estándares de evidencia más elevados, muchos sostienen que dichos estudios tienen estándares más bajos.
¡El resultado es que la literatura científica de psicología social puede estar salpicada de increíbles! contraintuitivo! ¡cambia el mundo! ¡dramático! resultados que son, en el mejor de los casos, difíciles de replicar y, en el peor de los casos, no verdaderos. Esta es la versión científica del viejo dicho: "Si suena demasiado bueno para ser cierto, probablemente lo sea". ¿Cuántos hallazgos describe esto? ¿Cuáles? Nadie lo sabe.
Cuentacuentos y sobreventa . Los investigadores a menudo hacen afirmaciones extraordinarias basadas en evidencia muy débil. Mi libro entra en un caso tras otro, donde las profecías autocumplidas y otros prejuicios son rutinariamente promocionados como poderosos y penetrantes, cuando, de hecho, la evidencia muestra que son débiles, frágiles y fugaces. La amenaza del estereotipo, en la que se afirma que un ajuste situacional menor elimina por completo las diferencias de brecha de rendimiento racial, es otro ejemplo.
Sesgos de confirmación del investigador y prácticas interpretativas cuestionables. Muchos en las generaciones anteriores de psicólogos (Phds obtuvo 1970-2010) fueron entrenados para contar "narrativas convincentes". Los investigadores han llegado tan bien a contar estas historias que, a veces, lo hacen independientemente de lo que dicen los datos. Mi artículo reciente Interpretaciones y métodos, pasa por ejemplos tras ejemplos (después de ejemplos tras ejemplos) de artículos de psicología social que cuentan narrativas tan convincentes, aunque los datos no respaldan esas narraciones.
Los resultados y estudios de Cherrypicking , los investigadores a menudo pueden llegar a casi cualquier conclusión que prefieran. Las explicaciones alternativas a menudo se pasan por alto o se ignoran; y a menudo son más viables que las explicaciones publicadas. A veces, los psicólogos sociales llegan a afirmar que ciertas cosas son ciertas sin ninguna evidencia (por ejemplo, afirma que los estereotipos son inexactos, los seres humanos son una lista en blanco, las pruebas estandarizadas no son válidas, etc.). Los estudios famosos a menudo se citan a tasas mucho más altas que las replicaciones fallidas de esos mismos estudios, incluso después de que se publiquen las replicaciones fallidas.
Teorías de no-muertos Algunos de nosotros creemos que la falsificación tiene un papel central en la ciencia. Algunos de nosotros creemos que el progreso científico se refleja en descartar teorías viejas, malas o subóptimas con otras mejores y más válidas. Sin embargo, es casi imposible declarar cualquier teoría en psicología social como "incorrecta" o falsificada. Algunas razones posibles para este extraño estado de los asuntos científicos se pueden encontrar aquí: "¿Es ofensivo declarar algún reclamo psicológico como incorrecto?"
Sesgos de estado. Los psicólogos a veces actúan como aquellos de nosotros con sillas nombradas y las citas de la Ivy League garantizan una mayor voz, atención y credibilidad, y el acceso a publicaciones y fuentes de financiación, que aquellos que no tenemos ese estado. Pero la ciencia debe ser sobre la calidad de los datos, no sobre el estado de los autores.
Sesgos políticos. Durante mucho tiempo, la psicología social ha sido algo así como un club para personas con ideas políticas de izquierda. Esto ha alejado a algunos académicos del campo y ha distorsionado las conclusiones en temas politizados.
¿ES SOCIAL LA CIENCIA PSICOLÓGICA INOLVIDABLE?
La respuesta corta es … nadie lo sabe. Algunos probablemente lo sea; algunos seguramente están bien, y actualmente tenemos poco o ningún consenso sobre cómo descubrir cuál es cuál. De hecho, es probablemente la pregunta incorrecta. La pregunta correcta, o, al menos, una pregunta mejor es: ¿Qué hallazgos sociopsicológicos son sólidos y válidos, y cuáles no?
Cada uno de los siguientes resultados o conclusiones alguna vez fueron ampliamente aceptados. Todos están ahora bajo una nube porque son:
- Conocido como falso, exagerado o tergiversado
- Sujeto a replicaciones fallidas
- O sus conclusiones son dudosas, o de lo contrario tienen dudas.
Si no está familiarizado con ninguna de estas áreas de investigación, puede encontrar más información de la siguiente manera:
1. Los temas con enlaces son a mis blogs o documentos que los discuten.
2. Para temas no relacionados, puede hacer una búsqueda en Google para ese tema + "replicación" o "falla de replicación" o "reproducibilidad" y, por lo general, podrá encontrar el resultado original y la fuente de duda.
- La amenaza del estereotipo
- todo tipo de estudios de preparación
- influencia de arriba hacia abajo en la percepción
- Sesgo de endogrupo masivo en las percepciones de un juego de fútbol
- el poder de la situación
- los escépticos del clima creen teorías de conspiración extrañas
- los conservadores niegan las realidades ambientales
- los conservadores son más parciales que los liberales en general
- profecías autocumplidas son poderosas y penetrantes
- los estereotipos son la base predeterminada y los poderosos distorsionadores de la percepción de la persona
- los estereotipos son inexactos
- Poses de poder (las posturas expansivas no verbales tienen influencias extraordinarias en la confianza y en cómo otros te perciben)
- las llamadas intervenciones "sabias" aumentan el logro o la participación de los votantes
- las lagunas demográficas son el resultado de la discriminación
- los puntajes por encima de 0 en la versión de prejuicio de la prueba de asociación implícita son no igualitarios
- las medidas de prejuicio implícito predicen la discriminación mejor que las medidas explícitas
- Los estereotipos conducen a su propia confirmación
- agotamiento del ego
- la hipótesis de la retroalimentación facial
- himmicanes
- grandes porciones de la neurociencia social
- y probablemente mucho más que no he enumerado.
Las controversias sobre si las franjas de la psicología social se están colapsando alrededor de nuestros oídos han encendido las pasiones de los científicos. Estas son a veces pasiones virtuosas, a veces incluso pasiones auto-justas e insultantes, sobre qué es la ciencia, qué cuenta, quién está haciendo una buena ciencia y quién no. Ese es el contexto científico del que surgió el ensayo de Fiske, con sus cargas inciviles de incivilidad.
