El esfuerzo de la reforma de la ciencia y sus descontentos

Un controvertido ensayo de un ex presidente de la Asociación de Ciencias Psicológicas que pedía civismo en las discusiones científicas ha inspirado una gran cantidad de comentarios de escritores científicos en la web. Puedes leer mi sinopsis del ensayo aquí; puedes leer el ensayo completo aquí.

Debido a que el statu quo en la ciencia psicológica incluye estudios, prácticas y hallazgos problemáticos, y debido a que el ensayo de Fiske parecía estar defendiendo ese status quo, muchos en la vanguardia de la reforma de la ciencia lo rechazaron. ¿Por qué debería importarte? ¿No es el tema de la calidad y la credibilidad de la investigación científica demasiado técnico para que el laico inteligente lo entienda? Primero, no del todo. La mayoría de los problemas en la ciencia psicológica son fácilmente comprensibles para el lego, y cualquiera que sugiera lo contrario está haciendo uno rápido (ver enlace arriba). Segundo, la credibilidad de cualquier cosa que leas sobre ciencia psicológica depende de la calidad de esa ciencia. Si esa cualidad es inferior a la óptima, querrá saberlo (al menos si usted es el tipo de persona interesada en la psicología y también prefiere creer cosas que son realmente ciertas, en lugar de una mezcla desconocida de aceite de serpiente, aire caliente, malas prácticas) y autopromoción de autoservicio).

Muchos escritores de ciencia vieron el ensayo de Fiske como mucho más que un llamado a la cortesía. Fiske acusó a los que se dedican a criticar a la ciencia psicológica fuera de los medios establecidos de revisión por pares por participar en acciones hostiles y poco éticas. Como tal, muchos lo han interpretado como un intento de defender el statu quo (lo que muchos creen que es disfuncional) en la ciencia psicológica y protegerlo de las críticas justificadas.

Estos son algunos de los que creo que son los mejores y más agudos comentarios sobre el ensayo y la reforma científica de Fiske de manera más general:

• Puedes enseñarle a un perro viejo nuevos trucos
• Parálisis del sueño y lo sobrenatural
• Espiritualidad para principiantes 6: dos mitades lo hacen todo
• Los riesgos del coqueteo en línea
• Ella dijo, dijo, dijo

TAMLER SOMMERS (VERYBADWIZARDS.COM, EPISODE 99, tenga en cuenta que este es un podcast, y puede encontrar la cita en el segundo segmento, que comienza unos 20 minutos):

"Por ética, se refiere a las cosas que mantienen el status quo y el establecimiento en su lugar … Desde la perspectiva de un extraño, se lee algo así como: 'Ustedes fuera del club no cuestionan nuestros métodos, incluso si son objetivamente cuestionables. Tienes que recurrir a nosotros para hacer eso, y tenemos que aprobar cualquier crítica que hagas sobre nuestra metodología y nuestras prácticas ".

ANDREW GELMAN (LO QUE HA SUCEDIDO AQUÍ ES QUE LOS VIENTOS HAN CAMBIADO). La publicación completa de Gelman es larga pero magistral y te animo a que la leas por completo. Aquí hay algunos extractos:

• ¿Las relaciones en línea son saludables para los jóvenes?
• Seis estrategias simples para detener la intimidación
• Leyendo a las personas por las palabras que hablan
• Gaming the Healthcare System
• Algunos niños realmente superan el autismo, y esas son buenas noticias

"La historia corta es que Cuddy, Norton y Fiske cometieron un montón de errores de datos, lo cual es una lástima, pero suceden tales cosas, y luego, cuando se les señalaron los errores, se negaron a reconsiderar nada. Su teoría sustantiva es tan abierta que puede explicar casi cualquier resultado, cualquier interacción en cualquier dirección.

"Y es por eso que los autores afirman que corregir los errores" no cambia el

conclusión del documento "es a la vez ridículo y muy cierto. Es ridículo porque uno de los reclamos clave se basa completamente en un valor p estadísticamente significativo que ya no existe. Pero la afirmación es cierta porque la "conclusión del documento" real no depende de ninguno de sus detalles; todo lo que importa es que hay algo, en algún lugar, que tiene p menos de .05, porque eso es suficiente para hacer publicable, promovible afirma sobre "la omnipresencia y la persistencia del estereotipo de los ancianos" o cualquier otra cosa que quieran publicar ese día.

Cuando los autores protestan que ninguno de los errores realmente importa, te hace darte cuenta de que, en estos proyectos, los datos apenas importan ".

"… ella está trabajando dentro de un paradigma muerto. Un paradigma que debería haber estado muerto en la década de 1960 cuando Meehl estaba escribiendo sobre todo esto, pero que a raíz de Simonsohn, Button y otros, Nosek et al., Está ciertamente muerto hoy. Es el paradigma de la teoría abierta, de la publicación en revistas de alto nivel y promoción en la prensa popular y de negocios, basada en resultados "p menores que .05" obtenidos utilizando abundantes grados de libertad de los investigadores. Es el paradigma de la teoría que, en palabras del sociólogo Jeremy Freese, es "más vampírico que empírico: incapaz de ser asesinado por meros datos".

"Fiske expresa su preocupación por las carreras de sus amigos, carreras que pueden haber sido dañadas por la difusión pública de sus errores de investigación. Solo recuerde que, para cada una de estas personas, puede haber otros tres jóvenes investigadores que estaban haciendo un trabajo cuidadoso y serio, pero que luego no fueron elegidos para un trabajo de circo o promoción porque era muy difícil competir con otros candidatos que sí lo hicieron. trabajo descuidado pero llamativo que se publicó en Psych Science o PPNAS. Va en ambos sentidos ".

"Fiske está molesto con las redes sociales, y puedo entender eso. Ella está sentada en la cima de los medios tradicionales. Puede publicar un artículo en APS Observer y obtener toda esta discusión sin tener que pasar por la revisión por pares; ella tiene el poder de aprobar artículos para las prestigiosas Actas de la Academia Nacional de Ciencias; el trabajo de ella y sus colegas aparece en los periódicos nacionales, la televisión, la radio e incluso las charlas de Ted, o al menos eso he escuchado. Los medios de arriba abajo son amigos de Susan Fiske. Las redes sociales, sin embargo, no tiene control sobre ellas. Eso debe ser frustrante, y como practicante exitoso de los medios tradicionales (sí, también lo he publicado en revistas académicas), también me puedo enojar cuando los recién llegados eluden los canales tradicionales de publicación. Gente como Fiske y yo pasamos nuestra vida profesional acumulando una pequeña fortuna de monedas en forma de publicaciones y citas, y es doloroso ver que se devalúa, o pensar que hay otro tipo de scrip en circulación que puede comprar cosas que nuestro el dinero de la vieja escuela no puede ".

"Permítanme concluir con un desacuerdo clave que tengo con Fiske. Ella prefiere foros moderados donde la crítica se hace en privado. Prefiero la discusión abierta. Personalmente, no soy fanático de Twitter, donde la limitación de espacio parece favorecer intercambios ágiles, a menudo antagónicos. Me gustan los blogs y los comentarios de blog, porque tenemos suficiente espacio para explicarnos completamente y para dar referencias completas a lo que estamos debatiendo ".

Y luego estaba este comentario asesino sobre la publicación de Gelman y el ensayo de Fiske hecho por una persona que solo se identificaba a sí misma como "Plucky" (a quien contacté y obtuve permiso para citarlo en su totalidad):

PLUCKY'S BULLSEYE (La ciencia es un método, no una comunidad):

El problema clave con Fiske es esta frase: "En última instancia, la ciencia es una comunidad, y todos estamos en ella juntos".

Eso es totalmente erróneo, y está mal en las formas que resultan en todo lo que has criticado. La ciencia no es una comunidad, es un método.

No conozco bien su campo, pero sí conozco bien la política. Un problema primordial de lectura

La carta de Fiske es que, a menos que a uno se le diga el contexto y el contexto, podría confundirse fácilmente con el tipo de defensas débiles y políticas de los grupos de interés de la variedad opsed-written-by-logsists. La verborrea, el tono, la caracterización responsable-adulto-contra-ingobernable de una disputa, los malvados sin nombre, la comparación gratuita con el terrorismo, y la falsa afirmación de que no tienen una participación personal en la lucha son todas muletas retóricas estándar de la política hacks, y debería ser embarazoso para un campo científico que alguien que aparentemente es bastante eminente en él estaría hablando de esta manera. Realmente no es un buen aspecto para la ciencia.

"Obviamente, la ciencia es algo practicado por personas en colaboración, alrededor del cual se formará naturalmente una comunidad, pero el elemento crítico para la autoridad y legitimidad de la empresa es y tiene que ser que todos los arreglos institucionales estén diseñados para contrarrestar al ser humano natural tendencias de clique-ishness, careerism, etc. y ser continuamente examinado por su eficacia al hacerlo. El objetivo de otorgar tenencia, por ejemplo, es precisamente proteger la práctica de la ciencia de las maquinaciones de la política y permitir que las personas hagan cosas como admitir que han perdido más de 10 años persiguiendo a un fantasma sin perder su empleo. Deben hacerse algunas concesiones a la naturaleza humana, pero la ciencia y sus practicantes siempre deben asumir que la verdad es más importante que la reputación o carrera de cualquier científico.

"El problema fundamental al definir a Science como" en última instancia … una comunidad "es que las comunidades generalmente no valoran la verdad sobre el bienestar de sus miembros (en el sentido material o emocional). El propósito funcional de una comunidad es precisamente brindar apoyo, protección y validación a sus miembros. Las comunidades cuyo propósito declarado es altruista necesitan compromisos muy fuertes tanto a nivel individual como institucional para evitar la corrupción, e incluso con esos compromisos, la lucha para evitar la corrupción es eterna y nunca totalmente exitosa. Dada la descripción de los intereses de investigación del Dr. Fiske, debería saber esto mejor que cualquier otra persona ".

TAL YARKONI (NO HAY PROBLEMA DE "TONO" EN PSICOLOGÍA)

"No hay nada de malo en el tono general de nuestro discurso en psicología en este momento.

"Incluso si hubiera algo mal con el tono de nuestro discurso, sería profundamente contraproducente perder el tiempo hablando de ello en términos generales vagos.
El temor de que sus descubrimientos científicos sean desgarrados por otros no es inusual o patológico; en realidad es un sentimiento completamente normal y saludable para un científico.
Apelar a la equidad no vale la pena tomarse en serio a menos que el argumento se presente al nivel de toda la comunidad científica, en lugar de solo la subcomunidad a la que uno pertenece ".

"Ningún investigador tiene derecho a llevar una carrera exitosa sin problemas y sin ser molestado por ningún cuestionamiento serio de sus hallazgos. Tampoco lo hacen los investigadores de inicios de carrera como Alec Beall, cuyo artículo que sugiere que las mujeres fértiles son más propensas a usar camisas rojas fue duramente criticado por Andrew Gelman y otros. Es lamentablemente cierto que la crítica pública incisiva puede perjudicar la reputación y las perspectivas de trabajo de aquellos cuyo trabajo ha sido criticado. Y también es cierto que esto puede ser bastante injusto, en el sentido de que generalmente no hay una razón particular por la cual estas personas en particular deben ser criticadas y sufrir por ello, mientras que otras personas con trabajos muy similares salen ilesos, y aseguran trabajos de ciruela o promociones ".

Pero esta es la cuestión: lo que no parece justo a nivel de un individuo a menudo es perfectamente justo o al menos inevitable en el nivel de una comunidad entera. Tan pronto como uno se aleja de cualquier individuo, y en su lugar examina el campo de la psicología como un todo, queda claro que los mercados de trabajo y reputación son, en una primera aproximación, un juego de suma cero. Como señalaron Gelman y muchas otras personas, por cada persona que no consigue un trabajo porque su trabajo fue criticado por un "replicador", podría haber otros tres candidatos que no consiguieron trabajo porque su trabajo mucho más metodológicamente riguroso demasiado tiempo para publicar y / o no se pudo acumular en la ostentación del trabajo de apropiación de relaciones públicas que sí ganó la lotería del trabajo.

"… la idea de que un hallazgo publicado en una de nuestras revistas debe considerarse libre de prejuicios porque pasó primero, mientras que una crítica posterior o la reproducción de ese hallazgo debe descartarse debido a motivos personales u otros sesgos es, francamente, delirante . Los sesgos están en todas partes; todos los tienen. Si bien esto no significa que debemos ignorarlo, sí significa que debemos (a) llamar a todos los prejuicios por igual, lo cual es generalmente imposible, o al menos extremadamente poco práctico, o (b) aceptar que hacerlo no lo es. productivo, y que la mejor manera de eliminar el sesgo a largo plazo es enfrentando los prejuicios de cada uno y dejar que los argumentos lógicos y los datos empíricos decidan quién tiene la razón ".

NEUROSKEPTIC (EN "DESTRUCTO-CRÍTICA")

"Supongamos que Fiske tiene razón y que algunas personas, mientras fingen estar discutiendo sobre la ciencia, están realmente involucradas en el acoso personal específico de científicos en particular. Si ese es el caso, ¿qué deberíamos hacer?

"En mi opinión, deberíamos nombrar nombres (¡o seudónimos!): Deberíamos responsabilizar a los delincuentes con referencia a ejemplos específicos de sus ataques. Después de todo, estas personas (dice Fiske) son malvados crueles que se comportan de manera seriamente poco ética. Si es así, merecen estar expuestos.

"Sin embargo, Fiske no hace esto. Ella dice: "No estoy nombrando nombres porque las tácticas de difamación ad hominem ya están dañando nuestro campo". Pero no es una mancha ad hominem para señalar un caso de intimidación o acoso y decir 'esto está mal'. Por el contrario, eso sería defender la decencia. Si los terroristas realmente están entre nosotros, necesitamos saber quiénes son.

"Otra razón por la que creo que Fiske (y cualquier otra persona en una posición similar) debe nombrar nombres es que ayuda a establecer límites. Fiske reconoce que no todos los bloggers son malos: "No todos los críticos autodesignados se comportan de forma poco ética". Entonces, ¿quiénes son los éticos? Sería útil conocer algunos ejemplos de los "buenos" críticos, ya que podríamos saber dónde dibuja Fiske el límite que separa las buenas críticas de las malas. Tal como está, las denouncaciones de Fiske pueden leerse fácilmente como dirigidas a la gran mayoría de aquellos que debaten la ciencia en línea.

"En resumen, quiero saber a quién llama Fiske un" destructo-crítico "para poder juzgar la precisión de la etiqueta. ¿Soy uno?

NEUROCHAMBERS (TERRORISMO METODOLÓGICO Y OTROS MITOS)

"La verdad es que estamos en medio de una lucha de poder, y no entre los" destructo-críticos "de Fiske y sus víctimas, sino entre reformistas que intentan desesperadamente mejorar la ciencia y una vanguardia de tradicionalistas que, de vez en cuando, mira hacia abajo desde sus tronos para arrojar un tronco en el camino. A medida que el recuento corporal de repeticiones fallidas continúa aumentando, una nueva generación desea un tipo diferente de ciencia y la quiere ahora. Están exigiendo una mayor transparencia en las prácticas de investigación. Quieren ser recompensados ​​por realizar investigaciones de alta calidad, independientemente de los resultados. Quieren que los investigadores sean responsables de la calidad del trabajo que producen y de las decisiones que toman como profesionales públicos. Es muy sensato, constructivo y de interés público ".

NEURONEURÓTICO (EL DÍA QUE LA PALMA GOLPEó LA CARA)

Soy comprensivo con la idea de que la crítica duele, de que tal vez deberíamos ser más conscientes de lo sórdidos y frívolos que somos con nuestras críticas, y que hay un nivel de alegría asociado con cómo se divulgan las fallas de replicación. Pero también hay mucho regocijo con el que los documentos de alto impacto se publicitan y se presentan en las charlas de TED. Si quieres que el primero se detenga, tal vez deberíamos finalmente poner fin a la mierda por completo.

URI SIMONSOHN (TRES IDEAS PARA LA CRÍTICA CIVIL)

Creo que el periodista de datos es una metáfora más precisa que la policía de datos. Al igual que los periodistas y, a diferencia de los policías, los blogueros (académicos) no tienen poderes físicos ni legales, simplemente ejercen análisis de intercambio de palabras libres y opiniones no vinculantes que son valoradas por las personas que eligen leerlas (en contraste, estamos no libre de ignorar a la policía). Al igual que los periodistas, el poder de los bloggers depende de ser interesante, correcto y persuasivo.

Es importante destacar que, a diferencia de los periodistas, la mayoría de los bloggers académicos tienen una formación similar en el tema como los autores originales cuyo trabajo discuten, y que habitan sus círculos sociales y profesionales también. Así que los bloggers son periodistas de élite: más calificados y mejor incentivados para tener la razón

BENJAMIN KIRKUP (comentarista en el blog Simplystatistics.org, Statistical Vitriol)

"En biomedicina, las personas luchan por sus vidas y su inmortalidad. Aquellos que están tratando de mantener un ingreso estable a través de subvenciones tienen sus espaldas contra la pared. Aquellos que han publicado artículos que ven como su legado en los roles y anales de la ciencia, quizás tengan aún más en juego.

"En la psicología conductual y social, también hay algo más en juego. Al leer algunos de los estadísticos, hablan de cómo se supone que todos estos prejuicios inconscientes son efectos pequeños, por lo que los hallazgos son notables y sorprendentes y probablemente incorrectos (himmicanes, huracanes, asientos de primera clase en el avión, manspreading, lo que sea). Pero esto pasa por alto el punto. Las personas que promueven estas teorías creen fervientemente que estos sesgos son ENORMES y constituyen una nueva forma de pecado original que dicta acciones humanas individuales y estructuras organizativas e institucionales; que debe ser medido, reconocido, poseído, explicado, arrepentido y pagado en mortificación y penitencia. Decir que los efectos se deben suponer pequeños es básicamente una blasfemia. Ahora, atacar la investigación como infundada, particularmente sobre la base de los antecedentes bayesianos que se niegan a ver todas nuestras acciones como fundamentadas en este pecado original, es un conflicto de la visión del mundo básica, de la religión. De identidad. Es un conflicto de "estilo Haidt". Como todos saben, atacando el sustento de alguien, su legado y su religión?

"Así que el vitriolo es, en retrospectiva, autoexplicativo. Una pregunta es si o cómo desenredar estadísticas de ella. Eso requeriría una exploración de alternativas, la cuestión de la ciencia como una forma de conocimiento, y así sucesivamente. Lo que está en juego es obviamente alto ".

LÍNEAS INFERIORES

1. Dudo que la presencia en línea de los reformadores de la ciencia sea disuadida por el ensayo de Fiske.

2. En mi opinión, es bueno para la ciencia psicológica que no lo sean.

3. Fiske tiene razón indudablemente en que cierto discurso en línea entre científicos es incivil. La incivilidad es mala. Estoy completamente de acuerdo en que se debe alentar el discurso civil y desalentar el discurso incivil.

4. El discurso incivil entre los académicos es anterior a los nuevos medios en línea, y se produce de forma rutinaria en los mismos medios que defendía su ensayo (por ejemplo, revisión por pares).

5. Muchas de las respuestas al ensayo de Fiske muestran que los problemas y las disfunciones en la conducta de la ciencia psicológica surgieron del sistema anterior y es probable que no se resuelvan sin una reforma importante de ese sistema.

6. Pero, en el panteón de los problemas que plagan la ciencia psicológica, la incivilidad es la menor de sus preocupaciones.

Muchos creen que la psicología científica está tan plagada de prácticas problemáticas, que se ha vuelto difícil o imposible saber qué es realmente cierto y qué no. Es el viejo sistema que produjo esta crisis. El esfuerzo de la reforma de la ciencia no tiene todas las respuestas, pero al menos las está buscando.

Los intentos de suprimir tales críticas son profundamente disfuncionales.