La entrada del blog de hoy es co-autor con Rosa Cao, Ph.D. (abreviado RC a continuación, [email protected]). El Dr. Cao recibió su Ph.D. en neurociencia del Instituto de Tecnología de Massachusetts en 2010, estudiando el papel del flujo sanguíneo en el procesamiento de información en el cerebro. Posteriormente completó una beca postdoctoral con el Dr. Daniel Dennett en la Universidad de Tufts, centrándose en cuestiones fundamentales de la filosofía de la mente y la filosofía de la neurociencia. Actualmente es Profesora Asistente en la Universidad de Indiana, donde realiza investigaciones sobre Filosofía de la mente, Filosofía de la neurociencia, Filosofía de la biología y Ciencia cognitiva.
Sean Luo (SL): El tema de interés actual es el papel de la replicación en la ciencia, en particular las ciencias del cerebro, y el papel de la replicación de los resultados científicos en la práctica médica. Este es un tema que ha estado recibiendo más exposición en los últimos años, tanto en la comunidad científica (aquí, aquí) como en la prensa (aquí, aquí y aquí).
Los hallazgos científicos han comenzado a desarrollar una reputación pública de ser poco confiable. Los resultados de grandes ensayos clínicos a menudo se invierten en un estudio posterior, para sorpresa de muchos. En la mayoría de los casos, los hallazgos básicos de laboratorio, especialmente aquellos que se consideran espectaculares desde el principio, no se pueden replicar. En el campo de la psicología y las ciencias cognitivas, este problema se ha vuelto especialmente pernicioso y controvertido.
Para abordar estos problemas, el Instituto Nacional de Salud ha comenzado a diseñar mecanismos formales de financiación para la replicación, que ha sido muy raro en el pasado.
¿Cuáles son sus pensamientos como filósofo que trabajan en la intersección de la filosofía de la ciencia y la filosofía de la mente?
Rosa Cao (RC): Creo que la reproducción se sobre enfatiza. No me malinterpreten, es una especie de estándar mínimo, y ciertamente deberíamos preocuparnos por la disminución del tamaño del efecto en psicología. Pero al final, lo que importa es si los experimentos muestran lo que pretenden mostrar. Al aumentar el tamaño de la muestra, las repeticiones exitosas aumentan la credibilidad de los datos reales. Pero no nos ayudará si la configuración original fue defectuosa en el diseño, y no corregirá una mala interpretación de los datos.
La replicación está destinada a ser un control de la realidad. ¿Fue esto una casualidad? Más cínicamente, puede detectar tanto el fraude intencional como la inocente manipulación ilusoria de los resultados. Si, no obstante, dos grupos con diferentes incentivos producen los mismos datos, entonces podemos sentirnos más seguros de que los resultados no fueron sesgados por los incentivos del experimentador, conscientes o inconscientes. Pero la replicación no es el único, y ciertamente no necesariamente el mejor control de la realidad. El estándar de oro en biología es el mecanismo. Un claro mecanismo biológico que produce efectos de manera predecible da mucha más credibilidad a nuestros resultados.
SL: Observación interesante El problema de replicación tiene dos facetas: hay ciencia defectuosa y luego hay malos científicos.
RC: Pedir la replicación se interpreta como una acusación de maldad, y vemos a la gente enojarse y cerrando filas. Bissell, por ejemplo, argumenta en un artículo de opinión de Nature que es irresponsable pedir replicaciones, y culpa a las fallas de replicación de la incompetencia en posibles duplicadores. Simpatizo con su frustración: alguien le dice que su receta no funciona porque son cocineros incompetentes. Por otro lado, eso sugiere a su vez que muchos hallazgos publicados son tan frágiles que no podemos concluir mucho de ellos (y mucho menos, digamos, generalizar los resultados de los ratones a los humanos).
Pero a veces los resultados no se resuelven por razones inocentes. Sabemos que los datos son siempre ruidosos, y la recolección de cerebros, la mala interpretación, el mal diseño, etc. son comunes. La replicación per se no hará un buen trabajo al identificar esos problemas o resolverlos.
A veces, la utilidad de la replicación se ilustra mejor mediante la "depuración" de las réplicas: un grupo posterior encuentra los mismos datos que un grupo anterior, pero con un conjunto diferente de hipótesis. Esa podría ser la forma más poderosa de desacreditar, pero estrictamente hablando, es una repetición exitosa, donde encontramos los mismos datos, pero nos damos cuenta de que merece una interpretación diferente a la originalmente dada. Entonces, el problema no es la replicación, sino la interpretación .
SL: ¿Cuáles son algunos de los nuevos desarrollos en la filosofía de la ciencia que son relevantes para nuestra discusión actual?
RC: La filosofía de la ciencia en los viejos tiempos cuando la física era dominante estaba obsesionada con las leyes. Ahora que las ciencias biológicas están en ascenso, los filósofos han comenzado a prestar más atención a otras formas que tenemos de hacer progresos científicos. Argumentan que lo que buscamos no son leyes sin excepciones del tipo que se encuentra en la física, sino más bien generalizaciones contextualizadas, donde sabemos cómo funciona algo, y funciona la mayor parte del tiempo, pero no siempre.
Esas generalizaciones están incorporadas en descripciones del mecanismo por el cual se produce algún fenómeno de interés (véase el artículo de Machamer, Darden y Craver [1]). Aquellos nos permiten vincular el nuevo fenómeno de interés a partes y funciones más simples que ya se entienden, o al menos parcialmente se entienden en contextos más amplios. Si sabemos cuáles son las partes y cómo funcionan esas partes, no solo podemos hacer generalizaciones, sino que también podemos estimar cuán buenas son esas generalizaciones y cuál es su alcance, hasta qué punto se extienden más allá del contexto experimental original. Esas son las situaciones que realmente nos importan. Si un experimento es perfectamente replicable, pero solo en el laboratorio, ¿de qué sirve la medicina o nuestra comprensión de la cognición "en la naturaleza"?
SL: Muchos niveles diferentes de análisis son importantes. La medicina es lo suficientemente amplia que sin conocer los mecanismos en detalle, aún podemos hacer inferencias importantes y útiles, y dado que nuestro presupuesto para investigación es limitado, cómo priorizar el financiamiento para estudiar el mecanismo versus sistemáticamente categorizar y analizar la fenomenología, ambos costosos, se vuelve crítico
RC: Sigo pensando que la replicación en medicina es realmente un sustituto de segunda clase. Cuando, como suele ser el caso en medicina, todavía no sabemos cómo funciona algo, podemos conformarnos con una mayor certeza de que funciona. Idealmente, queremos saber cómo un tratamiento médico hace su trabajo. Pero nos conformaremos con un tratamiento efectivo que a menudo funciona para la mayoría de las personas, incluso si no sabemos exactamente cómo hacerlo.
Quizás puedas decir que en medicina, no podemos permitirnos ignorar la fenomenología. Si un medicamento parece curar el cáncer, tenemos la responsabilidad de creerlo y obtenerlo, incluso si no sabemos cómo funciona. Pero no saber cómo podría funcionar, es decir, la falta total de un mecanismo potencial, es evidencia prima facie contra el resultado, especialmente si es estadísticamente débil.
SL: Tal vez la crítica contra los experimentos de psicología social no debe ser que no se repliquen, sino que no se centren lo suficiente en sistematizar mecanismos y hacer las teorías subyacentes más rigurosas.
RC: O tal vez en algo así como la psicología social, es muy difícil buscar un mecanismo. Simplemente no sabemos lo suficiente sobre cómo las partes biológicas (células, transmisores, etc.) logran producir comportamientos sociales complejos. Pero quizás esa sea una buena razón para dudar de la utilidad de los experimentos de psicología social más allá de los fenómenos relativamente delineados que investigan directamente. Para casi cualquier campo, debemos recordar que las afirmaciones experimentales a menudo no se generalizan tan ampliamente como quisiéramos, y son más confiables cuando se restringen al fenómeno real observado.
SL: El verdadero problema que veo para la investigación tanto en ciencias biológicas básicas, mecanicistas como en investigaciones aplicadas de sujetos humanos, incluidos los ensayos clínicos, es que el número de hipótesis crece exponencialmente. Vivimos en la era de la ómica, cuando las señales derivadas de cientos de miles de genes y regiones cerebrales se pueden medir y probar para detectar correlaciones simultáneamente. Suponemos que el reduccionismo funciona. Por ejemplo, saber más sobre los circuitos cerebrales implicados en la adicción puede ayudarnos a aliviar el alcoholismo. Pero, ¿cuál de los millones de nodos en el circuito son relevantes? Lo que veo es el problema más desafiante que enfrentamos hoy. La replicación es, de alguna manera, una reliquia de una era de ciencia de la industria casera, cuando los conocimientos se pueden obtener de una sola hipótesis y un solo experimento.
RC: Es cierto que enfrentamos una proliferación tanto de hipótesis como de datos. Por lo tanto, tal vez no necesitemos la replicación en áreas donde ahora tenemos grandes tamaños de muestra. Pero esos grandes tamaños de muestra van de la mano con hipótesis que tienen pequeños tamaños de efectos, estadísticamente significativas pero no útiles al final. La genómica aún no nos ha enseñado mucho sobre cómo funcionan las enfermedades o cómo tratarlas. Nos ha dado una imagen abrumadoramente compleja de qué marcadores están asociados con qué otros marcadores. Esa es otra razón más para ir tras el mecanismo. Al identificar una vía neural subyacente particular, o un conjunto de moléculas y receptores involucrados, estamos un paso más cerca de obtener una idea de los comportamientos humanos.
SL: hay una respuesta del aprendizaje automático. Los datos complejos pueden no requerir la comprensión de todos los mecanismos subyacentes para producir productos útiles y predictivos. Los algoritmos pueden detectar mecanismos que a los humanos les cuesta articular. E incluso si no tenemos todos los mecanismos, aún podemos emular funciones útiles: el automóvil de Google es el ejemplo perfecto; sabemos muy poco acerca de cómo los humanos manejan un automóvil de manera mecánica. El mecanismo reduce la dimensionalidad y mejora el rendimiento predictivo.
Para llevar la discusión al punto original, si pensamos en el método científico como un proceso de aprendizaje Bayesiano, mientras el "tamaño de muestra" (es decir, la evidencia) aumente, nos acercamos asintóticamente a la "respuesta correcta" (el mecanismo correcto) . La respuesta correcta podría ser simplemente un modelo complejo entrenado en un gran conjunto de datos en lugar de hipótesis estadísticas individuales.
Pero si hay sesgos sistemáticos (por ejemplo, sesgo de publicación), eso ya no es cierto. Por lo tanto, incluso con la replicación y el modelado sofisticado, una gran parte de los hallazgos científicos aún pueden volverse bastante sesgados. Tomar conciencia y abordar estos problemas es posiblemente el más importante.
RC: Se supone que la ciencia se autocorrige. Esta es otra razón para ir más allá de la replicación solo. Cuando los nuevos experimentos se basan en los anteriores (en lugar de simplemente tratar de repetirlos), obtenemos un segundo control sobre si los resultados anteriores son confiables. Los métodos más ampliamente practicados son los más creíbles. Hay un gran periódico de Ian Hacking, donde dice: "si puedes rociarlos, entonces son reales" [3].
Esta entrevista fue conducida y editada desde correos electrónicos.
REFERENCIA
[1] Pensando en los mecanismos, Peter Machamer; Lindley Darden; Carl F. Craver, Filosofía de la Ciencia, vol. 67, No. 1. (2000) pp. 1-25.
[2] Reproducibilidad: los riesgos de la unidad de replicación. Mina Bissell, Nature 503, 333-334 (21 de noviembre de 2013) doi: 10.1038 / 503333a
[3] "Estamos completamente convencidos de la realidad de los electrones cuando nos propusimos construir (y con frecuencia logramos construir) nuevos tipos de dispositivos que usan varias propiedades causales bien entendidas de los electrones para interferir en otras partes más hipotéticas de la naturaleza "Ian Hacking (1982). Experimentación y Realismo Científico. Temas filosóficos 13 (1): 71-87
