Se supone que la ciencia se autocorrige. Sin embargo, en los últimos años en algunas áreas, especialmente en biomedicina y ciencias sociales, el proceso parece estar fallando. Muchos estudios publicados se basan en métodos defectuosos o incluso fraude. Una de las causas son los malos incentivos con los que operan la mayoría de los científicos. Pero un problema más profundo, que no se cura fácilmente, es que la ciencia, como cualquier otra actividad humana, puede estar sujeta a rendimientos decrecientes.
Una falla importante es la llamada crisis de replicación: los investigadores en ciencias sociales y biomédicas no pueden repetir un experimento confiablemente y obtener el mismo resultado. Como la replicabilidad es el criterio de la verdad en la ciencia experimental, la falla en la replicación es un problema serio. En 2016, la prestigiosa revista científica internacional Nature publicó una encuesta que mostraba que “Más del 70% de los investigadores han intentado y no han podido reproducir los experimentos de otro científico, y más de la mitad no han podido reproducir sus propios experimentos”. En 2011, el Wall Street Journal describió cómo la compañía farmacéutica Bayer intentó replicar una serie de estudios de medicamentos y fracasó casi dos terceras partes del tiempo. La situación puede ser incluso peor de lo que sugieren estos resultados, porque en las ciencias sociales, especialmente, rara vez se intenta la replicación. Se deduce que muchas conclusiones sobre la dieta, las drogas, el prejuicio, los prejuicios y la forma correcta de enseñar son falsas.
Los falsos hallazgos son necesariamente la base de prácticas defectuosas y la búsqueda de callejones sin salida científicos. El investigador A aprende de la literatura que X es verdadero. Él infiere que si X es verdadero, entonces Y debe seguir. Él prueba (generalmente inadecuadamente) Y, y encuentra que es verdad … Enjuaga y repite con el Investigador B y encuentra Y … Si X es de hecho falso, este camino no conduce a ninguna parte. La investigación defectuosa no es algo que pueda ignorarse: tiene un costo real y potencialmente creciente.
¿Cómo se publican los resultados falsos? Un par de ejemplos pueden ayudar. El profesor Brian Wansink es el jefe del Food and Brand Lab en la Universidad de Cornell. El laboratorio ha tenido una serie de problemas; varios trabajos publicados han tenido que ser retractados. Uno de los problemas más triviales de los laboratorios es este (de The Chronicle of Higher Education ):
Wansink y sus colegas investigadores habían pasado un mes recopilando información sobre los sentimientos y el comportamiento de los comensales en un restaurante buffet italiano. Desafortunadamente, sus resultados no respaldaron la hipótesis original. “Esto nos costó mucho tiempo y nuestro propio dinero para cobrar”, recuerda Wansink al decirle al estudiante graduado. “Tiene que haber algo aquí que podamos rescatar”.
Cuatro publicaciones surgieron del estudio buffet ‘salvado’.
El problema real, la fuente probable de todos los otros problemas de Wansink, puede ser el impulso para producir publicaciones. Según esta medida, su grupo de investigación es extremadamente exitoso: 178 artículos de revistas revisadas por pares, 10 libros y 44 capítulos de libros solo en 2014.
La unidad para publicar no está restringida al Profesor Wansink. Es universal en la ciencia académica, especialmente entre los jóvenes investigadores que buscan becas de promoción e investigación. Una forma de incrementar las listas de publicación es agregar autores: los trabajos de varios autores han aumentado mucho en los últimos años. Otra es publicar tan pronto como tenga un resultado “significativo”. La LPU (“unidad menos publicable”), una perenne broma entre los investigadores, es esa elusiva e irreductible cantidad de resultados que será suficiente para una publicación. Ha surgido una nueva industria de revistas ’emergentes’ para satisfacer esta necesidad de publicar.
Aquí hay otro ejemplo, de un blog de ciencia reciente. El problema era el llamado nivel de significancia que un investigador debería usar como criterio para la verdad de su resultado. Si la probabilidad de que el resultado ocurra por casualidad es menor que X%, entonces puede aceptarlo como verdadero: 5% es el valor convencional para X. La respuesta (correcta) del experto fue la siguiente: “No hay referencia autorizada para usar 0.05 como nivel de significancia. Au contraire … el nivel de importancia tiene que ser elegido en función de todo el contexto … “El 5% estándar es demasiado generoso, como se ve después.
Pero más revelador que la respuesta es la pregunta de un caballero no avergonzado de la Universidad de Oslo: “¿Cómo puedo justificar el uso de la significación en el 10%?” En otras palabras, este tipo está interesado no en la verdad de su resultado , pero en lo que se necesitaría para publicarlo. Es difícil imaginar una demostración más clara del declive del método científico.
¿Por qué este disco para publicar? La mayoría de los investigadores ahora son empleados asalariados. Necesitan publicaciones porque así es como se evalúan. El problema es que en cualquier momento el número de aperturas científicas, de preguntas fructíferas, preguntas que conducen a nuevas ideas, no a callejones sin salida, es limitado. Puede que no haya seguido el ritmo de la demanda. Puede haber muy pocas buenas preguntas para la cantidad de científicos buscadores. ¿Qué, entonces, determina la cantidad de científicos?
En 1945, Vannevar Bush, ingeniero e intelectual público, escribió un influyente informe que condujo a la creación de la National Science Foundation. En CIENCIA, Endless Frontier Bush declaró que “el progreso científico en un amplio frente resulta del juego libre de los intelectos libres, trabajando en temas de su propia elección, de la manera dictada por su curiosidad por la exploración de lo desconocido” [énfasis mío] Bush creía que el campo de la ciencia es esencialmente infinito, que las oportunidades para hacer nuevos descubrimientos son ilimitadas. En resumen: ¡cuantos más científicos, mejor!
¿Pero es eso cierto? El reclamo ambicioso de Bush ha sido atacado recientemente, en parte debido a la crisis de replicación y otros problemas con el producto de investigación que acabo de describir. Se están haciendo intentos para remediar estos problemas, pero su origen puede estar fuera de nuestro control.
Los malos incentivos son parte del problema, pero la pobre estructura de incentivos de la ciencia moderna puede ser un efecto en lugar de la causa raíz. La verdadera causa puede ser la naturaleza de la ciencia misma. Vannevar Bush prometió un avance científico en un “frente amplio”. “Amplio”, sí, pero no infinito. A medida que se resuelve cada problema, se abren nuevas preguntas. Puede haber un final para este proceso, pero la cantidad de líneas de investigación fructíferas en cualquier momento dado puede ser finita. La reacción natural a esto puede ser una relajación de los estándares científicos. El creciente número de errores pseudocientíficos que hemos presenciado en los últimos años puede ser no solo un testimonio de la fragilidad humana, sino un reflejo del hecho de que el número de líneas de investigación fructíferas no ha seguido el ritmo del creciente número de científicos.
Esta disparidad no es desastrosa. Todavía hay respuestas que se encuentran; el avance continúa Pero la falta de coincidencia significa que la proporción de experimentos fallidos a exitosos aumentará.
El fracaso en la ciencia es suicidio profesional
Un alto índice de fracaso no es en sí mismo un problema, desde el punto de vista científico. El fracaso está bien; es una parte necesaria de la ciencia. El problema es que la falla repetida no es compatible con el avance profesional. La ciencia es ahora para la mayoría de los científicos una carrera, no una vocación. Las fallas son esenciales para el avance científico. Muchos de los avances más importantes en la ciencia, desde la teoría de Darwin hasta el bosón de Higgs, se dieron solo después de muchos años de búsqueda a menudo infructuosa para confirmar la evidencia. Darwin podría persistir porque era independientemente rico. La búsqueda del Higgs fue parte de la empresa colectiva del Gran Colisionador de Hadrones, una inversión necesariamente a largo plazo. Pero el fracaso, especialmente el fracaso individual, no funciona bien con los administradores de investigación. Un científico ambicioso no puede permitirse el lujo de fracasar.
Y eso ha creado un gran problema, que amenaza con erosionar los propios cimientos de la ciencia. Los investigadores ansiosos se sentirán atraídos por los métodos de investigación que se parecen lo suficiente a la ciencia como para convertirse en una práctica aceptada, pero se garantiza que obtendrán resultados publicables al menos algunas veces.
En otras palabras, la crisis de replicación y otros problemas de la ciencia, como la aparente desaceleración en la tasa de descubrimiento de nuevas drogas terapéuticas, pueden reflejar algo más que la susceptibilidad humana a los malos incentivos. Quizás el problema no es la gente, ¿sino la naturaleza? ¿Quizás hay demasiados científicos para la cantidad de problemas solubles disponibles? Tal vez hemos tomado la fruta más baja y lo que queda es demasiado difícil de cosechar sin abandonar el rigor.
Puede haber demasiado de cualquier cosa. Debe haber un número óptimo de científicos que sea menos del cien por ciento de la población adulta. Más allá de ese número óptimo, la comunidad científica comenzará a generar ruido en lugar de señal y se obstaculizará el avance. ¿Estamos en ese momento en áreas como las ciencias sociales y la biomedicina? La prosa inspiradora de Vannevar Bush fue apropiada al final de la Segunda Guerra Mundial y condujo a grandes avances en ciencia pura y aplicada respaldada por el gobierno. Pero la situación ahora puede ser muy diferente. Al menos deberíamos pensar si no necesitamos más, pero menos, científicos sociales y biomédicos.
