¿Puedes manejar la verdad sobre la investigación?

Antes de dar por sentado los resultados de la investigación, recuerde todas las razones para no hacerlo.

MEME

Fuente: MEME

¿Puedes manejar la verdad? Algunos de ustedes recordarán la perorata de Jack Nicholson en el stand en A Few Good Men. A menudo me recuerdan esa frase cuando discuto los resultados de la investigación. Lamentablemente, no es porque los hallazgos sean perturbadores, aunque muchos lo sean, sino porque, como saben todos los buenos científicos psicológicos, la investigación no proporciona verdades. Esta es una verdad que se debe tener en cuenta al leer los titulares que proclaman “Estudios de investigación …”.

A la gente le gusta obtener respuestas definitivas. Nos encanta que la ciencia nos diga qué hacer. A veces nos engañamos pensando que el último hallazgo sobre un tema (especialmente si es compatible con nuestra opinión) es la verdad sobre ese tema. Come esto para la salud. No hagas eso por la felicidad. Cuando conoces la empresa científica, sabes que un estudio no puede ser el final de la historia. Un estudio científico solo apoya una hipótesis. Una de las dos palabras más frustrantes que tengo que pronunciar al discutir la investigación es “Depende”. Pero esa es la verdad. ¿Puedes controlarlo?

El comportamiento es complejo, lo cual es una de las principales razones por las que es difícil obtener respuestas definitivas. Los resultados podrían cambiar dependiendo de cómo se llevó a cabo la investigación, qué variables se midieron, cómo se reclutaron los participantes, qué tan grande era la muestra, el contexto en el que se realizó el estudio y toda una serie de otros factores. Atul Gawande escribió sobre esto de manera persuasiva con respecto a la medicina, donde realizó una cirugía en la propia medicina, lo que demuestra que es complicado, desconcertante y profundamente humano, nada que se parezca al idealizado “los médicos tienen todas las respuestas”. Muchos creen que es el mundo.

También sabemos que los resultados de los estudios ni siquiera se replican. Es más probable que piense en algo como la verdad si obtiene el mismo resultado cada vez. Ha habido muchas fallas en la replicación en la ciencia, una vez más que demuestra la complejidad de la investigación. Incluso si repitió la metodología de un estudio completamente, es posible que no obtenga los mismos resultados. Pero se pone peor.

Si los problemas de replicación no fueron lo suficientemente malos, ahora hay evidencia de que muchos científicos no han sido del todo sinceros acerca de cómo hicieron su investigación. En el caso más reciente, el Dr. Brian Wansink renunció a la Universidad de Cornell luego de que una investigación de un año demostró que cometió una falta de conducta académica. De hecho, solo en el último mes, seis de sus artículos fueron retirados por el prestigioso Journal of the American Medical Association (JAMA). Muchos de sus estudios anteriores sobre alimentación ahora son sospechosos. Pero se pone aún peor.

Aparentemente, incluso los mismos datos producen resultados diferentes dependiendo de quién los analice. Esta semana, Silberzahn y sus colegas (Silberzahn et al. 2018) publicaron un estudio revelador. Veintinueve equipos con 61 científicos probaron una pregunta: ¿Es más probable que los árbitros de fútbol otorguen tarjetas rojas a los jugadores con tonos de piel oscura que a los jugadores con tonos de piel clara? Aquí está el kicker. Todos recibieron el mismo conjunto de datos. Los resultados variaron. Veinte equipos dijeron que sí. Nueve equipos dijeron NO. De estos yay y nay-sayers, la fuerza del efecto fue diferente.

APS

Fuente: APS

¿Por qué pasó esto? Los científicos utilizaron diferentes análisis para probar las preguntas. Diferentes grupos controlados por diferentes factores. Mientras que algunos grupos no controlaban ningún factor, otros controlaban hasta siete factores diferentes. Pero recuerda que el conjunto de datos era exactamente el mismo.

Este estudio es un recordatorio sorprendente de algo de lo que rara vez se habla. Lo que el investigador hace con los datos hace del mundo una diferencia. No estamos hablando de pescar resultados, fabricar números o, peor aún, falsificar resultados. Este estudio fue una ventana abierta a cómo los investigadores son moldeados por sus hábitos. Los investigadores tienen análisis de mascotas y establecen formas que tienden a usar cuando se acercan a la investigación. La gran revelación aquí es que estas idiosincrasias pueden marcar la diferencia en si un hallazgo se considera verdadero o falso.

Ningún estudio de investigación te da la verdad. Cada uno tiene muchas limitaciones. Asegúrese de tratar los hallazgos principales con la precaución requerida y no se deje llevar por ningún estudio. La ciencia se autocorrige y la inconsistencia nos empuja a hacer una mejor ciencia. Y eso es bueno para todos nosotros.