La psicología está llena de hallazgos de investigación inexactos

El caso de un psicólogo holandés que fabricó experimentos completamente durante al menos una década está enfocando los defectos sistémicos en el informe de la investigación psicológica.

Diederik Stapel, un psicólogo bien conocido y ampliamente publicado en los Países Bajos, rutinariamente falsificó datos e inventó experimentos completos, de acuerdo con un comité de investigación.

Pero según Benedict Carey, del New York Times , el escándalo es solo uno de una serie de situaciones embarazosas en "un campo que críticos y estadísticos dicen que necesita revisar cómo trata los resultados de la investigación":

En los últimos años, los psicólogos han informado una gran cantidad de hallazgos sobre los prejuicios raciales, las imágenes cerebrales e incluso la percepción extrasensorial que no han resistido el escrutinio …

• Profesionalismo médico frente al mercantilismo
• ¿Es la muerte mejor que un asilo de ancianos?
• "Cat Wars" pide matar a gatos de rango libre
• Qué hacer cuando su hijo diga: "¡Soy gay!"
• ¿Estás exagerando los palos mientras minimizas las zanahorias?

El Dr. Stapel pudo operar durante tanto tiempo, dijo el comité, en gran medida porque era el "señor de los datos", la única persona que vio la evidencia experimental que se había reunido (o fabricado). Este es un problema generalizado en psicología, dijo Jelte M. Wicherts, psicólogo de la Universidad de Amsterdam. En una encuesta reciente, dos tercios de los psicólogos de investigación holandeses dijeron que no hicieron que sus datos en bruto estuvieran disponibles para que los vean otros investigadores. "Esto está en violación de las reglas éticas establecidas en el campo", dijo el Dr. Wicherts.

En una encuesta de más de 2,000 psicólogos estadounidenses programada para ser publicada este año, Leslie John de Harvard Business School y dos colegas encontraron que el 70 por ciento había reconocido, de forma anónima, recortar algunos rincones en los informes de datos. Alrededor de un tercio dijo que habían informado un hallazgo inesperado como se había predicho desde el principio, y aproximadamente el 1 por ciento admitió haber falsificado datos.

También es común un descuido estadístico egoísta. En un análisis publicado este año, el Dr. Wicherts y Marjan Bakker, también de la Universidad de Amsterdam, buscaron errores estadísticos en una muestra aleatoria de 281 artículos de psicología. Encontraron que aproximadamente la mitad de los artículos en revistas de alto nivel contenían algún error estadístico, y que aproximadamente el 15 por ciento de todos los artículos tenían al menos un error que cambiaba un hallazgo informado, casi siempre en oposición a la hipótesis de los autores …

• Curación de una nación
• Las 10 mejores palabras de relación que no son traducibles al inglés
• Toma rápida
• Spinoza y los Steers
• Una película peligrosa?

Implicaciones forenses

Si bien los hallazgos inexactos e incluso fabricados hacen que el campo de la psicología parezca tonto, adquieren ramificaciones potencialmente mucho más graves en contextos forenses, donde lo que está en juego puede incluir pagos de seis cifras o privaciones extremas de libertad.

Por ejemplo, las denuncias basadas en estudios de imágenes cerebrales con resonancia magnética funcional son cada vez más admitidas ante los tribunales tanto en el contexto criminal como civil. Sin embargo, un análisis de 2009 encontró que aproximadamente la mitad de tales estudios publicados en revistas científicas prominentes eran tan "seriamente defectuosos" que equivalían a la ciencia del vudú que "no se debe creer".

De manera similar, el investigador Jay Singh y sus colegas encontraron que los metaanálisis que pretenden mostrar la eficacia de los instrumentos utilizados para predecir quién será violento en el futuro están plagados de problemas, como la falta de descripción adecuada de los procedimientos de búsqueda de estudios, la falta de verificación de muestras superpuestas o el sesgo de publicación, la falta de investigación de la confusión de la heterogeneidad de la muestra y el uso de una técnica estadística problemática, el Área bajo la curva (AUC), para medir la precisión predictiva.

Particularmente preocupante para mí es un estudio completamente nuevo que constata que la voluntad de los investigadores de compartir sus datos se correlaciona directamente con la solidez de la evidencia y la calidad del informe de los resultados estadísticos. (El análisis está disponible en línea en la revista PloS ONE).

He oído hablar de varios investigadores en el campo de la evaluación del riesgo de delincuentes sexuales que obstinadamente se resisten a los esfuerzos de otros investigadores para obtener sus datos para el reanálisis. Como señaló el Dr. Wicherts, el psicólogo de la Universidad de Amsterdam, esto es una violación de las reglas de ética. Lo que es más importante, nos imposibilita tener confianza en la fiabilidad y validez de las afirmaciones de estos investigadores. A pesar de esto, los instrumentos potencialmente no confiables, algunos de ellos ni siquiera publicados, se presentan rutinariamente ante los tribunales para establecer la peligrosidad futura.

Los críticos dicen que los problemas generalizados en este campo respaldan firmemente la necesidad de reformas obligatorias, incluido el establecimiento de políticas que exijan que los investigadores archiven sus datos para que otros los puedan inspeccionar y analizar. Esta reforma es importante para la credibilidad de la psicología en general, pero absolutamente esencial en la psicología forense.