El Rap P-Hack

Cómo mejorar la ciencia psicológica Una canción de Hip Hop a la vez

Este es un post invitado de Daniel Rosenfeld, un estudiante de psicología y gerente de laboratorio de la Universidad de Cornell. Su investigación se centra en la elección de alimentos, la moralidad y la identidad, con un enfoque particular en el vegetarianismo.

Si prefieres ir directo al rap, hay un video real de youtube de un rap real, The P-Hack Rap, aproximadamente a 3/4 del camino de descenso.

————-

Soy un estudiante de pregrado. Tengo solo dos años de experiencia en la realización de investigaciones psicológicas. En este corto tiempo, sin embargo, he desarrollado una inmensa apreciación por el amplio alcance, los logros significativos y las implicaciones prácticas de la ciencia psicológica. Pero también aprendí sobre la replicabilidad científica, y estoy bastante preocupado.

• Pistas para la mente del tirador escolar de Florida
• Por qué incluso las normas sociales terribles son difíciles de cambiar
• ¿Aprender a compartir una habilidad obligatoria?
• Road Rage está todo en tu cabeza
• ¿Por qué la psicología de la cultura popular? ¿Cuál es el punto de?

La crisis de replicación

Fuente: Lee Jussim

• 3 claves para un gran día de San Valentín
• La ciencia canina no es una ciencia suave: los datos del perro duro son abundantes
• Tiroteos escolares: cómo responder
• 6 Caminos hacia la salud mental Probablemente no lo sepas
• ¿Qué está mal con el fútbol negativo?

Me preocupa cómo nosotros, como campo, formaremos a una generación emergente de académicos. Me preocupa que los esfuerzos admirables para resolver una “crisis de replicación” no lleguen a suficientes laicos, incluidos otros estudiantes de pregrado. Me preocupa que los crecientes psicólogos de hoy perderán muchas de las conversaciones que darán forma al futuro de su disciplina.

Al mismo tiempo, soy optimista. Este último semestre, completé un seminario centrado en Los Siete Pecados Capitales de la Psicología de Chris Chambers y discutí dilemas metodológicos, estadísticos y éticos en la investigación psicológica. Aprendí acerca de los movimientos emergentes hacia la ciencia abierta que, en una miríada de formas, intenta sacar a la ciencia psicológica de las sombras de los laboratorios de investigación patentados (donde las hipótesis originales, narración de historias post hoc, prácticas, decisiones estadísticas y un conjunto completo de métodos se guardan a puertas cerradas, conocidas solo en ese laboratorio) y en la luz del día (donde todos pueden ver, y, crucialmente, examinar en busca de errores y sesgos, e intentar replicar usando métodos cercanos al estudio original). Una de esas prácticas es el prerregistro. La preinscripción implica que los investigadores preparen un documento escrito que identifique sus hipótesis originales y los análisis planificados; es importante porque el prerregistro hace que el conjunto completo de prácticas sea mucho más transparente y, a veces, disponible públicamente. Hace transparentes exactamente qué hipótesis se probaron a priori, y cuáles fueron exploratorias, lo que permite a los consumidores de esa investigación (incluidos otros científicos) tener una mejor idea de cuáles son los hallazgos más creíbles y cuáles son más vacilantes.

P-Hacking: La búsqueda de “Importancia estadística”

Aprendí que nosotros, como individuos y como campo, podemos abordar cuestiones apremiantes que amenazan la validez científica al revisar las formas normativas de realizar investigaciones. Aquí, me gustaría compartir mi punto de vista sobre un tema que se discutió extensamente en mi seminario: el concepto de “p-hacking”.

Fuente: Lee Jussim

Para lectores legos: la “p” en valor p significa probabilidad, y uno debajo de .05 se conoce típicamente como “estadísticamente significativo”. Los valores P generalmente se obtienen cuando los investigadores comparan condiciones experimentales o calculan correlaciones. Sin entrar en demasiados detalles, si se cumplen todos los tipos de suposiciones, un valor p es la probabilidad de encontrar una diferencia o correlación observada (o una aún mayor) por azar, si realmente (en el mundo más amplio) es sin diferencia o sin correlación.

Los valores P por debajo de .05 a menudo se toman como “eureka, ¡mis resultados son reales!” Porque a menudo se creía erróneamente que significaba “mis resultados son sistemáticos y válidos, ¡no se deben a la casualidad!” (No significa cualquiera de estas cosas, pero ese es un blog para otro día). Lo que es importante, sin embargo, es que hasta hace muy poco, era casi imposible para los psicólogos publicar sus hallazgos sin un p <.05, es decir, un resultado "estadísticamente significativo". Y, por supuesto, en el mundo de la ciencia académica, es "publicar o perecer", lo que significa que los investigadores de psicología están muy incentivados a "alcanzar" la significación estadística, lo que algunos hacen por cualquier medio posible. Algunos de esos medios son científicamente sólidos, como la obtención de muestras muy grandes; esto "funciona" porque las muestras grandes tienen más "poder" estadístico y, por lo tanto, es más probable que produzcan hallazgos significativos. Pero algunos medios no son tan sólidos.

Lo que nos lleva a p-hackear. Imagine que está realizando un estudio para evaluar el efecto del modo de lectura de libros de texto sobre el rendimiento académico. Seleccionas estudiantes de una clase de introducción a la psicología, haces que tomen un examen y luego los clasifican aleatoriamente en dos grupos. Usted instruye al primer grupo de estudiantes para que lea todos los capítulos de libros de texto próximos a través del libro de texto impreso y el segundo grupo para que los lea a través del libro de texto en línea. Prueba una hipótesis clara: los lectores de libros de texto en línea mostrarán mayores mejoras en el rendimiento en el transcurso de un mes.

Después del examen de seguimiento, analiza los datos. ¡No hubo una diferencia significativa en el cambio de rendimiento entre los dos grupos! “Maldición”, piensas: “Esa no puede ser la historia”. Tal vez leer un libro de texto en línea solo beneficie a los estudiantes que obtuvieron un puntaje inferior al promedio del 80% en el examen de referencia. “Así que vuelve a ejecutar los análisis, esta vez excluyendo a todos los estudiantes que obtuvieron un puntaje del 80% o más al inicio del estudio. : un valor p de .04. Usted escribe esto y concluye que los estudiantes con un rendimiento inferior al promedio que leen libros de texto en línea muestran mayores mejoras académicas y envían su manuscrito para su revisión.

Parece que hiciste que tu estudio funcionara, pero solo con la ayuda de p-hacking. Coloquialmente, se puede pensar que p-hacking “cocina los datos” o “tortura los datos hasta que confiesan” – no es un fraude, en el sentido de que los investigadores no están inventando datos, sino que realizan tantos análisis diferentes sobre la datos que, casi inevitablemente, algo cruzarán el umbral de .05 a “significación estadística”. Cuando el hackeo p es común, en todo un cuerpo de literatura científica, las líneas entre los fenómenos establecidos y el mero ruido estadístico pueden volverse completamente borrosas.

Como campo, necesitamos formas creativas para involucrar a una generación emergente de académicos en conversaciones actuales sobre replicabilidad científica. Se están realizando esfuerzos para hacer que la investigación psicológica sea más transparente, de modo que los problemas y errores puedan identificarse más fácilmente y, por lo tanto, hacer que sus hallazgos sean más reproducibles. Como ahora vemos a los psicólogos celebrando las réplicas directas prerregistradas de los laboratorios independientes sobre sus estudios en las redes sociales, tenemos mucho que ganar enseñando a los estudiosos del mañana sobre los beneficios de una metodología abierta y sólida.

Combinando mi propia participación en la investigación con mi pasión por el hip-hop, escribí un rap sobre p-hacking.

Disfrutar.

El Rap P-Hack

Intentando publicar en revistas

Eso tiene un alto impacto

Pero bastante a menudo, de hecho

Los métodos están lejos de estar intactos

Con un p-hack vemos que

Carecemos de las pruebas a priori adecuadas

Pero en un sistema donde la novedad

Es visto como lo mejor

La validez vuela por la puerta

Como probamos moderadores y más

Perder de vista la realidad

Temiendo un arranque a través de la puerta

Temiendo ser esa persona

Quién tiene un bajo índice H

Porque sus análisis fueron limpios

Con estadísticas morales como Windex

Atascado produciendo resultados nulos

No se adhiere a la encuadernación

Condiciones que definen

Cualquier hipótesis en cualquier momento

Tal vez eliminar este valor atípico

Solo uno, solo para probarlo

Y sin saberlo sucumbir

Para limitar el sesgo de confirmación

O uno puede comenzar a formular hipótesis

Después de conocer los resultados

Solo para hacer un reclamo novedoso

Eso en realidad es exagerado

Como un pescador en el mar

Uno puede carrete para falsos positivos

Descubre un nuevo descubrimiento

Cuando en realidad es lo opuesto

Buscando datos como si fuera una mina de oro

Intentando ganar un buen mérito

Necesita una p menos de .05

Porque es publicar o perecer

Juntos podemos revisar

Normas y sistemas convencionales

Como campo podemos elevarnos

Hacia la sabiduría metodológica

Necesitamos una mayor transparencia

Para vencer esta crisis de replicación

Para superar los sesgos que surgen

Cuando lo dejamos a nuestros propios dispositivos opacos

La revisión comienza con nuevas visiones

Eso enciende nuevas igniciones

El pre registro revelará

Todas esas decisiones post hoc

—————————

Si disfrutaste esto, también puedes disfrutar este poema:

Venganza de Estudiantes de Posgrado

Lee Jussim tuitea como PsychRabble, y puede seguirlo aquí: https://twitter.com/PsychRabble, donde aborda temas de reforma científica, diversidad, prejuicios, estereotipos, discriminación y psicología política.