Psicología de la Integridad Científica: Programa de Graduados

LA PSICOLOGÍA DE LA INTEGRIDAD CIENTÍFICA: EL PROGRAMA GRADUADO

Lecturas requeridas

NOTA: Todas las lecturas a continuación son enlaces, por lo que si está interesado, puede leer la mayoría de los artículos en el original. Ocasionalmente, debido a problemas de copyright de la revista, solo puede ver el resumen; o bien, puede necesitar una suscripción a un medio de noticias convencional. En la mayoría de los casos, sin embargo, si está afiliado a una universidad, puede acceder a la fuente a través de su sistema de biblioteca.

PARTE I: INTRODUCCIÓN

• Vinculación social y adicción
• ¿Es posible controlar en exceso tu ira?
• ¡La asistencia es importante!
• 5 consejos para niños adultos de narcisistas
• Actualizaciones recientes en la detección adecuada de TDAH

¿Cuál es el problema?

Fuente: Mago Will Fern **

Freedman (noviembre de 2010). Mentiras, malditas mentiras y ciencia médica. El Atlántico.

Neuroskeptic (2012). Los nueve círculos del infierno científico.

• ¿No durmiendo?
• Guía de supervivencia de Nochevieja para el corazón roto
• Conocimiento falso o no saber: ¿Qué es peor?
• 10 minutos para más serenidad con este reconfortante ritual
• Las emociones de otras personas y tu

Lehrer, J. (13 de diciembre de 2010). La verdad desaparece. El neoyorquino.

¿Qué se supone que es la ciencia?

https://en.wikipedia.org/wiki/Science

https://en.wikipedia.org/wiki/Scientific_method

https://en.wikipedia.org/wiki/Data_sharing

PARTE II: REPLICACIÓN Y SUS DESCONTENTOS

¿Es irrevechable la "ciencia" psicológica?

OSF (2015). Estimar la reproducibilidad de la ciencia psicológica. Science, 349, doi: 10.1126 / science.aac4716.

Jussim (2012). Unicornios de la psicología social. Psych Today .

Jussim (2012). Unicorns psicológicos sociales: ¿Las réplicas fallidas disipan los mitos científicos? Psych Today.

Henrich y otros (2010). ¿Las personas más raras del mundo? Behavioral and Brain Sciences, 33, 61-135.

Funder (2012). La difícil situación del no replicador. Tormentas de fuego.

Dreber y otros (2015). Usar los mercados de predicción para estimar la reproducibilidad de la investigación científica. PNAS, 112, 15343-15347.

¿Somos sociópatas, incompetentes o ambos?

Simmons et al (2011). Psicología falsamente positiva: la flexibilidad no divulgada en la recopilación y análisis de datos permite presentar cualquier cosa como significativa. P sychological Science, 22, 1359-1366.

Fuente: Lee Jussim. ¿Me llamas sociópata?

Johns et al. (2012). Medir la prevalencia de prácticas de investigación cuestionables con incentivos para contar la verdad. Psychological Science, 23 , 524-532.

Schimmack, U. (2012). El efecto irónico de los resultados significativos sobre la credibilidad de múltiples artículos de estudio. Psychological Methods, 17, 551-566.

Vul y otros (2009). Correlaciones increíblemente altas en estudios fMRI de emoción, personalidad y cognición social. Perspectives on Psychological Science, 4 , 274-290.

Wicherts et al (2011). La voluntad de proporcionar datos está relacionada con la solidez de la evidencia y la calidad de los informes de resultados estadísticos. PLoS One, 6 (11 ): e26828. doi: 10.1371 / journal.pone.0026828

Espera: soy un científico, todo está bien

Gilbert y otros (2016). Comente sobre "Estimar la reproducibilidad de la ciencia psicológica". Science, 351, 1037.

Fuente: Lee Jussim. El hecho de que estoy en la nieve, a 11.500 pies de altura, en una remota montaña de Colorado, no significa que no todo esté bien.

Fiedler, K., y Schwartz, N. (2015). Prácticas de investigación cuestionables revisadas. Social Psychological and Personality Science, 7, 45-52.

Entre el pánico y la complacencia …

Jussim (2016). ¿La mayoría publica hallazgos de psicología social falsos? Psych Today.

Inzlicht (2016). Contar con el pasado. Mejorando.

Simonsohn (2016). Evaluación de las repeticiones: el 40% de su capacidad no está 60% vacía. Data Colada.

Parte III: MÁS ALLÁ DE LA REPLICACIÓN

La ciencia es autocorrectante, ¿verdad?

Ioannidis, J. (2012). Por qué la ciencia no necesariamente se autocorrige. Perspectives on Psychological Science, 7, 645-654.

Jussim, L. (2015). Autocorrección científica lenta e inexistente en psicología. Psych Today.

Jussim (2016). ¿Es ofensivo declarar un reclamo psicológico incorrecto? Psych Today

Orenstein (25 de abril de 2013). Nuestra guerra para sentirse bien sobre el cáncer de mama. Los Tiempos de la Ciudad Nueva York.

NYTimes (2013). La cirugía común de rodilla hace muy poco para algunos

Loeb, A. (2014). Beneficios de la diversidad Nature Physics, 617-617.

O'Boyle y otros (2014). El efecto de la crisálida: cómo los resultados iniciales feos se metamorfosean en hermosos artículos. Journal of Management, 19 .

Forasteros por diseño, podcast de Freakonomics.

Por lo menos, las estadísticas son rigurosas, claras y objetivas, ¿verdad?

Gelman y Loken (2014). La crisis estadística en la ciencia. Científico estadounidense.

Fuente: Lee Jussim. Eso no es un cohete, es una cafetera francesa de prensa. Su diseño y presencia en un desierto de Utah son extraordinariamente poco probables estadísticamente.

Fraley & Vazire (2014). El factor N-Pact: Evaluación de la calidad de las revistas empíricas con respecto al tamaño de la muestra y la potencia estadística. PLoS One, 9: e109019. doi: 10.1371 / journal.pone.0109019.

Nuzzo (2014). Método científico: errores estadísticos. Nature , 506 , 150-152.

Westfall y otros (2014). Poder estadístico y diseño óptimo en experimentos en los que muestras de participantes responden a muestras de estímulos. Revista de Psicología Experimental: General, 143, 2020-2045.

Cómo contar el hecho científico de la ficción: curvar con P y otros métodos

Masciampo y Lalande (2012). Una prevalencia peculiar de p-values ​​justo por debajo de .05. Quarterly Journal of Experimental Psychology, 65 , 2271-2279.

Simonsohn y otros (2014). Curva P: una clave para el archivador. Revista de Psicología Experimental: General, 143, 534-547.

Simonsohn y otros (2014). Curva P y tamaño del efecto: corrige el sesgo de publicación utilizando solo resultados significativos. Perspectives on Psychological Science, 9, 666-681.

Franco y otros (2014). Sesgo de publicación en las ciencias sociales: Desbloqueo del archivador. Science, 345, 1502-1505.

Simmons et al (2012). Una solución de 21 palabras. Diálogos.

Bakker y otros (2012). Las reglas del juego llamadas ciencia psicológica. Perspectives on Psychological Science, 7 , 543-554.

El problema de la interpretación: malas conclusiones basadas en buenos datos

Fuente: Shihong Khor

Vazire (2014). El de mente simple y el atolondrado.   A veces estoy equivocado.

Abramowitz y otros (1975). Publicar o politico: parcialidad de los árbitros en la revisión de manuscritos. Revista de Psicología Social Aplicada, 5, 187-200.

Eagly, A. (1995). La ciencia y la política de comparar hombres y mujeres. American Psychologist, 50, 145-158.

Inbar y Lammers (2012). Diversidad política en la psicología social y de la personalidad. Perspectives on Psychological Science, 7, 496-503.

Jussim (en prensa). Précis de percepción social y realidad social: por qué la precisión domina el prejuicio y la profecía autocumplida. Conducta y Ciencias del cerebro.

Jussim, Crawford, Stevens y Anglin (2016). La política de la ciencia psicológica social: Distorsiones en la psicología social de las relaciones intergrupales. En P. Valdesolo y J. Graham (eds), Psicología Social de la Polarización Política.

Steele y Aronson (1995). Amenaza de estereotipo y el desempeño de los afroamericanos. Revista de Personalidad y Psicología Social, 69, 797-811. – presentado como un estudio de caso sobre cómo malinterpretar los datos

Jussim (2016). ¿Qué explica las brechas demográficas? Psych Today.

—–

Esta entrada, como la anterior, se inspiró en esta publicación de blog de Sanjay Srinivasta. Sanjay ha estado a la vanguardia del mejoramiento de la ciencia psicológica, y su publicación fue un falso programa para un curso titulado Everything is F **** d: The Syllabus. Sanjay define las prácticas científicas como f ***** d cuando presentan "… desafíos conceptuales difíciles a los que las soluciones implementables del mundo real para los científicos que trabajan no están disponibles o se ignoran rutinariamente en la práctica".

Semana tras semana, el falso curso de Sanjay presenta lecturas que argumentan que algún aspecto de lo que damos por sentado como ciencia "buena" en psicología es f ***** d. Esto incluye experimentos, revisiones, estadísticas, metanálisis, replicación y más.

Lo que pasa es que he impartido dos cursos reales básicamente sobre el mismo tema desde 2014. El que presentamos aquí es mi curso de posgrado. Mi publicación anterior, de mi programa de pregrado, es más bien una buena descripción general para el lector lego interesado, ya sea con una educación universitaria básica o que es ampliamente leído y razonablemente numerado (en realidad no necesita una educación universitaria para ninguno de los dos).

El curso de posgrado, sin embargo, tiene algunas fuentes generales, pero muchas lecturas técnicas. Nada santo sobre ellos, pero ellos son los que he asignado. Enseñé este curso en la primavera de 2015 y, desde entonces, he descubierto todo tipo de fuentes interesantes (todo un cubo en el sitio de Sanjay). Muchos probablemente se incorporarán en la próxima vez que enseño el curso.

Visión de conjunto

Esta clase de métodos de posgrado se centrará en los cambios en rápida evolución en la comprensión de lo que constituye mejores prácticas en la realización de la investigación científica. Por "investigación científica" me refiero a todos los aspectos de las prácticas involucradas en la producción de conocimiento científico.

Utilizo el término "integridad científica" para referirme a dos ideas relacionadas pero separadas: 1. La honestidad personal de los científicos individuales en la realización y el informe de su investigación; y 2. Desarrollar cuerpos robustos de conclusiones que sean válidos y sin problemas. Obviamente, las prácticas deshonestas o engañosas pueden perjudicar la ciencia. Mientras que la deshonestidad personal puede explicar problemas como el fraude de datos, estos casos son extremadamente raros, y no son el objetivo de este curso.

Es el segundo significado del término integridad científica que será el enfoque de este curso.

Incluso cuando los investigadores no carecen de falta de integridad personal, las prácticas convencionales comunes en su campo pueden producir resultados que son engañosos o no válidos. En este sentido, la integridad científica se corresponde estrechamente con la comprensión convencional del término "validez", aunque el enfoque de este curso difiere de la revisión tradicional de los tipos de validez (cara, interna, externa, ecológica, etc., tales formas, presumiblemente, son cubierto por nuestro curso de métodos regulares)

La ciencia se trata de "hacerlo bien" (SPSP Task Force, ver las lecturas de la primera semana). Se trata de generar afirmaciones y conclusiones que son verdaderas. Esto incluye: 1. La generación de nuevos conocimientos válidos; y 2. Desarrollo de las herramientas necesarias para determinar, a partir de los hallazgos de investigación existentes, qué conclusiones son verdaderas y cuáles no.

El hecho de que un reclamo sea publicado no lo convierte en "verdadero". Una vez que se reconoce esto, surge la pregunta natural: "¿Cómo podemos distinguir lo verdadero de lo que no es cierto?". Ese es un trabajo para nuevos métodos y estadísticas, nuevo usos de métodos y estadísticas antiguos, y herramientas conceptuales para determinar cómo identificar errores sistemáticos y sesgos dentro de una literatura científica.

Una breve pero importante tangente

Muchos psicólogos sociales se niegan a declarar que algunas afirmaciones son "incorrectas". Esto parece ocurrir porque a menudo se percibe como un ataque personal contra el reclamante para declarar que algún reclamo científico es "incorrecto". Véase ¿Es ofensivo declarar un reclamo psicológico erróneo? ? para más detalles sobre esto.

No obstante, este curso enfatizará el papel de la falsificación popperiana en la creación y evaluación del conocimiento científico. En este contexto, el único camino a seguir implica la identificación y las formas en que los datos falsifican afirmaciones científicas. Además, hacerlo bien, inherentemente incluye las habilidades para reconocer cuándo nos hemos equivocado. Considere lo siguiente, de Richard Alpert, el ex presidente de la Academia Nacional de Ciencias (citado en The Economist, 2013):

"Y los propios científicos necesitan desarrollar un sistema de valores donde simplemente pasar de los errores de uno sin reconocer públicamente los daños severos, en lugar de proteger, una reputación científica".

Por lo tanto, el desarrollo de las herramientas científicas, académicas, intelectuales y metodológicas para determinar inferencias científicas verdaderas y falsas, afirmaciones y conclusiones será un enfoque central de este curso.

Objetivos del curso

Este curso tiene tres objetivos principales: 1. Comprender las fuentes y manifestaciones de prácticas subóptimas en la investigación científica (resultados irreproducibles, estudios irrefutables, datos no obtenibles, análisis estadísticos inválidos o no articulados y procedimientos metodológicos, conclusiones engañosas o exageradas, etc.), 2. Revisar los intentos de reforma actualmente en curso, y evaluar críticamente a qué amenazas a la integridad científica parecen apuntar, qué tan exitosos son, cómo evaluar empíricamente su éxito e identificar qué amenazas a la integridad científica es poco probable que aborden ; y 3. Proporcionar una introducción a las herramientas conceptuales y empíricas actualmente disponibles para determinar cómo descubrir qué reclamos existentes emergen de los cuales los cuerpos de evidencia existentes son válidos.

Estructura de clase

La mayoría de las clases implicarán la discusión de las lecturas de esa semana (ver Calificación, a continuación). Sin embargo, cuando nuevas técnicas metodológicas o estadísticas (p. Ej., Pruebas de exceso de significación, gráficos en embudo, p-curving, indexación de incredulidad, evaluación del factor N-Pact, intervalos de confianza [no son nuevos en el gran esquema de las cosas, sino nuevos y tal vez , que no son familiares para muchos estudiantes], puedo dar conferencias para parte o la totalidad de una clase.

Grading

Líder en la discusión: 20%

Habrá varias lecturas asignadas cada semana. Se requerirá 1-2 estudiantes para: 1. Generar una serie de preguntas de discusión; 2. Circularlos al menos 3 días antes de la clase; 3. Iniciar, liderar y enfocar la discusión de las lecturas de esa semana.

Participación: 20%

Al igual que todas mis otras clases, excepto 522 (clase de segundo grado de estadística), la participación es una parte requerida e integral de la clase.

Resúmenes: 10%

Principalmente para asegurar que generalmente lean los artículos requeridos, se les pedirá que proporcionen un breve resumen de cada artículo.

Papel importante: 50%

El documento principal incluirá el uso de una de las nuevas técnicas para evaluar la validez de la investigación (por ejemplo, proporcionar un gráfico en embudo o una curva en p con respecto a los estudios en un metanálisis); utilizando una técnica simple para evaluar la calidad de la investigación (por ejemplo, errores o aspectos incompletos en áreas de investigación), y / o obteniendo datos de una fuente publicada y evaluando si los resultados pueden ser reproducidos (nota: uso el término "reproducir" para referirme a la respuesta a la pregunta: después de obtener los datos publicados, si uno hace el análisis exacto que describen los autores, ¿se obtiene exactamente el mismo resultado?).

** Algunos podrían argumentar que, al contrario de lo que pasa con la psicología "científica", al menos el mago Will Fern admite que crea ilusiones.