Hace nueve años, me pidieron que comenzara a escribir un blog para Psychology Today. Lo hice durante unos seis meses mientras era un padre que se quedaba en casa con mi hija. Luego, volví a trabajar a tiempo completo y los blogs no parecían importantes. Ocasionalmente escribía algo, pero para el primer aniversario, lo había abandonado. Hace unas semanas, me pidieron que reiniciara el blog y acepté a regañadientes.
La renuencia tiene que ver con 1) Renuncio a todas las redes sociales, por lo que dudo que alguien lea esto, ciertamente no lo anunciaré. Y 2) Cuando inicialmente comencé el blog, Psychology Today dijo que me compensarían según el número de lectores. Tuve algunos lectores y corrí los números, y me di cuenta de que me debían unos 70 centavos. Todavía estoy esperando mi cheque.
Superé el # 1 porque algunas de las cosas que quiero decir en este (nuevo) blog son cosas en las que solo quiero pensar y escribir, así que realmente no importa si alguien lo lee, y escribí # 2 solo para que pueda hacer referencia al niño en Better off Dead que quiere sus dos dólares.
Así que estoy de vuelta.
Una de las cosas que sucedieron entre entonces y ahora es que me convertí en editor. Fui nombrado Editor Asociado para Psicología del Desarrollo , que es un puesto que ocupé durante los últimos 8 años (finalizo oficialmente al final de este año calendario, pero seguiré manejando los documentos pendientes que hayan recibido R & R hasta 2019 ). Fui editor asociado de Frontiers in Developmental Psychology durante 3 años y fui miembro del comité editorial de American Psychologist durante algunos años. También edité un libro sobre el desarrollo cognitivo en museos para niños (con mi maravillosa coeditor, Jennifer Jipson) y ahora estoy escribiendo un nuevo libro.
Esto es lo que aprendí, la edición es difícil. Eres un portero Pasas mucho tiempo trabajando en responsabilidades de edición, a menudo por una pequeña recompensa. Una vez calculé el estipendio que recibí de APA para mis tareas de edición en base a una estimación de la cantidad de horas que trabajé; Fue alrededor del salario mínimo. Enloquece a mucha gente y rara vez la gente está contenta: incluso cuando se aceptan los artículos, a los autores generalmente no les gustas porque haces que revisen sus presentaciones originales, a veces más de una vez. Y, nunca termina, los manuscritos siguen llegando. No importa cuántas cartas de acción escribo, parece que los nuevos manuscritos llegan al mismo ritmo. Siempre siente que hay un peso que lo presiona para manejar el próximo manuscrito: en parte es responsable de las carreras de los demás.
Pero no estoy aquí para quejarme (bueno, lo estoy, pero no sobre esto). De lo que realmente quiero hablar es de la crisis de replicación. Todos sabemos lo que es esto: muchos estudios psicológicos publicados no se replican. Existen numerosos proyectos que intentan replicar estudios. Algunos tienen más principios que otros y otros tienen más sentido que otros. Algunos se preocupan solo por lo que se replica (y, por lo tanto, deben considerarse “ciencia”), mientras que otros se preocupan por la razón por la cual un estudio particular se replica o no (lo que francamente es mucho más científico en su naturaleza). Tengo muchos pensamientos sobre esto, que veré en otras publicaciones, pero hoy quiero hablar sobre algo que creo que contribuye al proceso, pero que no se menciona con tanta frecuencia.
La psicología – cualquier ciencia en realidad – es un campo pequeño. Todos nos conocemos. Y somos en su mayoría amigos. En psicología del desarrollo, hay personas que me gustan y hay personas que no conozco bien, pero no hay muchas personas que no me gusten activamente (excepto usted, Revisor 2 del primer artículo que envié a una revista en 1997 , quien dijo que el papel era tan malo que no debería ser un científico, sé quién eres y no me gustas. Pero se supone que la revisión es neutral. Cuando envío un manuscrito para su revisión, me estoy esforzando por asegurar que las revisiones sean imparciales, que no haya relaciones personales entre los autores y los revisores y que no haya conflictos de interés que impidan la objetividad.
Las agencias de financiamiento (al menos en los EE. UU. Y otros países) requieren que piense si tiene un conflicto de intereses con el solicitante. No debe revisar una propuesta de subvención de alguien con quien tenga un conflicto de intereses. Está sesgado. No debe revisar la beca de su antiguo estudiante graduado o su antiguo mentor, o de las personas que han sido coautores en el pasado reciente: a usted le gusta esta gente y podría considerar su trabajo favorablemente. No debe revisar la concesión de sus amigos cercanos, o amantes (o ex amantes), o socios (o ex socios), o colaboradores. Una vez, un oficial de programas de NSF me describió esto como la “prueba de pijamas”; básicamente, si has visto a la persona con sus pijamas, no deberías revisar su propuesta. Más allá de lo obvio, una forma de pensar acerca de esto es la siguiente: suponga que termina en una ciudad extraña: si puede llamar a la persona y hacer arreglos para quedarse en su casa, no debería revisar su subsidio.
Entonces, por qué es importante. La guía de estilo de APA habla sobre esto en detalle: “En general, no se debe revisar un manuscrito de un colega o colaborador, un amigo personal cercano o un estudiante reciente. Típicamente, el editor de acciones no seleccionará individuos para que sean revisores, ya que esto puede ser evidente que puede existir un conflicto de intereses ”. (Págs. 17-18) Pero no conozco una revista que requiera que los autores revelen sus conflictos de intereses. Y, lo que es peor, muchas revistas lo alientan a sugerir revisores potenciales. ¿Qué es lo que impide que alguien juegue con el sistema aquí?
Como editor de acción, a menudo he visto autores que piden colaboradores para revisar sus manuscritos. He visto autores (por lo general profesores asistentes recientes) que piden a sus asesores que revisen su manuscrito. He visto autores (usualmente profesores titulares) que piden a sus estudiantes que revisen sus manuscritos. Por lo general, esto es fácil de atrapar, y usted simplemente niega la solicitud. Pero a veces no lo es. A veces un editor de acción no lo sabe, y esto se desliza a través.
Este es el peor de los casos en que me encontré: me pidieron que corrigiera un documento escrito por un estudiante graduado y un mentor. El mentor era un miembro de la facultad con experiencia en publicaciones. El manuscrito estaba lo suficientemente cerca en mi área para poder evaluarlo, pero lo suficientemente lejos de mi área como para no conocer a muchos de los investigadores en ese subcampo. Le pregunté a 5-6 personas. Algunos eran de la lista de solicitudes de los autores (que era bastante larga), algunos fueron generados por mí. Después de una semana de enviar solicitudes, no tengo a nadie.
Entonces, volví, leí el manuscrito otra vez, pregunté a algunas personas más. Nuevamente, algunos eran de la lista de solicitudes de los autores y otros fueron generados por mí. La persona a la que pregunté en la lista de solicitudes de los autores era un postdoctorado. No sabía el postdoctorado, pero antes había preguntado al mentor del postdoctorado (que había dicho que no), así que pensé que estaría bien. El postdoctorado dijo que sí (al igual que algunas otras personas, así que ahora tenía muchos críticos).
Esperé y llegaron las críticas. Dos rechazos, una revisión pesimista y reenvío, y una aceptación. La aceptación fue del postdoc. Mi opinión fue bastante negativa, así que empecé a escribir una carta de rechazo. Pero la brillante reseña realmente se quedó conmigo, ¿me estaba perdiendo algo? ¿Esta persona sabía algo que otros no sabían? ¿Publicó esta persona más en esta área? Entonces, miré el CV del postdoctorado.
OK, tiempo completo de divulgación. Debería haber hecho esto antes de preguntar al postdoctorado. Debería haber leído el CV cuidadosamente. Este es mi error.
Resulta que el postdoctorado se graduó recientemente del mismo programa de posgrado. Y después de una pequeña excavación, descubrí que el postdoctorado y el autor de los estudiantes graduados eran amigos íntimos. El autor principal en el documento estaba en el Ph.D. comisión de postdoc.
Escribí una carta de rechazo. El autor principal entonces apeló. Las apelaciones de rechazos ocurren en la publicación, esto me sucedió una vez cada 18 meses aproximadamente, alguien que fue rechazado pediría la oportunidad de volver a enviar. Por lo general, estoy feliz de decir que sí a estas solicitudes. Esta fue la primera vez que rechacé una apelación.
Hay dos soluciones obvias aquí. La primera es no permitir que los autores sugieran revisores. El segundo es que todos los editores de acciones ignoren estas sugerencias. El primero podría ser un cambio demasiado grande para la gente; El segundo parece duplicado. Por lo tanto, aquí está mi solución: si usted es un autor del manuscrito y envía ese manuscrito para su publicación, se le debe solicitar que declare que no tiene conflicto de intereses con ningún revisor que recomiende. Además, la definición de “conflicto de intereses” debe ser articulada por la revista. Personalmente, me gustan las definiciones de la NSF, pero reconozco que esta es una cuestión de gustos. Las revistas (en realidad, las editoriales) pueden instituir esta solución con poco costo.
Por cierto, no piense que este es un problema que puede resolverse simplemente con el acceso abierto. Las revistas de acceso abierto tienen exactamente el mismo problema. Los editores a menudo no conocen los conflictos de interés de los revisores, y los revisores pueden saber quién es el autor para identificar el conflicto. Dicho esto, tanto como no me gustaron mis experiencias con la publicación de acceso abierto (sobre las que escribiré en las entradas posteriores, lo prometo), lo único que me gustó de mi experiencia como editor de Frontiers fue que los revisores y los editores fueron Se requiere firmar su nombre. Es un buen control del sistema por una variedad de razones.
Quizás más revistas deban requerir esto. De esa manera, incluso si el editor de acciones no puede detectar un conflicto de intereses durante el estado de revisión, podría detectarse después de que se acepte el manuscrito y se haga una nota. En el maravilloso libro de Métodos de investigación del desarrollo de Scott Miller, distingue entre sesgo de experimentador “no intencional” e “intencional”, casos en los que los experimentos pueden afectar intencionalmente o no a los resultados de sus experimentos (consulte la página 106 de la edición de 2018).
Lo que sugiero aquí sería una forma de identificar sesgos de publicación no intencionales, lo que podría contribuir a la crisis de replicación. Los autores recomiendan a los revisores a quienes les gusten, no a quienes arbitren objetivamente su ciencia. Si bien no tengo pruebas de que alguien haya actuado de manera poco ética en mi historia, me pregunto con qué frecuencia los autores sugieren personas que podrían no ser lo más objetivas posible.
Señalo todo esto para no decir que la ciencia debería abandonarse o que la crisis de replicación apunta a un problema mayor con la psicología como ciencia. Más bien, lo señalo para indicar que podemos hacerlo mejor. Pero de eso se trata el método científico: descubrir las formas en que nos equivocamos para acercarnos a lo que es correcto. Si la ética es parte de la ciencia, entonces tener científicos que piensen sobre la ética podría ayudar con su ciencia.
