Por Scott C. Marley
El tema presidencial de la División 15 de este año es "Impacto de la educación en Prekínder a Grey", lo que significa que nuestro campo desea tener un impacto positivo en todas las poblaciones de alumnos. Una forma clara de impactar la educación con todas las poblaciones es abordar los problemas que se han identificado en la literatura como la "crisis de replicación". La belleza de la crisis de replicación es que brinda amplias oportunidades para un crecimiento significativo en el campo de la psicología educativa. Mi posición es que los educadores a menudo no responden a la implementación de prácticas basadas en la evidencia debido a consideraciones de credibilidad asociadas con la replicabilidad y el tema relacionado de generalización. Existen enfoques sistemáticos para abordar estas dos consideraciones que a menudo son ignoradas por los productores y consumidores de la investigación educativa. Pero primero, proporciono un ejemplo concreto de mis días de maestro de escuela que ilustra los desafíos de credibilidad que enfrenta la psicología educativa si, como campo, va a ser relevante para los líderes educativos de "Pre-K a Grey". Luego, proporciono una explicación de por qué "se necesita más investigación", pero, lo que es más importante, sugiero que lo que se necesita es una investigación más creíble en unidades, tratamientos, resultados y entornos.
Al principio de mi carrera, era un maestro de cuarto grado en una reserva rural de indios americanos. Los niños de la comunidad eran predominantemente aprendices de un segundo idioma de hogares de bajo nivel socioeconómico. Las escuelas del distrito se identificaron como de bajo rendimiento o deficientes y, en respuesta, se requirió que las escuelas actuaran adoptando "prácticas basadas en la evidencia". Aunque soy un defensor de los educadores que usan evidencia científica para tomar decisiones, lo considero importante para que los productores y consumidores reconozcan las limitaciones de la literatura sobre prácticas basadas en la evidencia (para una discusión relevante, véase Marley & Levin, 2011). Sin una comprensión sólida de estas limitaciones, es probable que uno sea víctima de dos formas de "ilusión" que pueden dar como resultado un optimismo injustificado en la efectividad de las intervenciones educativas.
La primera forma de ilusión es la creencia de que una intervención puede resolver problemas educativos muy complejos con todas las poblaciones. Esta creencia coincide con la idea de que una intervención puede demostrar ser efectiva en lugar de ser respaldada por la evidencia que sugiere la efectividad de una intervención. La prueba asume un conocimiento perfecto de la efectividad de la intervención mientras que un enfoque en la mejor evidencia reconoce que el conocimiento es siempre incompleto y está sujeto a cambios (para una discusión relevante ver, Guba y Lincoln, 1994). La segunda forma de ilusión es la creencia de que un resultado es el resultado de una única causa cognoscible (p. Ej., "El bajo rendimiento de lectura se debe a <insértese el sabor menos favorito> instrucción"). De acuerdo con los pensadores ilusos, todo lo que uno tiene que hacer es encontrar la bala mágica, atacar la causa única con ella y el problema está resuelto. ¡Es así de simple! ¡Deberíamos hacerlo ahora! ¿Por qué no empezamos? Pero las soluciones a los problemas educativos casi nunca son obvias o fáciles.
Es probable que haya muchas razones por las cuales los educadores son escépticos sobre el valor de la investigación educativa, algunos de los cuales los psicólogos educativos pueden abordar. Una posible explicación que puede abordarse es que los educadores pueden reconocer informalmente que la investigación educativa tiene problemas de credibilidad (Hsieh et al., 2005). Por ejemplo, después de ser designado "de bajo rendimiento", mi escuela de reservas fue remediada por los llamados expertos que nunca habían enseñado en una reserva rural. Su principal recomendación fue que la escuela adoptara una intervención basada en la evidencia. En ese momento, tuve la sensación de que el contexto en el que se habían reunido las pruebas que respaldaban la intervención propuesta difería sustancialmente del contexto en el que estaba enseñando. En otras palabras, la generalización de la intervención basada en la evidencia era cuestionable. La generalización de los hallazgos de la investigación, junto con el tema relacionado de la replicabilidad, bien podría ser la razón por la cual "se necesita más investigación" en contextos específicos ahora más que nunca. Sin embargo, agreguemos a esta frase común que se encuentra al final de los documentos empíricos para que diga "se necesita investigación más creíble ". La replicación y la generalización son dos indicadores de credibilidad (para más información sobre otros indicadores de credibilidad importantes, véase Levin, 1994, 2004) que necesitan más atención antes de que los investigadores educativos, consultores y otros se vuelvan demasiado torpes con sus recomendaciones educativas.
El primer indicador de credibilidad antes de hacer recomendaciones educativas es que los hallazgos deben ser replicados para determinar si un resultado particular es robusto o una anomalía (para una discusión detallada, ver Schmidt, 2009). Una preocupación es que las ciencias sociales pueden tener un sesgo de publicación asociado con la publicación de resultados positivos que son anomalías. La segunda preocupación es que las réplicas rara vez se publican en revistas de educación (Makel & Plucker, 2014). La falta de estudios de replicación a menudo se atribuye a editores de revistas, revisores y organismos de concesión que esperan novedades. De ser así, enfocarse en la novedad de los resultados podría promover estructuras de recompensa que minimicen el valor de los estudios de replicación (Koole y Lakens, 2012). La falta de estudios de replicación limita claramente cuán confiadamente podemos sacar conclusiones sobre la efectividad de un enfoque instruccional. Esta limitación no se menciona a menudo en las recomendaciones que acompañan a diversas prácticas basadas en la evidencia.
El segundo requisito es examinar cuidadosamente la generalización de los hallazgos para asegurar un alto grado de validez externa antes de hacer recomendaciones a los educadores (Shadish, Cook y Campbell, 2002). Se pueden expresar inquietudes con respecto a los estudios que examinan la efectividad de las intervenciones educativas usando muestras de estudiantes universitarios u otras muestras "únicas". Por "único" me refiero a muestras de participantes que recordaron devolver el formulario de consentimiento de los padres con una firma, participantes que aceptan completar encuestas u otras formas comparables en las que una muestra puede diferir de las poblaciones que existen en la naturaleza.
¿Cómo pueden los productores y consumidores de la investigación educativa abordar los desafíos asociados con la aplicación de los resultados de la investigación educativa? Como campo, podemos consultar los Estándares para Pruebas Educativas y Psicológicas (AERA, APA y NCME, 1999) para obtener orientación. Los estándares indican directamente a los productores y usuarios que deben conocer las condiciones en las cuales es más probable que surjan inferencias válidas de los puntajes de las pruebas. Varios de los estándares enfatizan que las poblaciones no son intercambiables y se espera que los productores y usuarios de pruebas examinen cómo se desempeñan los puntajes de los sujetos en un nuevo contexto. En otras palabras, se espera que las réplicas aseguren que los puntajes de las pruebas se interpreten adecuadamente en contextos que difieren sustancialmente del contexto inicial. Se justifica un enfoque similar con la investigación de intervención si la base de la literatura se debe considerar creíble hasta el punto de que los profesionales puedan tomar decisiones informadas. Se han propuesto varios marcos para mejorar la generalización de los resultados de la investigación. Un marco de este tipo sería incorporar las preocupaciones clásicas de generalizabilidad propuestas por Cronbach (Cronbach y Shapiro, 1982) para replicar y ampliar el modelo de investigación programática. Hacerlo le daría mucha credibilidad a la base de la literatura.
De acuerdo con el marco UTOS clásico de Cronbach, los exámenes de generalización pueden ocurrir a través de U nits, T reatments, O utcomes y S ettings. Cada uno de los componentes del marco proporciona un amplio espacio problemático para que los investigadores repliquen y amplíen los hallazgos de la investigación y para que los consumidores evalúen el grado de confianza que deberían tener en una intervención. Tal vez los editores de revistas, los revisores y las agencias de financiamiento tendrían más probabilidades de considerar la publicación y el financiamiento de estudios situados explícitamente dentro de un marco de UTOS ampliado y replicado y asignarían menos peso a la novedad de las ideas y los resultados iniciales. Si se produce una investigación creíble que afecte a todas las poblaciones desde "Pre-K hasta Grey", es probable que este o los enfoques sistemáticos comparables para replicar y generalizar resultados rindan frutos. Mientras tanto, si los lectores están interesados en unirse a la replicación y las discusiones relacionadas con la generalización en la conferencia APA de este año en Toronto, considere asistir a la programación colaborativa que la División 15 tiene con otras divisiones sobre la "crisis de replicaciones" que se detalla a continuación.
Título de la sesión: La crisis de replicación: qué nos trajo aquí y hacia dónde tenemos que ir
Tipo de sesión: Simposio
Fecha: jue 08/06 10:00 a.m. – 11:50 a.m.
División / Patrocinador: CPG-Central Programming Group; Lista compartida: 30, 3, 5, 6, 10, 15, 24, 26
Edificio / Habitación: Centro de Convenciones / Sala 716A Edificio Sur-Nivel 700
Referencias
Asociación Estadounidense de Investigación Educativa, Asociación Americana de Psicología, y Consejo Nacional de Medición de la Medición en la Educación. (1999). Normas para las pruebas educativas y psicológicas. Washington, DC: Asociación Americana de Psicología.
Cronbach, LJ, y Shapiro, K. (1982). Diseño de evaluaciones de programas educativos y sociales . Jossey-Bass Inc Pub.
Guba, EG, y Lincoln, YS (1994). Paradigmas en competencia en la investigación cualitativa. Handbook of Qualitative Research , 2, 163-194.
Hsieh, P., Acee, T., Chung, W.-H., Hsieh, Y.-P., Kim, H., Thomas, GD, Levin, JR, Robinson, DH (2005). ¿La investigación sobre intervención educativa está en declive? Journal of Educational Psychology , 97 (4), 523.
Koole, SL, y Lakens, D. (2012). Recompensar las repeticiones de una manera segura y simple para mejorar la ciencia psicológica. Perspectives on Psychological Science , 7 (6), 608-614.
Levin, JR (1994). Elaborando una investigación de intervención educativa que sea creíble y acreditable. Educational Psychology Review, 6 (3), 231-243.
Levin, JR (2004). Pensamientos aleatorios sobre la (in) credibilidad de la investigación de intervención educativo-psicológica. Psicóloga educativa , 39 (3), 173-184.
Marley, SC, y Levin, JR (2011). ¿Cuándo se justifican los enunciados prescriptivos en la investigación educativa? Educational Psychology Review, 23 (2), 197-206.
Schmidt, S. (2009). ¿Realmente lo haremos de nuevo? El poderoso concepto de replicación se descuida en las ciencias sociales. Revisión de Psicología General , 13 (2), 90.
Shadish, WR, Cook, TD y Campbell, DT (2002). Diseños experimentales y cuasi experimentales para la inferencia causal generalizada. Nueva York, Nueva York: Houghton Mifflin.
