Por el Dr. Russell T. Warne (@Russwarne)
La primavera pasada, más de 4 millones de estudiantes de secundaria tomaron más de 2 millones de exámenes de Ubicación Avanzada (Advanced Placement, AP). Patrocinados por el College Board, los cursos AP son impartidos por maestros de secundaria y permiten a los estudiantes obtener créditos universitarios al aprobar un examen al final del año escolar. De acuerdo con el College Board, los estudiantes en cursos AP aprenden más material, están más preparados para la universidad y terminan su licenciatura antes que los estudiantes que no son AP.
Y sin embargo, hay dos razones que lo hacen demasiado simplista para simplemente afirmar que el programa de AP conduce a beneficios académicos. El primero es que el programa AP, al igual que muchos programas educativos, tiene muchos componentes, y a menudo es difícil determinar cuál (es) conduce a los beneficios académicos. En segundo lugar, los estudiantes a menudo eligen si tomar cursos AP, y los estudiantes AP a menudo difieren de los estudiantes no AP de manera importante. Esto confunde el impacto del programa con diferencias preexistentes entre los dos grupos de estudiantes. Un estudio reciente que mi equipo de investigación realizó (Warne, Larsen, Anderson y Odasso, en prensa) ilustra bien ambos puntos.
Montones de "partes móviles"
Los programas educativos rara vez son simples. A menudo incluyen muchas "partes móviles", cada una de las cuales contribuye al programa como un todo. Puede ser difícil para los investigadores determinar qué componentes de un programa educativo son efectivos para aumentar el aprendizaje y cuáles no son importantes. En el programa AP, por ejemplo, hay 34 exámenes que cubren temas de nivel universitario que van desde el inglés, a las estadísticas, a la teoría musical, a la historia mundial. Cada uno de estos temas tiene un plan de estudios y una prueba AP estandarizada, y cada aula tiene un maestro que crea tareas, diseña pruebas y prepara a los alumnos para la prueba. Las características de la escuela, el distrito y el estado también pueden contribuir al funcionamiento de un programa.
En nuestro estudio del programa AP, mis coautores y yo decidimos aislar un componente del programa AP: la prueba. Queríamos investigar si la mera inscripción en una clase AP generaba ganancias académicas para los estudiantes o si era necesario que los estudiantes tomaran la prueba AP. Para hacer esto, utilizamos un conjunto de datos con más de 90,000 estudiantes de secundaria, y dividimos a los estudiantes en cuatro grupos: (a) estudiantes no AP, (b) estudiantes AP que no tomaron el examen AP, (c) Los estudiantes de AP que tomaron el examen pero no pasaron, y (d) Los estudiantes de AP que tomaron y aprobaron el examen de AP.
Comparamos los puntajes de ACT de los cuatro grupos de estudiantes. Si la clase en sí misma fuera un componente activo, entonces debería haber una diferencia en los puntajes ACT entre los grupos (a) y (b). Si la prueba fuera un componente activo, entonces el grupo (c) debería tener una puntuación de ACT más alta que el grupo (b). Encontramos que los puntajes promedio de ACT fueron 21.0 para el grupo (a), 21.3 para el grupo (b), 22.5 para el grupo (c) y 26.5 para el grupo (d). Los resultados indican que inscribirse en la clase AP brinda a los estudiantes un pequeño beneficio (0.3 puntos en el sacle ACT de 36 puntos), pero que tomar la prueba proporciona mayores beneficios (1.2 puntos).
Diferencias preexistentes de estudiantes
En la superficie, los resultados en el párrafo anterior parecen indicar que tanto la clase como la prueba son efectivas, aunque la prueba tiene claramente el impacto más fuerte. Pero el problema con este tipo de comparación es que estos cuatro grupos de estudiantes no son equivalentes, porque los estudiantes eligen inscribirse en cursos AP. Por lo tanto, los estudiantes AP son diferentes de los estudiantes no AP (Sadler y Sonnert, 2010). Los psicólogos llaman a esta autoselección, y es muy común en muchas ramas de la investigación psicológica. De hecho, hay dos niveles de autoselección que los investigadores deben tener en cuenta al estudiar el programa AP porque los estudiantes AP también tienen la opción de tomar el examen. Las razones para la autoselección en el programa AP o para tomar el examen AP a menudo no están claras, pero las políticas administrativas (como la decisión del estado de pagar la tarifa AP para estudiantes o la decisión de una escuela de ofrecer una clase AP específica) y las características del estudiante ( tales como qué tan preparado está un estudiante para la prueba) parecen importar.
Para manejar la autoselección, es necesario controlar las diferencias de estudiantes preexistentes. Investigadores previos (por ejemplo, Long, Conger e Iatarola, 2012; Sadler y Sonnert, 2010) han controlado variables en las que los grupos de estudiantes difieren. Por ejemplo, los estudiantes de AP tienden a tener promedios de calificaciones de secundaria (GPA, por sus siglas en inglés) más altos, a menudo están más motivados y es menos probable que provengan de hogares de bajos ingresos. Sin controlar variables como estas, el impacto del programa AP se confundiría con las diferencias entre los grupos de estudiantes.
En nuestro estudio, controlamos alrededor de 70 variables estudiantiles, incluido el sexo, el grupo racial / étnico, el promedio de calificaciones, los puntajes de las pruebas de rendimiento académico y si el niño estaba en educación especial. Luego comparamos los puntajes ACT de los cuatro grupos después de realizar estos ajustes estadísticos. Los estudiantes que no son AP tuvieron un puntaje promedio de ACT de 21.4. Los estudiantes de AP que no tomaron la prueba de AP tuvieron una calificación promedio de ACT de 21.2. Los estudiantes de AP que no pasaron la prueba de AP tuvieron una calificación promedio de ACT de 21.7. Finalmente, los estudiantes de AP que pasaron la prueba de AP tuvieron una calificación promedio de ACT de 24.6.
La comparación de estos resultados con los resultados no ajustados muestra la importancia de realizar estos ajustes. El beneficio de tomar la clase AP se evapora (como se muestra en la diferencia de puntaje entre los primeros dos grupos) y el impacto de tomar la prueba cae de 1.2 puntos a 0.5 puntos, más del 50%. Sin controlar las diferencias preexistentes, el programa AP parece mucho más efectivo de lo que realmente es. Al final, mis coautores y yo llegamos a la conclusión de que la prueba AP es un componente importante del programa AP. Además, los estudiantes que aprueban el examen reciben más beneficios que sus compañeros de clase que no toman el examen AP, o que toman el examen y no lo aprueban.
Conclusión
Este estudio es un ejemplo de los desafíos de evaluar y comprender los programas educativos. Los muchos componentes de algunos programas educativos y las diferencias preexistentes entre los grupos de estudiantes presentan desafíos para los psicólogos educativos. Pero, los desafíos no son insuperables. Invito a los lectores a investigar el artículo original o a ver un video que hice sobre el estudio. Ambos están disponibles (gratis) en las URL a continuación:
Artículo completo: http://www.tandfonline.com/doi/pdf/10.1080/00220671.2014.917253
Resumen del video: https://www.youtube.com/watch?v=aViwSlcu2F0
Referencias
Sadler, PM, y Sonnert, G. (2010). Colocación y éxito de la escuela secundaria en el trabajo de la universidad en las ciencias. En PM Sadler, G. Sonnert, RH Tai & K. Klopfenstein (Eds.), AP: Un examen crítico del Advanced Placement Program (páginas 119-137). Cambridge, MA: Harvard Education Press.
Long, MC, Conger, D., y Iatarola, P. (2012). Efectos del curso de la escuela secundaria en el éxito secundario y postsecundario. American Educational Research Journal, 49, 285-322. doi: 10.3102 / 0002831211431952
Warne, RT, Larsen, R., Anderson, B. y Johnson, AO (en prensa). El impacto de la participación en el programa de Colocación Avanzada en los puntajes de las pruebas de admisión a la universidad de los estudiantes. The Journal of Educational Research. doi: 10.1080 / 00220671.2014.917253
