Intentando ver los artículos por los medios

A mi colega Kalif Vaughn y a mí se nos ocurrió una idea de investigación este mes. Realizamos un primer estudio y obtuvimos datos excelentes. Apuesto a que si hubiéramos continuado y presentado un documento, habría navegado sin problemas. * Pero había un problema. Mira si tu puedes detectarlo.

Presentamos a los participantes problemas de prueba remota remota (RAT). Por ejemplo,

  • Sandwich Golf Foot
  • Fin de bloqueo de línea
  • Cast Side Jump
  • Fork Dark Man

Hay una cuarta palabra que encaja con cada uno de estos tríos (respuestas a continuación).

Le dimos a nuestros participantes 10 segundos para pensar en la respuesta. Entonces o les dijimos la respuesta o les dimos otros 30 segundos para meditar y luego les dijimos la respuesta. La pregunta era, ¿superaría el grupo de 40 segundos al grupo de 10 segundos en una prueba que ocurrió unos minutos más tarde? Estamos entusiasmados con este hallazgo porque la respuesta fue no.

Estoy realmente interesado en si el éxito de la recuperación afecta el aprendizaje. Este año publiqué un estudio que muestra que hacer un intento de recuperación es muy importante, pero no parece importar si es exitoso (Kornell, Klein y Rawson, 2015). Así que miramos nuestros nuevos datos, y lo-be-behold: los participantes obtuvieron más respuestas correctas (durante la primera fase) en la condición de 40 segundos que en la condición de 10 segundos. Pero (como dije) no les fue mejor en la prueba final. Así que sacamos la conclusión obvia: una vez más, tratar de pensar en la respuesta fue beneficioso, pero el éxito fue irrelevante.

Detectar el problema? Está en ese último párrafo. Aquí hay otra información. Durante la fase de estudio, la condición de 40 segundos mejoró aproximadamente 10 puntos porcentuales que el grupo de 10 segundos. En otras palabras, solo el 10% de los artículos se convirtieron de fallas de recuperación a éxitos de recuperación.

Ahora imaginemos que el éxito de la recuperación sí importa, y se traduce en una diferencia de 15 puntos porcentuales en el aprendizaje. ¿Un 15% de beneficio para el 10% de los artículos? Si el éxito de la recuperación importa, eso se traduciría en una enorme diferencia de 1.5 puntos porcentuales en la prueba final. Demasiado pequeño para detectar

Así que todavía tenemos un hallazgo interesante aquí (todavía estamos trabajando activamente en este proyecto). Pero basado en los datos hasta ahora, sería incorrecto sacar conclusiones sobre el efecto del éxito de la recuperación. Por algún accidente afortunado pensamos en este problema. Pero me preocupa lo fácil que sería perderse. Aquí hay dos trampas:

  • Confianza excesiva en la importancia. El hecho de que un efecto sea significativo (el 10% de aumento en el rendimiento durante la fase de estudio) no significa que podamos olvidarnos del tamaño del efecto y simplemente asumir que es trascendente y que debe tener grandes efectos en el futuro.
  • Agregando en lugar de individualizar. Es tentador pensar en los efectos como monolitos que afectan a todos los elementos. Eso es básicamente lo que hacemos cuando trazamos significa. Pero a veces un efecto solo se aplica a un subconjunto de elementos. En este caso, el éxito de recuperación solo se aplicó al 10% de los artículos. (Llegamos a una conclusión similar sobre la importancia de desagregar elementos al examinar el efecto a largo plazo de las pruebas en Kornell, Bjork y García, 2011.)

Es algo así como lo opuesto a "no se puede ver el bosque por los árboles". El problema aquí es pasar por alto a los individuos: "no se pueden ver los artículos por los medios".

Respuestas: club, muerto, amplio, tono

Mirame en Twitter.

* Jaja, sí. Derecha.

Referencias

Kornell, N., Bjork, RA, y Garcia, MA (2011). Por qué las pruebas parecen evitar el olvido: un modelo de bifurcación basado en la distribución. Journal of Memory and Language, 65 (2) , 85-97. doi: 10.1016 / j.jml.2011.04.002

Kornell, N., Klein, PJ, y Rawson, KA (2015). Los intentos de recuperación mejoran el aprendizaje, pero el éxito de la recuperación (versus el fracaso) no importa. Revista de Psicología Experimental: Aprendizaje, Memoria y Cognición, 41 (1), 283-294. doi: 10.1037 / a0037850