¿Por qué funcionan las intervenciones es tan importante como si funcionaran?

Su evaluación no debe conformarse con solo una respuesta de sí / no.

Fuente: Tech. Sargento Ryan Crane / Keesler

Muchos de nosotros somos juzgados no por la riqueza de nuestras ideas sino por la calidad de nuestros resultados. ¿Cuántos estudiantes has reclutado? ¿Cuánto dinero has ahorrado la universidad? ¿Cuántas becas has recibido? Cualesquiera que sean las métricas que definan su éxito profesional (el mío, por suerte, no es la cantidad de personas que leen este blog), preguntas como estas limitan nuestro enfoque a si los nuevos programas e innovaciones funcionan, por ignorar por qué funcionan o no. Sin embargo, la razón es más que una pregunta académica y puede tener múltiples beneficios al realizar una evaluación. Este consejo es especialmente cierto en el zeitgeist de hoy en día de las intervenciones escalables y de bajo costo que pueden implementarse e iterarse fácilmente, donde la simplicidad de estas estrategias puede ofuscar las complejas respuestas psicológicas que obtienen de las personas que queremos apoyar. Preguntar por qué funciona un programa puede ayudarnos a expandir el alcance de nuestros esfuerzos, diseñar soluciones complementarias y diagnosticar problemas cuando nuestros esfuerzos no funcionan.

Estudio de caso: Cambiar los hábitos de energía

• Vacaciones después de la muerte de un ser querido
• ¿Los sueños tienen poder paranormal? Tal vez, si los gatos están involucrados
• Cómo la actividad física mejora la salud y ayuda a los síntomas de PMDD
• La corte restaura los derechos de armas al hombre violento y delirante
• 10 maneras de mantener su salud y estado físico durante las vacaciones

Un conjunto de estudios ahora famoso mostró cómo la prueba social puede frenar el uso de energía en los hogares. La mayoría de nosotros no sabemos cuánto uso de energía es normal, por lo que si descubriéramos que usamos más del promedio, podríamos estar motivados para acercar nuestro consumo a la norma. El programa de conservación Opower, por lo tanto, envió a sus clientes facturas que revelaban cuánta energía utilizaban en comparación con sus vecinos. He aquí que los clientes que usaron más energía que el promedio redujeron su consumo a lo largo del tiempo, efectos que persistieron con bastante fuerza durante años.

Entonces, ¿por qué bajó el consumo de energía? Dos análisis diferentes de los datos de Opower dieron lugar a diferentes explicaciones:

# 1. La prueba social cambia los hábitos. Cuando las personas recibían su primera factura, su consumo diario de energía caía abruptamente. Su consumo aumentaría lentamente hasta que llegara el próximo recibo, momento en el que el consumo de energía volvería a caer. Sin embargo, en el cuarto proyecto de ley, el uso de energía de las personas tendió a estabilizarse en un nivel más bajo que donde comenzó, por lo que no hubo caída ni rebote. Según estos investigadores, los nuevos hábitos (por ejemplo, apagar las luces al salir de una habitación; reajustar el termostato) se habían apoderado. ¿O los tenían?

• La guía de supervivencia de vacaciones
• Limite su estrés en el día de la mudanza
• El enfoque científico para mantener las resoluciones de año nuevo
• Yo o nosotros
• 6 consejos para mantener tu resolución de año nuevo

# 2. La prueba social motiva la mejora del hogar. Un análisis de la competencia examinó qué sucedió con el consumo de energía en el hogar después de que se vendió una casa. Los nuevos ocupantes nunca fueron expuestos a pruebas sociales, por lo que aún deberían ser ingenuos respecto a lo que constituye el uso normal de energía. Sin embargo, el consumo de energía en las casas revendidas no aumentó. ¿Por qué? Los investigadores argumentan que los propietarios originales, los que recibieron una prueba social, hicieron mejoras como los termostatos programables y los electrodomésticos Energy Star. Esta explicación sugiere que cuatro meses no fue el tiempo que tardaron en formarse nuevos hábitos, sino más bien el tiempo que tardó la gente en hacer que sus hogares fueran más eficientes en cuanto a la energía, un impacto que se mantuvo en la casa incluso después de que los propietarios originales se marcharon.

Un resultado, dos explicaciones … mientras funcione la prueba social, ¿a quién le importa? Pero imagínese implementar este programa de conservación en un barrio de bajos ingresos. Si la prueba social cambia los hábitos de energía de las personas, entonces debería funcionar independientemente del ingreso del hogar. Pero si la prueba social principalmente incita a las personas a mejorar sus hogares, eso podría no ser posible entre una población más desfavorecida. Del mismo modo, las personas que ya viven en hogares con eficiencia energética solo se beneficiarían de la prueba social si engendran nuevos hábitos porque no tienen otras mejoras que realizar. Como puede ver, el por qué es extremadamente importante en la planificación para escalar un programa como este a nuevas localidades.

¿Qué puede ‘por qué’ hacer por usted?

El ejemplo de Opower revela una razón clave para examinar por qué funciona un programa: la escalabilidad . A menudo, cuando introducimos un nuevo programa o tecnología en la educación superior, lo probamos con un grupo específico de estudiantes, pero con planes para introducirlo ampliamente si el piloto funciona bien. Comprender por qué, y no solo si algo funciona, nos ayudará a predecir cómo responderán las nuevas poblaciones. Por ejemplo, si una nueva intervención para estudiantes de la primera generación que viven en el campus aumenta el rendimiento académico principalmente al motivar a los estudiantes a que busquen tutoría, es posible que no se traduzca en estudiantes que viajan diariamente, adultos que trabajan y padres que no tengan tiempo extra en sus vidas para dedicarse a la búsqueda de ayuda. Sin embargo, si esa intervención opera creando hábitos de estudio más eficientes, es más probable que ayude a una gran variedad de estudiantes. Al comprender el mecanismo subyacente, tenemos una mejor idea de quién más podría beneficiarse de nuestra intervención.

Preguntar por qué funciona un programa también puede ayudarnos a desarrollar soluciones complementarias para los desafíos de los estudiantes. Digamos que piloteamos una exitosa iniciativa de bienestar y, a través de la encuesta, descubrimos que tuvimos un gran impacto en mejorar los hábitos de sueño de los estudiantes. Ahora podemos diseñar otras formas de mejorar el sueño para mantener y reforzar esos beneficios, así como considerar la mejor manera de escalar nuestros hallazgos en torno al sueño. Pero digamos que aunque nuestro piloto inicial fue exitoso, en realidad solo ayudamos a las mujeres a dormir mejor, no a los hombres. Ahora sabemos apuntar a los hombres de una manera nueva y examinar si cambiar sus hábitos de sueño tiene un impacto proporcional en su bienestar general.

Finalmente, examinar por qué algo funciona también puede ayudarnos a diagnosticar por qué algo no funciona. A menudo, cuando un piloto falla, el bebé sale con el agua del baño y comenzamos de nuevo. Pero preguntando por qué puede revelarnos la falla fatal que podemos solucionar en la próxima iteración. Por ejemplo, imagine la implementación de una intervención de valor de utilidad para los estudiantes introductorios de STEM que aumentaron el tiempo dedicado a estudiar, pero no tuvieron un impacto significativo en el GPA. Tal vez el efecto fue demasiado débil (es decir, los estudiantes necesitan estudiar aún más antes de que sus calificaciones mejoren), o el mecanismo de cambio fue insuficiente y, en cambio, necesita enfocarse en los hábitos de estudio de los estudiantes o en los comportamientos de búsqueda de ayuda. Explorar el por qué le da la oportunidad de ver su piloto desde nuevas perspectivas y realizar mejoras informadas sin tener que empezar de cero.

Conclusión

Puede ser fácil en este mundo de empujar implementar una intervención simple y obtener resultados rápidos, pero eso no significa que no deba mirar bajo el capó para descubrir qué es lo que hace que esa intervención funcione. No hay duda de que preguntar por qué puede ser difícil: a menudo implica la recopilación de datos adicionales, como encuestas, entrevistas y seguimiento del comportamiento, todo lo cual agrega costo y carga a su evaluación. Pero la recompensa en términos de escalabilidad, desarrollo y diagnóstico puede valer la pena la inversión adicional que se necesita para hacer la pregunta tan importante de “¿Por qué?”

Referencias

Allcott, H., y Rogers, T. (2014). Los efectos a corto y largo plazo de las intervenciones conductuales: evidencia experimental de la conservación de la energía. American Economic Review, 104 (10), 3003-3037.

Brandon, A., Ferraro, PJ, List, JA, Metcalfe, RD, Price, MK, y Rundhammer, F. (2017). ¿Persisten los efectos de los empujones sociales? Teoría y evidencia de 38 experimentos de campo natural (No. w23277). Oficina Nacional de Investigación Económica.