De los chimpancés a los campeones

Estoy preocupado por la forma en que algunos profesionales adoptan una postura desdeñosa, incluso despectiva con respecto a los expertos.

Los expertos tienen habilidades que van más allá de cualquier cosa que el resto de nosotros podamos hacer. Ven cosas que son invisibles para otros. Hacen conexiones e inferencias que nunca pensamos. Detectan problemas que perderíamos hasta que fuera demasiado tarde. Gran parte de mi carrera gira en torno al estudio de expertos, tratando de aprender algunos de sus secretos.

Ciertamente, los expertos en un campo nunca son perfectos. Ellos pueden ser demasiado confiados. Ellos pueden estar equivocados. Por lo tanto, es razonable tener una visión escéptica de los expertos, especialmente cuando los expertos se autoproclaman, como expertos en programas de televisión. Un escepticismo saludable invita a indagar qué tan bueno es un experto y qué se necesita para convertirse en un experto.

Lo que me perturba es una actitud que va más allá del saludable escepticismo en un desprecio instintivo: que los expertos en un campo, en cualquier campo, no deben tomarse en serio.

La primera vez que encontré signos de esta actitud desdeñosa fue cuando asistí a conferencias sobre el juicio y la toma de decisiones. Investigadores de la tradición Heurística y Sesgos informaron alegremente experimentos que demostraron que incluso los expertos fueron víctimas de los sesgos. En 1971, Tversky y Kahneman informaron que los estadísticos expertos tomaron malas decisiones cuando siguieron su intuición sobre la generalización a partir de muestras pequeñas. McNeil et al. (1982) informaron que los médicos experimentados eran tan susceptibles a los efectos de enmarcado sobre cómo tratar el cáncer de pulmón como estudiantes de posgrado y pacientes ambulatorios. Incluso los expertos fueron intrínsecamente sesgados en sus juicios. La lección fue: no puedes confiar en los expertos.

El campo del Juicio y la Toma de Decisiones otorga especial importancia al trabajo de Paul Meehl (1954), quien realizó una serie de estudios que demostraban que los modelos estadísticos lineales excedían o coincidían con los juicios clínicos de los expertos, sugiriendo que estaríamos mejor reemplazando los juicios. de los expertos con los de los modelos estadísticos. (Lo que no llama mucho la atención es que los factores cargados en los modelos estadísticos lineales provienen de los propios expertos, el principal beneficio de las estadísticas era aumentar la coherencia).

Un artículo de Kahneman y Klein (2009) lo explica sin rodeos: "La postura básica de los investigadores de Heurística y Sesgos, como consideran los expertos, es de escepticismo. Están entrenados para buscar oportunidades para comparar el desempeño de los expertos con el rendimiento mediante modelos o reglas formales y esperar que los expertos tengan un desempeño deficiente en tales comparaciones ". (P.518)

Así que he estado notando esta actitud despectiva sobre los expertos durante muchos años, pero luego, hace unos meses, algo sucedió que realmente me alarmó.

Un gerente de una empresa petroquímica muy grande contactó a un colega mío, Joseph Borders, sobre el establecimiento de un programa de capacitación en habilidades cognitivas para los operadores de paneles que controlan unidades masivas dentro de una planta de fabricación. Estos operadores de panel trabajan bajo un tremendo estrés. Si cierran innecesariamente una planta, los costos de producción perdida pueden llegar a millones de dólares. Pero si no logran apagar una planta que funciona mal, pueden desencadenar una explosión que tiene consecuencias aún mayores en términos de dólares y vidas. Joey y yo pudimos ver por qué el gerente de la planta querría crear experiencia en los operadores de paneles.

Sin embargo, el proyecto nunca salió. Meses más tarde, el gerente tímidamente nos explicó que el plan para construir la experiencia de los operadores de paneles había sido bloqueado por un superior que explicó que la planta no necesitaba que sus operadores de paneles tomaran mejores decisiones porque los operadores estaban totalmente desorientados. En cambio, tenía la intención de tomar la decisión de sus manos y confiar en algún tipo de Inteligencia Artificial en su lugar.

Obviamente, me sorprendió esta explicación. No solo se extravió la fe del ejecutivo en Inteligencia Artificial (el conocimiento tácito necesario para detectar señales sutiles puede tardar años en desarrollarse), pero la desconfianza del ejecutivo hacia los operadores del panel parecía ser una actitud muy peligrosa. Y si los ejecutivos de las plantas petroquímicas ahora están actuando en base a sus temores de sesgos en sus operadores de panel, eso sugiere hasta dónde ha llegado la campaña para desacreditar a los expertos.

¿De dónde viene este miedo a los expertos? Principalmente de la comunidad Heurística y Sesgos, y los estudios que muestran que los expertos demuestran los mismos tipos de prejuicios que los novatos. Estos hallazgos dañan la reputación de los expertos.

Por supuesto, la situación puede no ser tan sombría como proclaman los escépticos. Primero, el efecto de los sesgos de juicio puede ser exagerado. Varios estudios han encontrado que los sesgos de juicio y decisión se vuelven más débiles o desaparecen cuando a las personas se les dan tareas naturalistas en lugar de tareas artificiales. En segundo lugar, los sesgos se derivan de nuestro uso de la heurística, y la heurística es muy útil. La comunidad Heurística y sesgos ha realizado poca o ninguna investigación sobre los beneficios del uso de la heurística; estos beneficios deben superar los inconvenientes. En tercer lugar, las personas que son más propensas a usar heurística y cometer sesgos, y que violan los preceptos de las estadísticas bayesianas, lo hacen muy bien en la vida. Berg y Gigerenzer (2010) informaron que ganaron más dinero y tuvieron creencias más precisas en comparación con las personas que se alinearon con las estrategias de elección racional.

¿A dónde nos lleva esto? Hay una serie de razones convincentes por las que las personas desean descartar la experiencia. No creo que estas razones resistan bien al escrutinio, pero eso no importa si no se examinan minuciosamente. No importa si el único mensaje que surge es que tenemos que tomar decisiones de las manos de los expertos.

Por lo tanto, creo que necesitamos ser más enérgicos para transmitir un mensaje diferente, que la experiencia importa. Necesitamos realizar más investigaciones y recopilar más pruebas que demuestren lo que los expertos pueden lograr. Un ejemplo es el trabajo de Jim Staszewski (2008), profesor de la Universidad Carnegie Mellon. El ejército de los EE. UU. Había gastado $ 38 millones en el desarrollo de dragaminas mejoradas, pero cuando se sometieron a prueba no proporcionaron ninguna ventaja con respecto al modelo anterior, ambas tenían una tasa de detección de aproximadamente 20%. Staszewski y sus colegas localizaron a dos ingenieros del ejército que dominaron el nuevo equipo. Cuando se probaron, estos expertos lograron resultados espectaculares, más del 90% de las tasas de detección. Luego, el equipo de investigación construyó un curso para enseñar a los nuevos ingenieros del Ejército cómo usar efectivamente el nuevo tipo de dragaminas. Eso es lo que los expertos pueden comprarle.

Kahneman y Klein (2009) identificaron las condiciones necesarias para que las personas adquieran experiencia intuitiva: un entorno razonablemente bien estructurado frente a un entorno caótico y la oportunidad de una retroalimentación significativa sobre juicios y decisiones. Llegamos a la conclusión de que, en palabras de Kahneman, "una psicología del juicio profesional que ignora las habilidades intuitivas está seriamente ciega". (P.525)

Phil Tetlock ilustra el tipo de transición que puede cambiar el rumbo. Tetlock (2005) informó los resultados de un estudio de precisión de pronósticos de expertos y expertos destacados, dados objetivos de predicción claros (por ejemplo, "¿Deberíamos esperar en los próximos diez años que el gasto de defensa como porcentaje del gasto gubernamental aumente, disminuya o disminuya? permanecer igual? "). Los resultados fueron pésimos, no mucho mejores de lo que lograría un dardo arrojando dardos. Tetlock concluyó que "la humanidad apenas supera al chimpancé" (p.51). Naturalmente, los expertos escépticos estaban encantados.

Sin embargo, diez años después, Tetlock formó parte de un equipo de investigación liderado por Barbara Mellers que intentó desarrollar su experiencia en previsión. Y lo lograron, como se describe en el libro Superforecasting de Tetlock y Gardner (2015). Tetlock demostró que los aficionados, que no formaban parte de ninguna agencia gubernamental, podían superar a los pronosticadores profesionales y ganar un campeonato de pronósticos. Estos superpreparadores no fueron solo afortunados. Mantienen sus altos niveles de precisión de pronóstico durante varios años. Claro, el 30% de los superpreparadores abandonaron los rangos superiores en la muestra, pero el 70% se mantuvo en la cima. Su desempeño se derivó de la investigación, el análisis, la autocrítica y la recopilación de las perspectivas de los demás. Trabajaron duro para desarrollar y mantener su nivel de experiencia y lo lograron magníficamente.

En el primer proyecto de Tetlock, los expertos no eran mucho mejores que los chimpancés. En el segundo proyecto, fueron campeones. La apreciación de Tetlock hacia los expertos cambió a medida que trabajó con ellos y los observó en acción. Su transición debería inspirar a otros a liberarse de sus prejuicios sobre los expertos y tomar la experiencia más en serio.