La pulga

Cómo hacer que los expertos sean estúpidos.

Hay una vieja broma sobre un científico y una pulga. El científico puso una pulga en la mesa, luego golpeó fuertemente su mano sobre la mesa y la pulga saltó. A continuación, el científico arrancó dos de las piernas de la pulga y golpeó de nuevo, y nuevamente la pulga saltó. El científico arrancó dos piernas más, repitió el procedimiento y nuevamente la pulga saltó.

El científico arrancó las últimas dos piernas, golpeó su mano sobre la mesa y, sin saltar. Lo intentó de nuevo, golpeó pesadamente su mano sobre la mesa, pero la pulga todavía no saltó.

El científico anotó su observación: “Cuando una pulga pierde todas sus patas, se vuelve sorda”.

Del mismo modo, si contrata a expertos y los pone en una situación en la que tienen que realizar una tarea desconocida (dos patas fuera), elimine cualquier contexto significativo (dos patas más fuera) y aplique un criterio de evaluación inadecuado (las dos patas más alejadas) , es un error concluir que los expertos son estúpidos.

• 5 maneras en que nos beneficiamos cuando damos
• Construyendo relaciones de apoyo
• ¿Es la detección universal para la depresión una buena idea?
• Sobre el cambio climático de luto
• Bajarse de la rueda de hámster de ansiedad

Me acordé de esta broma cuando leí algunos relatos de cómo los sistemas de Inteligencia Artificial avanzados superaban a los expertos. Por ejemplo, en la atención médica, un especialista en diagnóstico que atiende a un paciente puede observar una radiografía en busca de signos de neumonía, pero los sistemas de IA pueden detectar la neumonía en las radiografías con mayor precisión. O el médico podría estudiar los resultados de una batería de análisis de sangre, pero los sistemas de IA pueden detectar problemas de Electronic Health Records con mayor precisión que los médicos.

Lo que falta en esta imagen es que el médico también tiene la oportunidad de conocer pacientes y observarlos, cómo se están moviendo, especialmente en comparación con la última visita al consultorio. Cómo están respirando, y así sucesivamente. Los sistemas de inteligencia artificial no tienen una manera de tener en cuenta estas observaciones, por lo que los estudios comparativos descartan cualquier observación y requieren que los médicos basen sus juicios completamente en los registros objetivos. Eso es dos piernas fuera. A los médicos no se les permite considerar ningún historial personal con los pacientes; Los médicos no pueden consultar con los miembros de la familia, a dos patas finales. Y así, los investigadores concluyen que los médicos no son muy hábiles, no tan precisos como la IA.

Creo que lo que necesitamos es una forma en que los desarrolladores de inteligencia artificial mejoren los juicios de los médicos, no los reemplacen. Aquí hay un ejemplo, un estudio de Wang et al. (2016). La tasa de error de los patólogos fue del 3.5 por ciento, mientras que la tasa de error del modelo AI fue solo del 2.9 por ciento. Una clara victoria para el modelo de IA que parecería. Sin embargo, la tasa de error combinada, agregando el patólogo a la IA, fue de 0.5%.

• ¿Por qué Left Cheek Selfies tiene más me gusta en Instagram?
• Todo está en calma todo es brillante
• Holiday Blues: 3 grandes problemas y 3 grandes soluciones
• Cómo las relaciones codependientes pueden arruinar tu amistad
• Tres hilos del tejido bipolar de la vida.

Añadiendo un patólogo a la IA.

Fuente: Wang et al. generó este gráfico

Otro estudio (Rosenberg et al., 2018) describe cómo un mecanismo impulsado por la IA utilizó “inteligencia de enjambre” entre un grupo de expertos radiólogos que revisaron las radiografías de tórax para detectar la presencia de neumonía. El enjambre superó el rendimiento del radiólogo estándar en un 33 por ciento, pero también superó al avanzado sistema de aprendizaje avanzado de Stanford en un 22 por ciento.

Siddiqui (2018) ha descrito otro ejemplo de asociación entre humanos / IA. Los médicos con experiencia pueden identificar al niño de cada mil enfermo en aproximadamente tres cuartos de las veces. Con el fin de aumentar la precisión de la detección y reducir el número de niños que se pierden, algunos hospitales ahora están usando algoritmos cuantitativos de sus registros de salud electrónicos para elegir qué fiebres eran peligrosas. Los algoritmos se basan totalmente en los datos y son más precisos que los médicos, detectando las infecciones graves nueve de cada diez. Sin embargo, los algoritmos tenían diez veces las falsas alarmas. Un hospital en el hospital de Filadelfia tomó la lista basada en computadora de fiebres preocupantes como punto de partida, pero luego tuvo a sus mejores médicos y enfermeras para que vigilaran a los niños antes de declarar que la infección era mortal y los llevó al hospital para recibir medicamentos por vía intravenosa. Sus equipos eliminaron las falsas alarmas del algoritmo con alta precisión. Además, los médicos y las enfermeras encontraron casos que la computadora no detectó, lo que elevó su tasa de detección de infecciones mortales del 86.2 por ciento solo con el algoritmo, a 99.4 por ciento con el algoritmo en combinación con la percepción humana.

Así que es fácil hacer que los expertos sean estúpidos. Pero es más emocionante y satisfactorio poner en práctica sus habilidades.

Agradezco a Lorenzo Barberis Canonico por llamar mi atención sobre estos estudios.

Referencias

Rosenberg, L., Willcox, G., Halabi, S., Lungren, M., Baltaxe, D. y Lyons, M. (2018). Inteligencia artificial enjambre empleada para amplificar la precisión diagnóstica en radiología. . IEMCON 2018: novena conferencia anual sobre tecnología de la información, electrónica y comunicaciones móviles

Siddiqui, G. (2018). Por qué los médicos rechazan herramientas que facilitan su trabajo. Scientific American, boletín de observaciones, 15 de octubre de 2018.

Wang, D., Khosla, A., Gargeya, R., Irshad, H., Beck, AH, (2016). Aprendizaje profundo para identificar el cáncer de mama metastásico. Papel inédito.