Los algoritmos son extremadamente inteligentes para procesar con precisión grandes cantidades de información. Pero un problema reciente con un préstamo bancario es una mirada inquietante detrás de la cortina.
La semana pasada solicité un préstamo personal. Mi banco me había dicho que podía solicitar el préstamo en línea. Así lo hice a través de su página web.
Llené la información, le di mis datos personales y presioné enviar.
Cuando me desperté a la mañana siguiente, el banco aprobó el préstamo y me informó que ahora transferirían el dinero a mi cuenta. ¡Hurra!
Excepto, la tasa fue del 7,9%. Alrededor de un 5% más de lo que esperaba. El banco había dicho que podría ser tan bajo como el 3% (como se anuncia en su sitio web). Por supuesto, esto se basó en una verificación de crédito. Que yo sepa, mi crédito es bueno. Entonces, ¿por qué el 7.9%?
Sospeché que esto era un problema con mi crédito. Así que llamé al banco para averiguarlo.
Me dijeron que la aplicación simplemente envía el formulario a un algoritmo y ellos obtienen una tarifa.
“¿Sabes por qué es esa tasa?”
“Lo siento señor, yo no”.
“¿Es mi crédito?”
“No obtenemos ninguna información sobre su crédito”.
“¿Puedes mirar?”
“No, no tenemos acceso a esa información. Todo está en el algoritmo “.
“¿Así que solo envías la información a un algoritmo y dice qué tasa obtengo?”
“Sí.”
Les pedí que cancelaran el préstamo.
Luego me conecté a otro sitio web y envié otra solicitud. El sitio web devolvió mi aprobación al instante y dijo que la tasa era del 10,9%. Yikes
Me resigné a regresar a mi banco original y aceptar su tasa inesperadamente alta.
Llamé a mi banco y les pregunté si podía cancelar el préstamo cancelado.
“No, pero puedes volver a solicitarlo por teléfono”.
“Ok”, dije, “Vamos a hacerlo”.
Ella tomó mi información de nuevo. “Entonces, ¿cuál es tu título”, dijo ella. “En tu solicitud en línea, pones ‘Profesor’. Pero su cuenta bancaria dice ‘Dr.’ ”. Tenga en cuenta que todas mis tarjetas bancarias de este mismo banco tienen nombres diferentes, por lo que esto no es trivial.
“No importa.”
“Bueno, tienes que elegir uno”.
“Dr., supongo, por lo que no confundirá nada”.
Ella tomó el resto de mi información, lo mismo que hice en línea, y envió mi solicitud al algoritmo. Un segundo después, ella dijo: “Se ha aprobado al 3%. Te enviaremos la documentación por correo.
Note que el error aparente aquí fue bastante simple. El algoritmo del banco no me reconoció como miembro del banco, por lo que no obtuve la tasa de miembro del banco. No me reconoció porque usé un título diferente.
Elegí “Profesor” en línea porque eso es lo que era, pero mi cuenta bancaria decía “Dr.”, que también es lo que era. Más específicamente, el Dr. es exactamente lo que era cuando me inscribí en el banco. Si eres yo, la diferencia en los títulos es completamente irrelevante para cualquier cosa. Si el banco no pidiera uno, no pondría uno.
Los algoritmos que no tienen una semántica dedicada a comprender lo que significan las palabras no tienen forma de saber qué tan importante es un título. Supongo que si el algoritmo tuviera algún tipo de comprensión de la información con la que estaba tratando se hubiera dicho a sí mismo, “el 99.9% de todo lo que este solicitante dice sobre sí mismo es el mismo que este individuo que tiene una cuenta con nosotros. Lo más importante es que este individuo reclama que tienen una cuenta con nosotros y afirman que tienen un número de cuenta. De hecho, quieren que el dinero sea enviado a la cuenta bancaria de este otro tipo. ¡Tal vez sean el mismo chico!
Pero el algoritmo no hizo esto. Se equiparó una diferencia en el título como una diferencia completa. ¿Podría hacer lo mismo si cambia el número de mis dependientes? ¿O si mi pareja cambia? ¿Qué pasa con las personas que cambian su apellido, su género o, a veces, pero no siempre incluyen sufijos como Junior? ¿Qué pasa si me mudé recientemente o ingresé mi dirección incorrectamente? ¿Cuál es el impacto potencial de un error tipográfico? En este caso, el error valía alrededor de $ 100 por $ 1000 prestados.
Tenga en cuenta que el algoritmo, al no exponer su error a la persona con la que hablé por teléfono, hizo que esa persona fuera más estúpida al obligarme a pedirme un título que me identificara erróneamente, aunque ya sabía quién era yo.
Es fácil decir que fue mi error. Obviamente, fue mi error. A primera vista, soy la única persona que podría haber actuado de manera diferente para cambiar el resultado.
Uno podría argumentar que fueron los programadores del algoritmo quienes cometieron el error al hacer que el algoritmo fuera incapaz de ver lo que cualquier humano podría ver claramente. Pero esto es esperar demasiado de un algoritmo. ¿Debería el algoritmo ser capaz de hacer un juicio subjetivo sobre si dos personas potencialmente diferentes son iguales? ¿Y si no lo son?
Quizás el algoritmo debería poder oler que algo es sospechoso y hacer algunas preguntas más. Claramente, todavía no estamos allí.
El problema realmente no es quién tiene la culpa. El problema real es cómo vamos a enseñarnos sobre las deficiencias de los algoritmos. En un artículo anterior, escribí sobre la salud mental de los algoritmos. Las payasadas de este algoritmo de préstamo bancario agregan una nota humorística a ese artículo.
Me recuerda al hombre llamado Shereshevsky en el libro de Luria, “La mente de un mnemonista”. Shereshevsky tenía un recuerdo casi perfecto. Podía recordar números y nombres y lo que estaba sucediendo en días específicos de su vida. Pero debido a su memoria, también tuvo problemas para identificar a las personas. Recordaba todo tan bien que si conocía a una persona que tenía una expresión diferente, se convertía en una nueva persona. Un simple cambio de expresión fue suficiente para despedir a Shereshevsky. Shereshevsky no pudo generalizar.
El algoritmo bancario tampoco pudo generalizarse. Estaba ciego a algo que la mayoría de la gente consideraría obvio. Sin embargo, este algoritmo podría generalizarse en otra instancia. El algoritmo está programado explícitamente para tomar mi información y generalizarla a los reembolsos de préstamos de otras personas como yo, de modo que pueda determinar mi nivel de riesgo según los riesgos que el banco haya asumido para otras personas como yo.
Debido a que el algoritmo no podía generalizar mi identidad a otras instancias de mi identidad, efectivamente me trató como dos personas diferentes. Era un Shereshevsky computacional, que trata a un hombre que sonríe y luego frunce el ceño como individuos diferentes.
Mi situación es bastante benigna, pero dudo que siempre sea así. Los algoritmos emiten juicios sobre seguros, tratamiento médico y si un signo es una señal de stop o un signo de 50 mph. Es casi seguro que los robots militares identificarán erróneamente los amistosos de los objetivos y probablemente ya lo hayan hecho. Los algoritmos se ubican en roles cada vez más importantes, donde no solo el dinero, sino la vida y la salud están en juego.
En muchos casos, los algoritmos son menos propensos a errores que los humanos. Pero los errores no son solo menos, son diferentes. Y es probable que eso cambie el tipo de daño colateral que deberíamos esperar de usarlos. Peor aún, es extremadamente difícil discutir con un algoritmo porque pocas personas saben exactamente lo que está haciendo el algoritmo. Tal vez menos que nada, el algoritmo en sí! En algunos casos, puede que no haya un solo individuo que entienda el funcionamiento completo del algoritmo. Entonces se vuelve difícil cambiar, mejorar y detectar exactamente dónde está yendo mal.
Thomas Hills en Twitter
