Armas de destrucción matemática
¿Qué sucede cuando le damos a la tecnología el poder sobre nuestras vidas, cuando los modelos algorítmicos toman decisiones de educación, salud, transporte, hipotecas y créditos bancarios?
¿Cómo es una sociedad donde una tecnocracia concentrada decide mediante sistemas «inteligentes» lo que antes se acordaba a través de pujas —no siempre sencillas— entre distintos intereses, entre ellos la distribución de la riqueza y las oportunidades? ¿Qué construimos, en definitiva, cuando cedemos el poder a la «eficiencia» de los gurúes de la big data y nos olvidamos de elementos como la justicia, la solidaridad o la equidad?
Cathy O’Neil, una doctora en Matemáticas de Harvard, se hizo estas preguntas y las respondió en su libro Armas de destrucción matemática, que escribió luego de trabajar como científica de datos de las personas. Tras esa experiencia comprendió que la data economy, la economía de los grandes datos de la que ella fue parte, se estaba olvidando del componente social de la ecuación. Los modelos matemáticos solo buscaban la eficiencia, pero se olvidaban de la ética y la justicia en el camino.
O´Neil es una matemática que trabajó durante buena parte de su carrera en Wall Street para un Fondo de Cobertura, convencida de que «las matemáticas proporcionaban un refugio limpio del desorden del mundo real». A raíz de la crisis mundial de 2008, O’Neil detectó que ese concepto de las matemáticas se estaba distorsionando de una manera perversa al comprobar cómo se usaban en algunos campos del mundo real. Vio que muchos de los algoritmos y modelos matemáticos que se usan hoy día son armas de destrucción matemática —que da pie al título del libro— que fomentan la desigualdad y la injusticia.
O’Neil escribió el libro para mostrar el lado menos bueno del big data con la esperanza que seamos capaces de cambiar nuestra perspectiva y manejo de las matemáticas algorítmicas.
Los mensajes clave del libro son: (i) los modelos predictivos nunca son neutrales y tienden a reflejar objetivos y el sesgo ideologías de quiénes los crean; (ii) los modelos matemáticos deben ser nuestras herramientas, no nuestros maestros; (iii) deberíamos ser nosotros los que dictemos cómo deben funcionar y no que nosotros funcionemos a partir de lo que ellos dictaminan con sus resultados.
O´Neil demuestra que de todas las formas en las que las organizaciones usan los datos para los más diversos análisis, existe un conjunto de ellos —los denominados por ella como armas de destrucción matemática— que son opacos, operan a gran escala y resultan muy dañinos para las personas. Los modelos matemáticos de pago hipotecario que desencadenaron la crisis de 2008 —«tan precisos como complejos y desastrosamente erróneos»— son el primer ejemplo del que se sirve para ilustrar el problema.
A partir de ahí muestra cómo clasificaciones de profesorado, prácticas de contratación en organizaciones de recursos humanos, admisiones universitarias, evaluación de riesgo crediticio o evaluación de rendimiento laboral —y que no se pueden medirse directamente— usan poderes imperfectos que los algoritmos distorsionan indefectiblemente y de manera muy injusta.
O’Neil se vale de historias de personas que han sido consideradas «indignas» de algún modo por un algoritmo. Un respetado profesor que es despedido por una puntuación baja en una herramienta de evaluación docente, el estudiante universitario que no pudo obtener un trabajo de salario mínimo en una tienda debido a sus respuestas en un examen de personalidad, las personas cuyos límites de gasto de la tarjeta de crédito se reducen porque compran en determinadas tiendas no admitidas por el modelo. Lo peor en estos casos es que los algoritmos que juzgan y determinan decisiones que nos influyen son completamente opacos e inexpugnables. La gente a menudo no tiene ningún recurso cuando el algoritmo se equivoca.
Muchas armas de destrucción masiva crean circuitos de retroalimentación que perpetúan la injusticia. Los modelos de reincidencia y los algoritmos de vigilancia productiva —en EE. UU. hay programas que envían agentes a patrullar ciertos lugares según los datos estadísticos del tipo de delito— abundan en la posibilidad de circuitos de retroalimentación nocivos. Así, un modelo de reincidencia puede preguntar sobre un primer antecedente policial en caso de que lo haya tenido. En EE. UU., debido a prácticas policiales racistas como detener y registrar, es probable que las personas de color tengan antecedentes antes que las personas blancas. Si el modelo tiene en cuenta esta medida, probablemente considerará que es más probable que sea una persona negra la que ha cometido un delito. Así, la autora llega a demostrar lo irracional y contradictorio que puede ser un algoritmo en relación a la solvencia crediticia que un algoritmo te puede atribuir, compartiendo en el libro una estadística de Florida al respecto: los conductores impecables (sin multas o accidentes) pero con puntuación baja en relación a la solvencia o riesgo crediticio (que es de lo que se trata de medir) pagan un promedio de u$s 1.552 más que un mismo conductor con excelente ratio financiero pero con, por ejemplo, una multa por conducir ebrio.
Viendo una entrevista de Dave Letterman a Barack Obama en la plataforma Netflix, el expresidente americano hace mención precisamente a este asunto y la tendencia perniciosa de determinados algoritmos. Los algoritmos de redes sociales —especialmente Facebook o Google— tienden a fomentar y enfatizar nuestras preferencias, basándose en patrones que terminan por alienar y homogeneizar gustos y tendencias. Esto hace que directamente el algoritmo de turno elimine cualquier opción diferente al que has determinado con tus interacciones, aunque solo haya sido ocasional. A través de los datos que recopilan gracias a la continua interacción en redes sociales que hacemos diariamente, dictaminan qué cosas te gustan y cuáles no, pero en un pernicioso bucle que hace que solo te alimente y potencie con aquellas cosas de tu agrado, impidiéndote ver otros puntos de vista. Obama en esa entrevista pone un ejemplo. A raíz de los acontecimientos de la primavera árabe en la plaza Tahir, si tecleabas en Google la palabra Egipto, para un consevador americano saldrían noticias sobre los hermanos musulmanes (que sugieran conflicto, terrorismo), para un progresista la plaza Tahir y los manifestantes, y para un moderado los sitios turísticos del país.
O´Neil concluye que, aunque el abanico de soluciones es más débil que la ilustración del problema, comprender lo perjudicial que pueden resultar estos algoritmos en la manera de ofrecer sus resultados es un punto crítico sobre el que debemos empezar a trabajar como sociedad. Como apunta la autora, «la tecnología ya existe, solo nos hace falta voluntad».
Una lectura sumamente interesante que ayudará a contraponer en su justa medida las bondades y oportunidades que la tecnología nos abre en el campo de la gestión masiva de datos.
