Transparencia o «caja negra»: el dilema de la Administración algorítmica
Esta nota trata sobre la externalización silenciosa de decisiones públicas a sistemas tecnológicos desarrollados y operados por proveedores privados. No solo se refiere a la digitalización administrativa, sino a algo más profundo: lo qué ocurre cuando becas, subsidios, inspecciones, evaluaciones de riesgo o asignaciones de recursos dependen de modelos algorítmicos cuya lógica real no es plenamente auditable ni comprensible por quienes, en teoría, deben rendir cuentas ante la ciudadanía.
Este desplazamiento de capacidad decisoria tensiona principios básicos del Estado de derecho. Recientemente, la Unión Europea ha aprobado el Reglamento 2024/1689, conocido como Artificial Intelligence Act, que clasifica como «sistemas de alto riesgo» aquellos utilizados para evaluar la elegibilidad o el acceso a servicios esenciales y beneficios públicos. Es decir, el legislador europeo es plenamente consciente de que automatizar decisiones en estos ámbitos no es una cuestión técnica menor, sino un asunto de garantías democráticas.
La literatura internacional lleva tiempo alertando sobre los riesgos de esta deriva. La OCDE ha publicado análisis específicos sobre gobernanza y transparencia en la toma de decisiones automatizada en el sector público, como Governing with Artificial Intelligence o su informe sobre transparencia algorítmica en la administración, así como reflexiones sobre responsabilidad y rendición de cuentas en decisiones automatizadas. En la misma línea, el Consejo de Europa ha adoptado un marco convencional sobre inteligencia artificial que refuerza la idea de que los sistemas automatizados no pueden quedar fuera del escrutinio jurídico y democrático.
Los ejemplos concretos muestran que el problema no es teórico. El escándalo neerlandés de las ayudas al cuidado infantil, documentado por la propia Comisión Europea, evidenció cómo un sistema de detección de fraude puede generar daños masivos cuando combina automatización, sospecha estructural y ausencia de controles efectivos. Algo similar ocurrió con el sistema SyRI en Países Bajos, un algoritmo de puntuación de riesgo para fraude social cuya historia está recogida por organizaciones como Digital Freedom Fund. En Estados Unidos, el sistema MiDAS en Michigan acusó erróneamente a decenas de miles de personas de fraude en prestaciones por desempleo, un caso ampliamente analizado por IEEE Spectrum y explicado en detalle por la Universidad de Michigan. Incluso decisiones en sanidad pública, como en el caso del programa Medicaid de Idaho, han terminado en los tribunales, tal y como explica la ACLU.
Si el Estado subcontrata la inteligencia, debe asegurarse de no subcontratar también la rendición de cuentas.»
Tampoco Europa ha estado libre de episodios similares en otros ámbitos, como el controvertido algoritmo de calificaciones utilizado por Ofqual en el Reino Unido durante la pandemia, cuyo análisis técnico puede consultarse en el informe de la British Computer Society. La preocupación académica sobre la forma en que los sistemas automatizados pueden generar decisiones opacas y difíciles de impugnar está presente en trabajos como el publicado en Plos One bajo el explícito título The algorithm will screw you.
En España el debate es mucho más discreto, pero no inexistente. El informe de Digital Future Society sobre cuatro estudios de caso de sistemas automatizados en el sector público español y las muy meritorias iniciativas de Civio en torno a la transparencia de decisiones automatizadas muestran que también aquí existen algoritmos que influyen en derechos y oportunidades. Lo que falta es que esa discusión salga del ámbito técnico y se convierta en una cuestión política de primer orden.
Además, la externalización no se limita al Estado. En el ámbito de los seguros, por ejemplo, la utilización intensiva de modelos predictivos y segmentación de riesgos está transformando quién es asegurable y a qué precio. El debate regulatorio británico sobre prácticas de fijación de precios en seguros generales, documentado por la Financial Conduct Authority, y los análisis del Financial Times sobre el riesgo de que la inteligencia artificial convierta a algunas personas en «inasegurables» apuntan a un fenómeno más amplio: cuando las decisiones que estructuran el acceso a servicios esenciales se automatizan y se optimizan bajo lógicas comerciales, el impacto social puede ser profundo.
La cuestión es asumir que no estamos simplemente modernizando procedimientos, sino redefiniendo dónde reside la inteligencia institucional y quién controla sus reglas. Si el Estado subcontrata la inteligencia, debe asegurarse de no subcontratar también la rendición de cuentas. Porque cuando los algoritmos deciden cada vez más cuestiones que nos afectan, la cuestión ya no es tecnológica, sino democrática.
Enrique Dans
Profesor de Innovación en IE Business School desde 1990. Comparte los contenidos de su blog por medio de una licencia de Bienes Creativos Comunes.
CONTENIDO RELACIONADO
Cathy O´Neil: «Cuando los algoritmos se apoderan de la administración y políticas públicas, el potencial de daño es ilimitado»
POR SANTIAGO LIAUDAT Y LUCÍA CÉSPEDES | Conocida mundialmente por sus estudios críticos sobre los efectos negativos de los algoritmos, Cathy O’Neil ha hecho de los datos una herramienta de activismo social para luchar contra el incremento de la desigualdad y el control social que, de manera oculta, promueve el big data.
El poder algorítmico amenaza los cimientos democráticos
POR ALFREDO MORENO | La digitalización del Estado sin control democrático abre una zona gris donde los algoritmos deciden sin explicar y el escrutinio público queda fuera de juego. El riesgo es claro: sin recuperar el control político sobre la infraestructura digital, la democracia se desliza hacia una burocracia oculta tras algoritmos que administran poder sin rendir cuentas.
