Una agencia internacional para la inteligencia artificial

Mario Krieger

Doctor en Administración de la UBA y licenciado en Ciencias Políticas y Administración Pública de la USAL Posgrados en las universidades de Illinois y Columbia. Director de las Especializaciones en Dirección de Proyectos y en Gestión Pública y de la maestría en Gestión y Desarrollo Gubernamental de la Facultad de Ciencias Económicas FCE de la UBA.

Más artículos →

IDEAS CLAVE

• Del autocontrol a la supervisión internacional. Los propios laboratorios que impulsan el desarrollo de la IA son también quienes advierten sobre sus riesgos. La pregunta es si pueden autorregularse de manera creíble frente a riesgos de escala catastrófica.
• El modelo OIEA como referencia, no como copia. La experiencia nuclear aporta tres elementos trasladables: inspección permanente, umbrales objetivos y un sistema de consecuencias escalonadas.
• El apagado es el punto más complejo. Una agencia internacional podría exigir mecanismos de interrupción y controlar la infraestructura necesaria para hacerlos efectivos, pero decidir cuándo apagar un sistema seguiría siendo una cuestión política que requiere acuerdos entre Estados.
• La IA no se deja controlar como el material nuclear. El código y los pesos de un modelo pueden copiarse rápidamente; además, el doble uso civil y militar, la velocidad del desarrollo y la competencia geopolítica dificultan mucho más la verificación y la cooperación internacional.

Los llamados recientes de los principales laboratorios de inteligencia artificial a «desacelerar la frontera» comparten un rasgo incómodo: quienes advierten sobre el riesgo son las mismas organizaciones que lo generan, con toda la carga de intereses comerciales, estratégicos y geopolíticos que eso supone. Esa tensión, señalada por distintos organismos internacionales, plantea una pregunta de diseño institucional que no es nueva en la historia de las tecnologías de doble uso, si una industria no puede autorregular de manera creíble un riesgo de escala catastrófica, ¿quién queda habilitado para hacerlo, y con qué facultades concretas?

Este texto explora una respuesta posible, la creación de una agencia internacional de supervisión de la inteligencia artificial, inspirada en el modelo del OIEA, con dos funciones combinadas, el monitoreo permanente del desarrollo cotidiano de los sistemas más avanzados y la facultad de ordenar o, incluso, ejecutar directamente, el apagado de un sistema ante la detección de una anomalía grave o de una pérdida de control verificada.

Por qué el modelo de la OIEA resulta un punto de partida razonable

El OIEA no es un organismo que prohíba la energía nuclear. Es un organismo que la vuelve verificable. Su autoridad descansa en tres pilares que tienen equivalentes plausibles en el terreno de la IA.

• Inspección permanente. El OIEA no audita una vez al año, mantiene inspectores con acceso continuo a instalaciones declaradas, y salvaguardas técnicas (cámaras, sellos, contabilidad de materiales) que hacen costoso desviar material fisible sin ser detectado.
• Un umbral objetivo y medible. La distinción entre un reactor civil y un programa de armamento se apoya en variables físicas concretas, grado de enriquecimiento, cantidad de material, trazabilidad. La disciplina, aunque imperfecta, tiene algo que medir.
• Consecuencias escalonadas, no solo binarias. El OIEA puede señalar incumplimientos al Consejo de Seguridad de la ONU sin que eso implique, en el acto, una intervención militar. Existe un rango de respuestas entre la inspección rutinaria y la crisis.

Trasladado a la IA, esto sugeriría una agencia con acceso continuo, y no solo declarativo, a los procesos de entrenamiento y despliegue de los sistemas por encima de un umbral de cómputo o de capacidad determinado con la facultad de exigir evaluaciones de riesgo previas a cada salto significativo de capacidad, de manera análoga a como el OIEA exige declarar el uso de material fisible antes de que se acumule en cantidades sensibles.

La facultad de apagado, el punto más delicado

Aquí el paralelo con lo nuclear se debilita, y conviene decirlo con franqueza. El OIEA no tiene, ni ha tenido nunca, la capacidad técnica de apagar un reactor a distancia. Su poder es de verificación y de alerta temprana, la decisión de detener una instalación queda, en la práctica, en manos del Estado que la opera, presionado por el organismo y por el sistema internacional, pero no anulado por él. Una agencia de IA con facultad real de apagado sería, en ese sentido, una institución más intrusiva que el propio OIEA, más cercana, en sus implicancias, a lo que se discutió alguna vez para el control de armamento biológico, donde la dificultad de verificación es mayor y las propuestas de intervención directa nunca prosperaron del todo.

Para que una facultad de apagado sea algo más que una declaración de principios, necesitaría estar construida en tres niveles distintos, que conviene no confundir entre sí.

1. Apagado por diseño, dentro del propio sistema

La condición más básica, y también la más difícil de garantizar con el tiempo, es que el sistema supervisado sea corregible; es decir, que no tenga, ni como efecto colateral de otros objetivos, un incentivo a resistir su propia interrupción. Este es un problema de investigación técnica abierto hoy, no un estándar que pueda simplemente exigirse por tratado. Una agencia puede exigir evidencia de corregibilidad como condición de despliegue, pero no puede producirla por decreto si la ciencia todavía no sabe garantizarla en sistemas de capacidad creciente.

2. Apagado por infraestructura, fuera del sistema

El nivel más verificable, y el más parecido a las salvaguardas del OIEA, es el control físico de la infraestructura de cómputo y energía. Los modelos de frontera de mayor escala dependen de una cantidad relativamente pequeña de centros de datos, con proveedores de energía identificables. Una agencia con autoridad legal para exigir puntos de corte físicos, redundantes, auditados y fuera del control operativo del propio desarrollador, se parece más a lo que el OIEA hace con el material fisible, controlar el insumo escaso y observable, que a intentar controlar el software directamente.

3. Apagado por autoridad legal, como último recurso

Incluso con las dos capas anteriores, la facultad de ordenar un apagado sigue siendo, en última instancia, una decisión política, no técnica. Definir qué cuenta como «anomalía grave» exige un criterio compartido entre países con intereses distintos, algo que en el terreno nuclear llevó décadas de tratados, y que en la IA todavía no existe ni en borrador. La falta de ese criterio compartido es hoy la principal diferencia entre este escenario y el nuclear, no la tecnología del interruptor, sino el acuerdo previo sobre cuándo usarlo.

Los obstáculos que el paralelo nuclear no resuelve

• Verificación mucho más difícil. El material fisible es un objeto físico, se pesa y se rastrea. El código y los pesos de un modelo se copian en segundos y no dejan huella física. Un régimen de inspección de IA se parecería más a lo que hoy se intenta, sin gran éxito, contra el software malicioso, que a la contabilidad de uranio.
• Doble uso extremo. Casi cualquier avance en IA tiene aplicaciones civiles y militares simultáneas, mucho más entrelazadas que en lo nuclear, donde la distinción entre reactor civil y programa militar, aunque también borrosa, admite al menos categorías separables.
• Velocidad del desarrollo. El régimen de no proliferación nuclear se construyó a lo largo de casi dos décadas, entre 1953 y 1970, sobre una tecnología que avanzaba en escalas de años. Los ciclos de entrenamiento de los modelos más grandes se miden en meses. Una agencia que necesite un tratado nuevo cada vez que cambia la frontera técnica llega, estructuralmente, tarde.
• Competencia geopolítica directa. El régimen nuclear se sostuvo, en buena medida, porque las potencias con armas nucleares tenían un interés común en que nadie más las tuviera. En IA, el argumento dominante en el debate público es el inverso, ningún país quiere frenar su propio desarrollo si sospecha que el rival no lo hará, lo cual empuja hacia una carrera antes que hacia una pausa coordinada.
• Resistencia del sector privado. La energía nuclear civil nació, en gran medida, ya regulada desde el Estado. Los modelos de frontera de hoy fueron desarrollados por un puñado de empresas privadas con enorme poder de mercado y de lobby, que participarían del diseño de cualquier régimen que las supervise, la misma tensión de origen que señalan quienes hoy piden que se las regule.

Qué formato institucional sería más viable

La experiencia de otros regímenes internacionales de tecnologías de doble uso sugiere que un organismo único, con autoridad de apagado centralizada desde el primer día, es poco probable como punto de partida. Los precedentes exitosos, el propio OIEA, la Organización para la Prohibición de las Armas Químicas, el régimen de la Convención de Armas Biológicas en su versión más débil, empezaron por establecer normas de transparencia e inspección y, solo después y de forma parcial, avanzaron hacia facultades de intervención más fuertes. Un camino análogo para la IA podría distinguir etapas.

• Primera etapa, un régimen de reporte obligatorio de entrenamientos por encima de un umbral de cómputo, con inspección de terceros independientes, sin facultad de apagado.
• Segunda etapa, la exigencia de mecanismos de apagado verificables como condición de despliegue, auditados por la agencia pero operados por el propio desarrollador.
• Tercera etapa, y la más lejana hoy, la facultad de la agencia de activar directamente esos mecanismos, algo que exigiría un nivel de confianza entre Estados que el sistema internacional no tiene todavía en ningún otro terreno de doble uso comparable.

Nada de esto está descartado por imposible. Está, más bien, en el mismo lugar en que estuvo la energía atómica entre 1946 y 1957, cuando se discutía si un organismo internacional debía directamente ser propietario de todo el material fisible del mundo, una propuesta que se presentó y que ningún Estado con capacidad nuclear aceptó ceder. Lo que terminó por construirse fue más modesto que esa propuesta original y, sin embargo, resultó, siete décadas después, el régimen de verificación más longevo que existe para una tecnología de riesgo catastrófico.

A modo de cierre

La pregunta que abre este texto no tiene, hoy, una respuesta institucional ya construida, tiene un precedente parcial, el nuclear, que ilumina tanto lo que podría funcionar como lo que no se traslada sin más. La facultad de apagado, en particular, no es algo que una agencia pueda ejercer si no está sostenida, al mismo tiempo, por un diseño técnico que no resista la corrección, por un control físico de la infraestructura que la vuelva verificable, y por un acuerdo político previo sobre cuándo usarla. Faltan, todavía, las tres cosas. Pero la historia del control nuclear sugiere que faltar las tres cosas en 1946 no impidió, con el tiempo, construir un régimen imperfecto pero real. La pregunta abierta no es si el modelo OIEA se puede copiar tal cual, es cuánto tiempo va a tomar construir el equivalente disminuido y verificable que, en lo nuclear, tardó una generación entera en aparecer.