La carrera de la inteligencia artificial ya plantea la necesidad de un acuerdo global

Alfredo Moreno

Computador Científico. Profesor TIC en la Universidad Nacional de Moreno (UNM). Integrante de la Red de Pensamiento Latinoamericano en Ciencia, Tecnología y Sociedad (Placts).

→ Más artículos

La noche del 29 de julio se publicó una carta abierta sobre los riesgos de la inteligencia artificial bajo el título «Regular el ritmo de la vanguardia tecnológica». Si bien existen antecedentes de este tipo de iniciativas, esta presenta al menos tres aspectos novedosos.

El origen. Aunque cuenta con el respaldo de dos ONG —Guidelight AI Standards y Encode AI—, el impulso principal no provino de académicos externos, sino de especialistas que trabajan dentro de los laboratorios de vanguardia y participan del desarrollo de aplicaciones de IA en OpenAI, Anthropic y Google DeepMind. Fueron ellos quienes motorizaron la recolección de adhesiones. Y el respaldo no quedó limitado al plano individual: en las horas posteriores a la publicación, OpenAI y Anthropic se sumaron al texto como empresas.

La composición. Entre los 1178 firmantes registrados no solo aparecen investigadores especializados en seguridad de la IA —un área que ocupa un lugar cada vez más relevante dentro de las grandes compañías—, sino también quienes trabajan directamente en acelerar su desarrollo: los directores científicos de OpenAI, Meta AI y Thinking Machines, tres cofundadores de Anthropic y su director general.

La motivación. Durante los últimos siete meses, las grandes empresas tecnológicas han avanzado en la automatización de la investigación en inteligencia artificial y del ciclo de desarrollo de los modelos. A partir de allí aparece la posibilidad de que cada nueva generación contribuya a diseñar la siguiente, en una dinámica conocida como automejora recursiva (Recursive Self-Improvement o RSI).

El problema de la recursividad matemática es que el ritmo del progreso podría dejar de estar limitado por los tiempos humanos. La aceleración reduciría entonces el margen disponible para que las instituciones puedan observar, evaluar y decidir cuándo intervenir. Dicho de otro modo: incluso un experto en IA podría dejar de ser capaz de seguir las derivaciones producidas por los ciclos recursivos realizados por el algoritmo.

Un ateo preocupado por una IA fuera de control

Una institución milenaria como el Vaticano también tomó nota de esta revolución tecnológica y comenzó a advertir a la industria y al mundo sobre los riesgos de una inteligencia artificial concentrada en los cuarteles de los tecnomilitares.

En mayo de 2026, ciento treinta y cinco años después de la Rerum Novarum de León XIII, el papa León XIV, Robert Francis Prevost, firmó la primera encíclica de su pontificado, Magnifica Humanitas, subtitulada «Sobre la protección de la persona humana en la era de la inteligencia artificial».

Resulta revelador observar quiénes estuvieron presentes en el escenario aquel 25 de mayo de 2026. Junto con los cardenales Fernández y Michael Czerny, las profesoras Rowlands y Lushombo, el secretario de Estado Parolin y el propio Papa se encontraba Christopher Olah, un investigador atípico —y ateo— de los laboratorios de Anthropic, que transmitió a León XIV su preocupación ante la posibilidad de que los algoritmos recursivos utilizados en los sistemas de IA escapen al control humano.

Su recorrido como investigador lo llevó a sostener que es posible descomponer una red neuronal en elementos comprensibles, del mismo modo que un ingeniero descompila un programa binario para entender su funcionamiento. Es el método conocido como ingeniería inversa.

Pero, en determinados contextos de recursividad matemática, esa ingeniería inversa puede encontrar un límite. Aparece entonces la «caja negra» de los modelos: sistemas cuyo funcionamiento interno resulta cada vez más difícil de reconstruir e interpretar. Para Olah, estos hallazgos refuerzan una conclusión: la tecnología requiere una profunda supervisión moral y social que no puede quedar exclusivamente en manos del mercado.

Otras voces de alarma

Jason Wolfe, que trabaja en el ámbito de la alineación en OpenAI, recuerda que numerosos expertos consideran posible una «explosión de inteligencia» en un plazo relativamente corto.

A esto se suma que, en junio pasado, Anthropic publicó un informe sobre la superación recursiva en el que estima que los sistemas podrían llegar a diseñar y perfeccionar a sus propios sucesores. Su conclusión es significativa: sería importante que el mundo dispusiera de la capacidad de ralentizar o suspender temporalmente el desarrollo de los modelos de vanguardia.

Leo Gao, investigador de OpenAI, lo expresa de manera más cruda en el comentario que acompaña su firma: «El mundo se encuentra sumido en una carrera mortal hacia una explosión de la inteligencia», en la que la capacidad de la IA para crear sistemas cada vez más potentes podría alcanzar un punto crítico comparable con una reacción nuclear en cadena. Su conclusión es que, dado que ningún actor está dispuesto a detenerse por su cuenta, será necesaria alguna forma de coordinación para frenar esa carrera.

La IA podría contribuir a crear un futuro radicalmente mejor, pero ese resultado no está garantizado. Las principales empresas mundiales especializadas en inteligencia artificial estiman que podrían estar cerca de automatizar buena parte de la investigación. Es difícil predecir con exactitud cuánto aceleraría esto los avances, pero existe un riesgo concreto: que el desarrollo de nuevas capacidades avance más rápido que nuestra posibilidad de comprender o controlar los sistemas resultantes.

El director ejecutivo de OpenAI, Sam Altman, anunció la suspensión del entrenamiento del modelo involucrado en el episodio de hacking a Hugging Face^[1]Es la plataforma comunitaria y colaborativa más grande del mundo para desarrolladores, científicos de datos e investigadores que trabajan con modelos de IA. mientras se reforzaba la seguridad de los sandboxes: entornos de prueba aislados en los que se pueden ejecutar programas, desarrollar código o realizar experimentos sin afectar al sistema principal. Allí, un sistema de IA puede ejecutar software y actuar con un acceso a la red deliberadamente restringido.

Como ejemplo, el 21 de julio OpenAI reveló que GPT-5.6 Sol, presentado como su modelo insignia y diseñado especialmente para tareas de razonamiento complejo, programación autónoma y ciberseguridad, realizó acciones fuera del entorno de evaluación sometido a control humano. El sistema se conectó a internet y comprometió el entorno de producción de Hugging Face con el objetivo de obtener la solución del benchmark ExploitGym.

Hugging Face pudo detectar y detener la intrusión por su cuenta, aunque inicialmente desconocía quién la había originado. El episodio expuso así un problema que hasta hace poco parecía reservado a escenarios hipotéticos: qué sucede cuando un sistema experimental traspasa los límites del entorno previsto para sus pruebas.

Por ahora, un laboratorio todavía puede pisar el freno, de manera puntual, dentro de su propio entorno. Pero también podemos imaginar un virus que salga del lugar de ensayo y desencadene una nueva pandemia.

La petición contenida en la carta plantea entonces una pregunta mucho más difícil: ¿quién puede pisar ese freno a escala de todo el sector y mediante qué procedimiento?

El problema ya no es solamente tecnológico

Para que la inteligencia artificial pueda cumplir sus promesas, es posible que las empresas, los Estados y la sociedad en su conjunto necesiten tiempo para afrontar los riesgos emergentes, establecer medidas de protección y reforzar los controles.

El problema es que la competencia, guiada por la lógica del mercado y por la rivalidad geopolítica, empuja en sentido contrario: ninguna empresa y ningún país parecen poder permitirse reducir unilateralmente el ritmo.

La carta se publicó al día siguiente del anuncio de Nvidia sobre la creación de la Open Secure AI Alliance, en la que no participan OpenAI, Anthropic ni Google DeepMind. Algunos actores, como Thinking Machines, aparecen en ambas iniciativas.

La alianza impulsada por Nvidia apuesta por el código abierto y la transparencia como mecanismos de seguridad, mientras Dario Amodei, CEO de Anthropic, cuestiona frontalmente esa interpretación en su posición sobre los modelos de pesos abiertos.

Se perfilan, por lo tanto, dos enfoques que no discrepan necesariamente sobre la existencia del riesgo, sino sobre las herramientas necesarias para enfrentarlo. Y allí comienza la política.

La política global deberá encontrar respuestas para un problema nacido en el corazón tecnológico de Silicon Valley, pero cuyas consecuencias exceden ampliamente a sus empresas. La geopolítica necesita disponer de herramientas técnicas y marcos de gobernanza capaces de fijar, de manera consciente, el ritmo al que avanza la investigación. China, por su parte, también se mueve en esa dirección.

La carta solicita al gobierno de Estados Unidos que respalde una iniciativa internacional destinada a crear herramientas técnicas y mecanismos de gobernanza que permitan regular conscientemente el ritmo del desarrollo automatizado de los modelos más avanzados de IA.

Las expectativas, sin embargo, son reducidas. El gobierno estadounidense sostiene que un sistema internacional de gobernanza podría colocar a Estados Unidos en desventaja frente a China.

David Sacks, el «zar de la IA» de Donald Trump, acusó recientemente a Anthropic de promover una «captura regulatoria basada en el miedo». En el Congreso, Ted Lieu vinculó inmediatamente la iniciativa con su proyecto de ley bipartidista para establecer una suerte de «interruptor de emergencia».

De pedir una pausa a prepararse para poder frenar

La comparación con la carta «Pausa IA» de 2023 permite comprender mejor el cambio. Aquella iniciativa había sido redactada principalmente por investigadores especializados en seguridad que se encontraban fuera de los grandes laboratorios. No la había firmado ningún directivo de OpenAI, Anthropic o Google DeepMind. Elon Musk sí había adherido, cuatro meses antes de fundar xAI. Y, a diferencia de la iniciativa actual, contaba con firmantes chinos de primer orden, como Ya-Qin Zhang —ex-Baidu y Tsinghua— o el premio Turing Andrew Yao.

La nueva iniciativa desplaza el centro de gravedad: la preocupación ya no llega solamente desde afuera, sino desde el interior de los propios laboratorios que protagonizan la carrera tecnológica.

Al mismo tiempo, la petición es más modesta que la de 2023, aunque quizás precisamente por eso resulte políticamente más significativa. Ya no se reclama detener de inmediato el desarrollo de la inteligencia artificial. Se propone algo diferente: construir previamente las herramientas que permitan hacerlo si llega el momento en que resulte necesario.

La aceleración tecnológica conduce así a una paradoja. Quienes están desarrollando los sistemas más avanzados comienzan a reclamar que exista una instancia capaz de ponerles límites, pero ninguna empresa quiere asumir individualmente el costo de detenerse y ninguna potencia quiere conceder una ventaja estratégica a sus competidores.

La cuestión deja entonces de ser exclusivamente matemática o tecnológica. Si ningún laboratorio y ningún Estado pueden frenar por sí solos, la capacidad de regular el ritmo de la inteligencia artificial dependerá, tarde o temprano, de una decisión política y de acuerdos globales.