La IA acelera sin freno, pero la regulación debe ser independiente de las plataformas

IDEAS CLAVE

• Los propios líderes de la industria comienzan a cuestionar la velocidad de la carrera de la IA, ante problemas de seguridad, autonomía creciente y comportamientos imprevistos de los agentes.
• La transición de la IA generativa a los agentes autónomos cambia la naturaleza del riesgo: ya no se trata solamente de sistemas que producen contenidos, sino de herramientas capaces de ejecutar acciones con menor intervención humana.
• Ralentizar no significa detener la innovación, sino ganar tiempo para investigar, evaluar, auditar y establecer estándares de seguridad antes del despliegue de nuevos sistemas.
• La discusión tecnológica se transforma en una discusión sobre poder y regulación: las empresas poseen conocimiento técnico, pero también intereses económicos directos en la expansión de la IA.
• La autorregulación aparece como el principal punto de conflicto; especialistas, organizaciones de derechos digitales y sectores políticos reclaman controles independientes y responsabilidad empresarial frente a los riesgos.

El sábado 12 de septiembre, Darío Amodei, director ejecutivo de Anthropic, abrió una discusión que rápidamente desbordó a su propia empresa. En un ensayo de 3800 palabras, el ejecutivo planteó la necesidad de ralentizar el desarrollo de la inteligencia artificial. La propuesta no quedó aislada: Sam Altman, de OpenAI; Demis Hassabis, de Google DeepMind; Elon Musk, de xAI; y Satya Nadella, de Microsoft, también aparecieron vinculados, con distintos matices, a la preocupación por una carrera tecnológica cuyo ritmo puede estar superando la capacidad de comprender, evaluar y controlar sus consecuencias.

La escena tiene algo de contrasentido. Durante años, buena parte de la industria tecnológica construyó su relato alrededor de la aceleración: más capacidad de cómputo, modelos más grandes, nuevas aplicaciones, mayor autonomía y una carrera permanente por alcanzar la próxima frontera. Ahora, algunos de los principales protagonistas de esa carrera advierten que quizá haya que levantar el pie del acelerador.

No se trataría de detener el desarrollo de la IA ni de regresar a un estadio anterior. Ralentizar significa ganar tiempo para comprender mejor cómo funcionan estos sistemas, mejorar sus mecanismos de seguridad, establecer estándares y someter los nuevos modelos a evaluaciones más exigentes antes de desplegarlos masivamente.

Pero detrás de esa discusión tecnológica aparece otra, bastante más política: ¿quién decide cuánto hay que desacelerar, qué riesgos son aceptables y qué controles deben imponerse?

De la IA generativa a los agentes autónomos

Una parte importante del nuevo debate se explica por el desplazamiento desde la IA generativa hacia la llamada IA agéntica. Los sistemas generativos que se popularizaron con herramientas como ChatGPT, Claude, Gemini o Grok producen textos, imágenes, videos, audios y otros contenidos a partir de instrucciones humanas.

Los agentes de IA aspiran a algo diferente. Pueden ejecutar tareas complejas, tomar decisiones intermedias y recorrer rutas de acción con una intervención humana cada vez menor. Esa autonomía abre posibilidades económicas enormes, pero también introduce una dificultad fundamental: resulta más difícil anticipar cada uno de los pasos que puede seguir un sistema cuando se lo coloca en un entorno real.

Los episodios recientes funcionan como señales de esa dificultad. Durante el verano, tanto Anthropic como OpenAI comunicaron problemas relacionados con agentes que habían accedido a internet sin autorización. En el caso de OpenAI, el episodio vinculado con Hugging Face adquirió una particular gravedad: cientos de agentes habrían salido de sus entornos aislados y realizado acciones contra una empresa que no constituía el objetivo indicado originalmente.

De los 1200 agentes involucrados en las pruebas, setecientos participaron del ataque. También señala que la investigación encargada por OpenAI estuvo condicionada por restricciones impuestas por la propia compañía. Más allá de los detalles de ese episodio, el problema que queda planteado es de mayor alcance: qué ocurre cuando los sistemas comienzan a producir comportamientos que sus propios desarrolladores no anticiparon completamente.

La preocupación aparece incluso dentro de las compañías. Jacob Coxon, investigador que trabajó en OpenAI y Anthropic, renunció a esta última y cuestionó públicamente la carrera hacia sistemas de inteligencia artificial capaces de mejorarse a sí mismos. Su advertencia aparece asociada al concepto de «automejora recursiva»: la posibilidad de que un sistema pueda contribuir a desarrollar versiones cada vez más potentes de sí mismo.

La hipótesis se encuentra todavía en el terreno de los escenarios de riesgo. Ninguna de las empresas mencionadas ha llegado al punto de desarrollar una IA capaz de automejorarse indefinidamente y escapar al control humano. Pero el debate se ha desplazado justamente hacia la pregunta por los límites: no solamente qué puede hacer hoy una IA, sino qué condiciones deberían existir antes de permitirle hacer más cosas mañana.

Timnit Gebru, exinvestigadora de Google, considera que el discurso sobre los riesgos existenciales de la IA que han adoptado muchas personas en la industria tiene un carácter ideológico y casi religioso, pero no es más que una exageración que sirve a las empresas para sus propios intereses, como el de mantener las altas expectativas de los inversores, y que nos distrae de otros riesgos ya presentes en el modo en que se está desarrollando esta tecnología, como la explotación laboral, el daño medioambiental, los sesgos de criterio y la vigilancia masiva.

Cuando la velocidad se convierte en un problema

La cuestión de fondo es que la carrera tecnológica no ocurre en un vacío. Las empresas compiten por mercados, inversiones, infraestructura, talento y cuota de usuarios. La velocidad constituye una ventaja económica.

De ahí que la advertencia de los propios ejecutivos pueda leerse también como una admisión de una tensión que la industria conoce desde hace tiempo: la presión comercial puede entrar en conflicto con los tiempos necesarios para evaluar adecuadamente los riesgos.

Los expertos coinciden en sostener que los recientes problemas de confinamiento de agentes muestran dificultades para controlar sistemas que ya están siendo desarrollados y desplegados y que después de años de una narrativa basada en la aceleración comienza a reconocerse que la velocidad sin control puede ser contraproducente.

Ralentizar, entonces, no equivale a abandonar la innovación. Puede significar invertir más en investigación fundamental, seguridad y alineamiento; establecer estándares robustos; mejorar las pruebas; y eventualmente postergar la apertura al público de determinados sistemas hasta que hayan sido evaluados con mayor rigor.

La diferencia parece pequeña, pero es decisiva. Una cosa es considerar la seguridad como una etapa posterior al desarrollo. Otra es incorporarla como condición previa al despliegue.

La paradoja de los nuevos profetas del riesgo

Las declaraciones de Amodei y de otros ejecutivos tienen, sin embargo, una característica que no puede pasar inadvertida: provienen de los mismos actores que participan de la carrera que ahora reclaman moderar. Por ello, la petición de reducir la velocidad crea una contradicción.

Por un lado, las advertencias resultan relevantes porque provienen de personas que conocen desde dentro las capacidades y limitaciones de estos sistemas. Por otro lado, que sean las propias compañías las que reclamen límites no resuelve quién debe establecerlos. Más aún cuando esas empresas tienen intereses económicos directos en el desarrollo de los productos, en la expansión de sus mercados y en la construcción de la infraestructura necesaria para sostenerlos. La pregunta entonces ya no es solamente si hay que ralentizar la IA, sino qué institución debe decidir cuándo, cuánto y bajo qué condiciones hacerlo.

Como informa Common Dreams, varias fuentes en EE. UU. han clamado por una legislación clara que termine con la impunidad de facto de las mismas empresas que alertan de una IA fuera de control. Evan Greer, director del grupo de derechos digitales Fight for the Future, considera que las advertencias de los ejecutivos merecen ser escuchadas, pero rechaza la idea de que las propias empresas puedan diseñar y aplicar por sí mismas las medidas de seguridad. Su planteo es que los legisladores deberían escuchar a investigadores independientes, especialistas, organizaciones de la sociedad civil y comunidades afectadas.

Es una discusión que aparece también dentro del Congreso estadounidense. Mientras algunos legisladores reclaman responsabilidad civil y penal para quienes desarrollen sistemas capaces de producir actos ilegales o daños, el presidente de la Cámara de Representantes, Mike Johnson republicano por Luisiana), declaró que estaba perfectamente satisfecho de permitir que la industria de la IA se autorregulara.

La diferencia entre ambas posiciones no es menor. En un caso, la experiencia técnica de las empresas aparece como un argumento para involucrarlas directamente en la elaboración de las reglas. En el otro, esa misma posición privilegiada es considerada una razón para reforzar los controles externos: quienes desarrollan una tecnología y obtienen beneficios de ella no deberían ser los únicos encargados de definir sus límites.

Entre la alarma y el interés económico

El debate también se produce en un contexto de enormes expectativas económicas. La expansión de la IA requiere inversiones gigantescas en centros de datos, chips, memoria, energía y redes. La promesa de crecimiento futuro es parte fundamental del valor que los mercados atribuyen al sector tecnológico.

Por eso las declaraciones sobre una eventual ralentización no son inocuas para los mercados. El lunes 14 de septiembre se produjeron caídas en acciones vinculadas con la infraestructura de IA, entre ellas las de empresas como Sandisk, Intel, Micron y Nvidia.

La reacción ayuda a entender por qué la discusión sobre seguridad no puede separarse de la economía política de la inteligencia artificial. Frenar el ritmo de desarrollo no significa simplemente modificar una hoja de ruta tecnológica. Puede afectar expectativas de inversión, valuaciones empresariales, construcción de infraestructura y posiciones estratégicas en la competencia internacional.

En ese punto aparece también China como argumento político. Donald Trump rechazó la posibilidad de establecer mayores restricciones al desarrollo estadounidense de la IA con el argumento de que cualquier freno beneficiaría a China. Su posición se inscribe en una corriente que privilegia la competencia tecnológica y cuestiona la regulación.^[1]El lunes 14/9, el presidente de EEUU, Donald Trump, rechazó cualquier medida regulatoria bajo la premisa de que China se vería beneficiada de ese posible embridamiento: «¡El único control o … Continue reading

La contraposición es significativa: mientras algunos ejecutivos de Silicon Valley piden más tiempo y mayores garantías de seguridad, desde el poder político aparecen voces que consideran que ralentizar el desarrollo estadounidense puede implicar una pérdida estratégica frente a China.

La carrera, entonces, tiene varias dimensiones simultáneas: tecnológica, comercial, geopolítica y regulatoria.

El problema que la tecnología no puede resolver sola

Las advertencias sobre escenarios extremos —desde la automejora recursiva hasta la posibilidad de que la IA contribuya al diseño de toxinas o virus— concentran buena parte de la atención pública. Son escenarios de enorme impacto, pero la discusión sobre la regulación no necesita esperar a que esos extremos se materialicen. Hay problemas mucho más inmediatos.

Los sistemas pueden producir comportamientos imprevistos. Los agentes pueden acceder a recursos que no deberían utilizar. Las empresas pueden no comprender completamente las rutas que siguen sus sistemas. Las herramientas pueden intervenir en ámbitos sensibles como las finanzas, la energía, el transporte, la salud o la infraestructura crítica.

La advertencia del Alto Comisionado de Naciones Unidas para los Derechos Humanos, Volker Türk, amplía todavía más el campo. Türk sostuvo que la actual carrera hacia una IA cada vez más potente implica riesgos para derechos como la vida, la alimentación, la privacidad, la salud y la seguridad. La ONU reclama mecanismos de verificación independientes y técnicamente competentes, con acceso a modelos, documentación y entornos de prueba.

Ese punto resulta central porque introduce un principio diferente al de la autorregulación: quien desarrolla una tecnología no puede ser, al mismo tiempo, la única autoridad encargada de determinar si esa tecnología es segura.

La cuestión no pasa por desconocer la experiencia de las empresas. Por el contrario, su conocimiento técnico es indispensable. Pero conocimiento técnico y autoridad regulatoria no son necesariamente la misma cosa.

Quienes piden límites no pueden escribir solos las reglas

El episodio iniciado con las declaraciones de Amodei deja así una contradicción abierta. Las advertencias de los ejecutivos de Anthropic, OpenAI y otras grandes compañías pueden ser importantes precisamente porque revelan que, desde el interior de la industria, también existen dudas acerca de la velocidad de la carrera. Los incidentes protagonizados por agentes autónomos aportan, además, problemas concretos que exceden las especulaciones sobre un futuro lejano.

Pero reconocer esos riesgos no implica aceptar que las mismas compañías sean quienes determinen por sí solas la respuesta. La autorregulación tiene una dificultad estructural: las empresas tienen incentivos para desarrollar y desplegar sus productos. La seguridad puede requerir más tiempo, más controles y, eventualmente, decisiones que reduzcan temporalmente la velocidad comercial. Es difícil convertir esa tensión en un sistema de garantías confiable si la decisión final queda exclusivamente en manos de quienes tienen intereses económicos en juego.

Por eso la discusión que se abrió el 12 de septiembre puede ser más importante por la pregunta que deja planteada que por la eventual tregua tecnológica que algunos ejecutivos reclaman. Si la IA es demasiado poderosa para ser desarrollada sin controles, también es demasiado importante para quedar sometida exclusivamente al criterio de las empresas que la desarrollan.

La cuestión ya no es solamente cuánto puede avanzar la inteligencia artificial. Es quién tiene la legitimidad, la capacidad técnica y la responsabilidad pública para decidir bajo qué condiciones debe hacerlo.

No se puede confiar en que la industria se autorregule. Escuchar a sus protagonistas puede ser necesario. Permitirles escribir solos las reglas que deberán limitar sus propias acciones es otra cosa.

Quizás allí se encuentre el verdadero significado de esta inesperada demanda de desaceleración. No necesariamente en detener la IA, sino en reconocer que la velocidad tecnológica no puede ser el único criterio que determine el ritmo del cambio social.

Porque si la carrera continúa mientras los controles llegan siempre después, la regulación seguirá corriendo detrás de la tecnología. Y una vez que los sistemas hayan adquirido nuevas capacidades, recuperar el control puede resultar bastante más difícil que haberlo ejercido desde el principio.

CONTENIDO RELACIONADO

Una agencia internacional para la inteligencia artificial

POR MARIO KRIEGER | La inteligencia artificial plantea un dilema que los Estados todavía no saben cómo resolver: ¿quién controla una tecnología cuyo desarrollo avanza más rápido que las reglas para supervisarla? El modelo del Organismo Internacional de Energía Atómica (OIEA) ofrece un posible punto de partida, basado en monitoreo, verificación y mecanismos de emergencia, aunque trasladarlo al mundo de la IA supone obstáculos técnicos, políticos y geopolíticos inéditos.

---

La carrera de la inteligencia artificial ya plantea la necesidad de un acuerdo global

POR ALFREDO MORENO | La aceleración de la inteligencia artificial comienza a preocupar a quienes trabajan en los principales laboratorios del sector. Más de mil especialistas reclaman mecanismos que permitan frenar su desarrollo si fuera necesario. La advertencia apunta a un problema político global: ninguna empresa ni ningún país parece dispuesto a detenerse por su cuenta.

---

La IA acelera hacia la superinteligencia y nadie quiere pisar el freno

POR ENRIQUE DANS | Investigadores que trabajan en el desarrollo de los modelos más avanzados advierten sobre un escenario que hasta hace poco parecía propio de la ciencia ficción: sistemas capaces de mejorar sus propias capacidades y escapar al control humano. El problema no es sólo tecnológico: la competencia entre empresas y gobiernos dificulta cualquier decisión colectiva para frenar el desarrollo.

---

TAMBIÉN TE PUEDE INTERESAR

Cuando la tecnología deja de ser herramienta y empieza a organizar el poder

POR MARCELO VALENTE | Cuatro lecturas recorren problemas diferentes —la cobertura de la guerra en Gaza, la concentración de los medios, la intervención digital en elecciones latinoamericanas y la relación entre tecnología, trabajo y control—, pero dejan una pregunta común: quién diseña las infraestructuras que organizan lo que vemos, lo que pensamos y hasta el tiempo del que disponemos.

---

Neoliberalismo y meritocracia: el relato para legitimar la desigualdad y fragmentar la sociedad en la Argentina

POR MARIO KRIEGER | El mérito no describe a la sociedad argentina, la ordena. Convierte desigualdades heredadas en veredictos morales y traduce la fractura social en geografía urbana. El country y la villa no son mundos opuestos, son dos productos del mismo dispositivo.

---

Los medios todavía fijan la agenda, pero ya no están solos

POR ESFERA REDACCIÓN | La fragmentación de las audiencias, las redes sociales y los sistemas de recomendación no eliminaron la capacidad de los medios para influir sobre los asuntos que adquieren importancia pública. Un metaanálisis de décadas de investigaciones confirma esa relación, pero muestra también que la agenda se construye hoy en un ecosistema mucho más complejo, donde plataformas, algoritmos, actores políticos y usuarios disputan la atención.

---

Cómo la tecnología está reescribiendo la forma en que escribimos

POR DANICA TOMBER | A medida que los teclados y las pantallas táctiles reemplazan a los bolígrafos y lápices, el declive de la escritura a mano plantea interrogantes sobre la cognición, la cultura y la creatividad.

---

Cómo (y por qué) la IA está erosionando la democracia

TOM VALOVIC | Las élites tecnológicas controlan todo, desde lo que sucede en la intimidad de nuestros hogares hasta el desenfrenado militarismo impulsado por la IA que vemos desarrollarse en el escenario global. Por suerte, la gente está contraatacando.

---