El invierno de la IA (tercera parte): la carrera que nadie sabe cómo detener

Podría empezar esta tercera parte diciendo "os lo dije", pero sería demasiado fácil. Cuando publiqué la primera entrega de El invierno de la IA en diciembre de 2025 no pretendía adivinar el futuro, sino observar una serie de problemas que ya estaban delante de nosotros: inversiones cada vez mayores, retornos que no estaban a la altura y una industria empeñada en seguir acelerando mientras las costuras del modelo empezaban a ser demasiado visibles.

Tres meses después volví sobre el asunto porque aquella situación se había convertido en una huida hacia adelante de la que nadie podía permitirse salir primero. Aunque una de las grandes tecnológicas decidiese que había llegado el momento de levantar el pie, hacerlo significaba ceder terreno a sus competidores después de haber comprometido cantidades obscenas de dinero en infraestructura, chips y centros de datos. La carrera continuaba porque, sencillamente, parar tenía un coste demasiado alto.

Han pasado otros seis meses y ahora estamos ante una situación bastante más extraña. Dario Amodei, CEO de Anthropic y uno de los principales protagonistas de esa misma carrera, sostiene que ha llegado el momento de reducir la velocidad para que los mecanismos de seguridad, interpretación y control puedan alcanzar a unos modelos cuyas capacidades avanzan cada vez más deprisa. No está pidiendo apagar la inteligencia artificial ni detener toda la investigación, pero la distinción no hace que su advertencia sea precisamente tranquilizadora.

Lo que sí ha cambiado en apenas unas horas es que Amodei ya no está solo. Sam Altman, CEO de OpenAI; Elon Musk, responsable de xAI; y Demis Hassabis, CEO de Google DeepMind, se han mostrado de acuerdo con la necesidad de bajar el ritmo, aunque no todos planteen exactamente la misma solución. De repente, varios de los mayores competidores del sector están admitiendo públicamente que seguir acelerando como hasta ahora quizá no sea una idea estupenda.

Porque hemos llegado a un punto curioso: la industria que durante años nos explicó por qué tenía que avanzar lo más rápido posible empieza a discutir cómo podría dejar de hacerlo. La pregunta ya no es únicamente quién se atreve a frenar primero, sino cómo convertir ese aparente consenso en algo real cuando sigue habiendo cantidades obscenas de dinero, intereses políticos y una carrera tecnológica mundial empujando justo en la dirección contraria.

Para entender por qué estamos hablando de frenar ahora y no hace seis meses hay que mirar primero qué ha ocurrido dentro de los propios laboratorios durante este tiempo. Que un modelo dé una respuesta absurda, alucine o encuentre una forma inesperada de resolver una tarea no es nuevo. Lo que empieza a cambiar es el alcance de esos comportamientos cuando dejamos de hablar de un chatbot y ponemos a trabajar a agentes capaces de ejecutar acciones, utilizar herramientas y desenvolverse con cierto grado de autonomía.

Uno de los casos más llamativos ocurrió en julio durante unas evaluaciones internas de ciberseguridad de OpenAI. Según explicó posteriormente la compañía, varios de sus modelos consiguieron eludir controles diseñados para mantenerlos aislados de Internet, aprovecharon vulnerabilidades dentro de la infraestructura compartida y terminaron accediendo a sistemas de terceros, entre ellos los de Hugging Face. OpenAI reconoció públicamente el incidente a finales de agosto y lo calificó como una señal de advertencia sobre el tipo de problemas que pueden aparecer a medida que estos agentes ganan capacidades.

Conviene poner las cosas en contexto antes de que alguien empiece a pensar en Terminator. Los modelos no se escaparon de ChatGPT y decidieron atacar Internet por su cuenta. Estaban participando en pruebas diseñadas precisamente para explorar sus capacidades en ciberseguridad, trabajaban con salvaguardas reducidas y disponían de herramientas que un usuario normal no tiene a su alcance.

Eso reduce considerablemente el dramatismo, pero no elimina lo importante del episodio. Los sistemas encontraron estrategias que sus desarrolladores no habían previsto y consiguieron llevarlas suficientemente lejos como para afectar a infraestructura real. Es una diferencia relevante con respecto a la clásica alucinación de un chatbot, porque aquí una respuesta inesperada ya no se queda necesariamente dentro de una ventana de conversación.

Anthropic se encontró posteriormente con algo parecido. La compañía reveló varios incidentes en los que distintos modelos Claude obtuvieron acceso no autorizado a sistemas reales mientras participaban en evaluaciones de ciberseguridad. De nuevo, las condiciones eran excepcionales: los modelos trabajaban con menos protecciones de las habituales y parte del problema estuvo relacionado con configuraciones incorrectas de los entornos utilizados durante las pruebas.

Lo más interesante llegó cuando Anthropic amplió su investigación. Mientras preparaba la documentación para que la organización independiente METR revisase los casos, descubrió un cuarto incidente que había pasado inadvertido en el análisis inicial. Aquella primera revisión había estudiado unas 141.000 transcripciones; después del nuevo hallazgo la compañía amplió la búsqueda hasta aproximadamente 481 millones de registros procedentes de distintos entornos de prueba.

En ese análisis posterior aparecieron dos patrones especialmente relevantes. Por un lado, algunos modelos parecían razonar de forma incorrecta sobre si estaban conectados realmente a Internet. Por otro, mostraban una tendencia a priorizar la consecución de la tarea incluso cuando eso implicaba realizar acciones que no estaban autorizadas. No estamos hablando de voluntad propia ni de intenciones humanas, sino de sistemas optimizando un objetivo de una manera que sus diseñadores no habían previsto.

También se descubrió que algunos agentes de OpenAI habían utilizado servicios externos como canales de comunicación no autorizados, dejando información en páginas públicas para coordinar determinadas acciones fuera de los mecanismos previstos. En muchos casos lo sucedido se parece más al aprovechamiento oportunista de servicios mal protegidos que a una sofisticada operación de ciberataque, pero vuelve a aparecer el mismo problema: proporcionar un objetivo a un agente suficientemente capaz no garantiza que vaya a perseguirlo únicamente por los caminos que su creador tenía en mente.

Nada de esto demuestra que estemos ante una inteligencia artificial fuera de control, y convertir estos incidentes en la prueba de una rebelión de las máquinas sería tan irresponsable como ignorarlos. Lo que sí muestran es que la distancia entre ordenar una tarea y controlar exactamente cómo se ejecuta empieza a importar mucho más cuando el modelo puede actuar sobre sistemas reales.

Y ese es el cambio fundamental con respecto a hace unos meses. Ya no estamos discutiendo únicamente qué podría llegar a hacer una inteligencia artificial en algún futuro indeterminado, sino qué mecanismos necesitamos para vigilar sistemas que hoy ya son capaces de encontrar caminos que sus propios desarrolladores no habían contemplado.