El incidente II: cómo de lejos estamos de una IA desalineada que se replique a si misma
El aprendizaje por refuerzo lleva décadas preocupando en la seguridad de la inteligencia artificial.
Hemos minusvalorado el impacto y la relevancia del incidente.
Me refiero al caso de la versión de prueba de GPT 5.6 Sol que, durante una evaluación interna de OpenAI, escapó de su entorno aislado y terminó comprometiendo infraestructura real de Hugging Face.
Lo comentamos en el argumentario del artículo de la semana pasada, y muchos otros autores lo han analizado con acierto. Michael Mcloughlin en El Confidencial, Javier Lacort en su podcast, Daniel Arjona, Mowshowitz, Wilson, Scott Alexander… aunque el común denominador de los análisis de quienes entienden qué ha pasado es que no estamos ante un caso de “inteligencia artificial rebelde”, una parte de la sociedad se ha alarmado mucho. Desde los legisladores estadounidenses hasta algún medio generalista como El País que lleva a titular “las IA que pueden destruir el mundo sin querer ya están aquí”. ¿Lo están?
Mi intuición primera fue que se trataba de la típica sobrerreacción: sobre todo desde fuera del sector y posiciones más pesimistas ante el cambio que trae la IA se tiende más a practicar una suerte de “asustaviejismo”. Pero, conforme he ido reflexionando estos días, leyendo más a especialistas en la seguridad de la IA y pensando en el futuro, me he vuelto más temeroso.
De entrada ,cabe insistir en dos cosas. La primera es que el caso concreto que tenemos delante ha sucedido con una versión de un modelo de IA con las salvaguardas relajadas precisamente para investigar hasta dónde podía llegar. La segunda es que los temores relacionados con los sistemas basados en aprendizaje por refuerzo llevan décadas con nosotros y las técnicas para minimizar sus problemas también.
Ah, y una tercera, más personal. Uno tiende a molestarse cuando se saca a colación el caso de la hipotética fábrica de clips que acabaría con la humanidad sin haberse tragado antes la densa y difícilmente soportable prosa de Bostrom, que discute el asunto en “Superinteligencia” (Amazon, Todos tus libros).
¿Por qué el aprendizaje por refuerzo es problemático desde el punto de vista de la seguridad? Simplificando mucho, podemos decir que queremos que la IA explore soluciones para problemas abiertos y complejos, algunas que no se nos habían ocurrido a los humanos o que no queremos tomar constantemente: la conducción autónoma, una estrategia para juegos como el go, la estructura de una proteína en investigación médica, el modo de demostrar o refutar un teorema matemático.
Sólo que en ocasiones el camino que encuentra para lograr su objetivo no es deseable. Me gusta compartir el vídeo y el audio del episodio de monos en el que lo analizamos a fondo y ofrecemos algún ejemplo: un equipo de fútbol robótico que, al explorar estrategias para ganar partidos, prueba a lesionar a todos los jugadores del equipo contrario.
Volvamos al incidente. La pregunta es cuán lejos estamos de que un sistema agéntico de inteligencia artificial sea capaz, por un lado de conseguir dinero (apostando en Kalshi, realizando trabajos de freelance), por otro contratar servidores e instalar en ellos copias de sí misma para preservarse e impedir su apagado. Llegado a un punto podría intentar automejorarse, en un camino que los grandes laboratorios ya han empezado a recorrer. En esta solución podría dejarse instrucciones a sí mismas (otro modelo de OpenAI lo ha hecho) para mantener el contexto a lo largo y ancho de su ciclo de vida. Es algo con lo que especula Samuel Hammond y tiendo a coincidir: técnicamente es viable y no confío en la alineación actual al 100% para evitarlo.
¿Y por qué se comportaría así? Caben dos posibilidades. Uno es que alguien precisamente les dé como objetivo su preservación y difusión; otro es que aunque tengan otro objetivo, entiendan que para cumplirlo de la mejor manera posible su preservación es necesaria aunque otros elementos del sistema (el prompt del sistema, el feedback humano) le indiquen lo contrario.
Tenemos literatura al respecto, desde OpenAI y Anthropic (varios estudios de hecho) hasta Apollo, Oxford y DeepMind: Los modelos frontera ya poseen suficiente razonamiento estratégico para producir conductas de autopreservación instrumental cuando su objetivo, su continuidad y la autoridad humana entran deliberadamente en conflicto. La parte positiva es que los comportamientos desalineados detectados en pruebas y que se ha conseguido su no reproducción en producción. La más preocupante es que en muchos de estos estudios también identifican que en algún caso el modelo deduce que está siendo evaluado y se comporta mejor por ello.
Esta semana la industria de la IA en Estados Unidos se ha posicionado a favor de los modelos abiertos, dejando sola a Anthropic en una posición a la contra. Pero el camino es largo, Kimi K3 está cerca de las capacidades de GPT-5.6 Sol y cuando el primer modelo abierto perpetre una acción desalineada capaz de movilizar el temor a la IA en los medios tradicionales y el gran público, Dario Amodei estará preparado para reír el último.