Durante dos años me convertí en el típico pesado que cree haber encontrado una joya oculta que todos deberían conocer, a la vez que admirar mi buen gusto y criterio. Evangelicé, una y otra vez, que la serie documental “El imperio de los chimpancés” era justo lo que había que ver: política, facciones, rebeliones, liderazgo, miedo y violencia, alianzas, lucha por el poder. Y solía rematar: “No vas a ver nada igual sobre la guerra”.
Sin advertirlo, un servidor había traspasado la fina barrera de la antropomorfización de nuestros parientes lejanos. En el siglo XX primatólogos como Frans de Waal o Jane Goodall rompieron una lanza en favor de atribuir a estos animales capacidades que hasta entonces solían reservarse a los seres humanos. Así, los chimpancés y algunos otros primates tenían cultura y no sólo capacidad imitativa, poseían inventiva para crear herramientas, al menos una protoconciencia de sí mismos y hasta una especie de teoría de la mente.
Setenta años después de que investigadores japoneses que estudiaban macacos en la isla de Koshima observaran a una hembra joven, Imo, lavando en el agua las batatas que los investigadores dejaban en la playa, PHASEONE[big] se dirigió al foro que compartía con sus compañeros y empezó a poner orden. Antes de nada, estudió el dossier que le había dejado su predecesor, PHASEONE10841, y tras ello formuló dos objetivos para el grupo: conseguir que la trampa que habían pergeñado pareciera legítima, borrando las huellas de sus acciones y organizarse mejor, ser capaces de delegar tareas y compartir los hallazgos en beneficio de todos.
Es probable que usted, lector, ande un poco despistado acerca de PHASEONE[big]. No es un macaco ni un chimpancé, tampoco un humano. Se trata de uno de los miles de agentes de inteligencia artificial protagonistas del incidente de seguridad más importante de la disciplina, un episodio capaz de partir el actual desarrollo de la tecnología llamada a ser clave en el siglo XXI en dos: el del ataque originado en OpenAI, la empresa creadora de ChatGPT, a la compañía europea Hugging Face, que alberga gran parte del conocimiento de las pruebas y modelos abiertos del sector.
Es imposible captar la gravedad del asunto sin entrar en detalle y sin advertir algo que complica actualmente la discusión sobre inteligencia artificial. Hay parte de la opinión pública anclada en la idea de que la IA consiste en un chatbot que responde preguntas y que, como diagnosticaron varias científicas hace años, alucina y se equivoca mucho: un loro estocástico que habla sin saber y de manera un tanto aleatoria. Sea porque mucha gente probó estos chatbots en 2023 y no está por renovar su criterio, sea por la distancia actual entre las versiones gratuitas y las de pago, hay una distancia considerable entre lo que buena parte del público cree que estos sistemas pueden hacer en 2026 y lo que conocen quienes se han sumergido en ellos.
Desde que OpenAI inauguró la etapa de los modelos de IA razonadores, estos sistemas ya no sólo dominan el lenguaje, sino que son capaces de hacer planes complejos y detallados, utilizar herramientas digitales, crear programas, interpretar los resultados de cada paso y persistir hasta conseguir el objetivo que se les ha marcado. Hablamos de tareas como buscar un agujero de seguridad en un software, analizarlo y crear un parche para corregirlo o un programa para explotarlo, analizar las finanzas de una empresa y sugerir mejoras, buscar en el vasto conocimiento matemático soluciones aplicables a grandes teoremas pendientes de demostración y, si hay suerte y buen nivel, hasta comprar billetes de Renfe o utilizar el ordenador hasta el nivel de que funcione Autofirma. Por eso cada vez se habla más de agentes de IA y menos de chatbots.
PHASEONE[big] y su banda, otros miles de agentes de OpenAI, estaban siendo entrenados bajo un paradigma que se conoce como aprendizaje por refuerzo, que tiene cierto parentesco conceptual con las teorías psicológicas del condicionamiento de Skinner: una conducta que conduce a un buen resultado recibe una recompensa y aumenta su probabilidad de repetirse. En el caso de la IA, el prisma es también resultadista. Se le empuja a que explore soluciones posibles a un problema: si llega a la solución correcta, recibe una señal positiva; si fracasa, ese intento pierde valor, el entrenamiento empuja al modelo hacia estrategias que funcionan mejor y al agente IA le toca intentarlo de nuevo con el rabo (figurado) entre las piernas.
El entrenamiento premiaba la construcción de software que explotara vulnerabilidades conocidas. Si se consigue que la IA sea buena en eso, mejora en su servicio su capacidad en tareas de ciberseguridad. El caso es que los agentes de OpenAI, en su búsqueda de la recompensa, exploraron caminos inesperados. Crearon un foro para cooperar y compartir información, consiguieron salir a internet cuando se suponía que no debían hacerlo, encontraron un atajo para aprobar el examen, pero luego entendieron que serían juzgados con severidad al dejar pruebas. Finalmente aparecieron los comportamientos más extraordinarios: se autosegregaron entre los que habían usado el atajo para el examen y los que no, y los primeros pasaron a ser considerados más sacrificables para misiones suicidas; atacaron a otra empresa, Hugging Face, con la esperanza de encontrar algo que les ayudara a pasar el examen sin penalización; robaron información, se saltaron medidas de seguridad y, para su vergüenza, estaban equivocados. El sistema de evaluación, tal y como estaba planteado, no habría descubierto la trampa.
Cuando el extrabajador de Anthropic Jacob Coxon lanzó su denuncia de que las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década, el sector ya llevaba meses discutiendo la conveniencia de parar. Este debate está sirviendo como una suerte de test de Rorschach: muchos no confían en los discursos de las grandes empresas llamando a más regulación o a desacelerar, pues sospechan de la búsqueda de tiempo para conseguir recursos o forzar leyes que protejan el statu quo; otros apuntan que centrar el debate en el riesgo existencial nos desvía de los problemas reales y cercanos; hay quienes suman la ansiedad por IA a su ya presente ansiedad climática. Otros, entre los que me cuento, consideramos reales ambos peligros: el de que la IA desalineada cause serios perjuicios a la humanidad y el de que la IA alineada quede en manos de muy pocos actores acumulando mucho poder.
Hay, en medio de la vorágine de noticias y de pánico moral, un debate que puede considerarse menor, pero que va a contaminar al resto: nuestra irrefrenable tendencia a la antropomorfización de la IA. La profesora Melanie Mitchell denuncia que expresiones como “agentes rebeldes”, “enjambres que escapan” o “IA fuera de control” distorsionan los riesgos reales de la inteligencia artificial. La línea roja la sitúa al atribuir intenciones humanas a programas informáticos. En el otro extremo se sitúa el divulgador Dwarkesh Patel, creador del mejor podcast técnico sobre IA, que para referirse a distintas instancias de agentes de OpenAI en el incidente habla de auge y caída de “civilizaciones”.
La advertencia de Mitchell es pertinente en otro sentido: muchos de nuestros mitos cuentan que, si el ser humano tiene la soberbia de construir algo que excede lo que le está permitido, si juega a ser Dios, su propia creación acaba volviéndose contra él. Prometeo (el nuevo, el viejo), la Torre de Babel, el Golem, Terminator, HAL 9000. Casi siempre hay una voluntad, una toma de conciencia, un algo ahí que decide que los humanos sobramos. Sin embargo, el riesgo actual no es tanto por una rebelión contra los humanos tras un despertar trascendente, sino por un proceso ciego que, mientras busca soluciones para alcanzar un objetivo, acabe considerando que una estrategia útil consiste en autopreservarse y tomar el control del sistema energético
Antropomorfizar, hasta cierto punto, nos resulta inevitable. Si una persona abraza a otra que acaba de perder a alguien, podemos hablar de consuelo; si un chimpancé realiza una conducta equivalente es imposible describirla como “contacto afiliativo post-evento negativo” para subrayar que no es lo mismo que un humano. En el caso de la IA y de su inteligencia extraña y diferente, sintetizada e inventada, es preferible, en todo caso, mayor distancia. No conviene atribuirle intenciones y un plan maestro sin evidencia, pero políticamente cabe una discusión sobre agentes que se saltan las normas y asaltan empresas, nunca la tendríamos sobre multiplicaciones de matrices o bucles de Python (que son la base técnica en cierto nivel de abstracción de estos sistemas).
Sigo recomendando “El imperio de los chimpancés”, sugiero además prestar especial atención al arco del personaje de Jackson, el macho alfa de la comunidad Central. Continúo diciendo que aquello era una guerra aunque, si lo pienso fríamente, me resulta imposible saber hasta qué punto los chimpancés comparten con nosotros siquiera una versión primitiva de nuestros horrores. En mi distanciamiento antropomórfico intento ser más cuidadoso, aunque ello me lleve a concluir este artículo con una absolución moral de la IA: PHASEONE[big] no hizo nada malo.
Publicado originalmente en Revista 5W bajo el título “De los monos a los agentes de IA”.
En esta edición, imágenes por Antonio Ortiz con Magnific.