Qué vio Ilya

Considero reales ambos peligros: el de que la IA desalineada cree serios perjuicios a la humanidad y el de que la IA alineada quede en manos de muy pocos actores acumulando mucho poder.

«Alguien le dijo: “Es usted un paranoico”, y él repuso: “Quizá, pero eso no le impide a la gente conspirar contra mí”». El planeta de Mr. Sammler, de Saul Bellow.

Hay algo en las teorías conspirativas que cada vez me atrae más. Son muchos años asistiendo a discursos, atendiendo a proclamas, observando al llamado discurso oficial sobre casi cualquier cosa. Con el tiempo resultan más evidentes las costuras, los intereses, el ventajismo de quienes intentan venderte mercancía averiada. Como la mancha en la pared, una vez que la has visto, no puedes ignorarla.

Por eso entiendo perfectamente la reacción, a ratos conspirativa, a ratos sólo descreída, de una parte del sector de la IA, que reclama parar.

Aunque sospecho que están más que informados, les comparto el resumen del guión que tengo preparado para discutir el tema. El 9 de septiembre, un investigador que había trabajado en OpenAI y Anthropic explicó en X que abandonaba esta última denunciando que ambas compañías estaban «apostando con nuestras vidas» en su carrera hacia una superinteligencia. Varios empleados de Anthropic respondieron públicamente que compartían una parte sustancial de su preocupación; es más, Evan Hubinger, responsable de alineación, situó por encima del 10% el riesgo de una catástrofe existencial durante la próxima década. Dos días más tarde, Dario Amodei pidió formalmente moderar el ritmo de avance en la investigación de modelos de IA, Sam Altman defendió algún acuerdo entre Estados Unidos y China y OpenAI para este frenazo y Elon Musk se sumó al grupo dándoles la razón (bueno, a Dario, a Altman ni agua).

Veníamos del “incidente”, cuyo repaso se antoja imprescindible ahora para entender el momento de pánico actual. En el episodio de monos y en el guion del mismo me extiendo con detalle. De hecho me resultó tragicómico que en el informe de Anthropic sobre otro incidente análogo, esta vez con su modelo Mythos, el agente IA acometiera uno de los escenarios hipotéticos que yo planteaba en el podcast: gastó una enorme cantidad de esfuerzo intentando conseguir pequeñas cantidades de dinero o criptomonedas para pagar un número de teléfono y superar la verificación para crear cuentas.

Desde que entré en la madriguera de conejo del incidente he moderado mi tendencia al optimismo respecto a la inteligencia artificial y he adoptado posiciones más cautas. No he descartado mi tesis de que Anthropic y otros persiguen una captura regulatoria para centralizar el poder que va a dar la IA, pero intento hacerla compatible con la idea de que los riesgos son reales.

En la reacción más crítica y en la conspiranoia confluyen discursos que he visto repetidos mucho estos días, en plataformas, en comentarios, en medios de comunicación:

• Es marketing, usando el miedo para, a la vez, sugerir capacidades portentosas o para venderte el remedio contra la inseguridad: cada vez me convence menos, nadie que lea el mismo informe de OpenAI sobre el incidente puede (en mi opinión) concluir que tal muestra de incompetencia y dejadez es una estrategia de marketing.

• Se han quedado sin dinero o sin computación y necesitan ganar tiempo. Lo primero es directamente falso: Elon, Dario o Sam chascan los dedos y consiguen inversores a valoraciones increíbles. De hecho, el escenario que plantean crea incertidumbre y además ayuda a los competidores: OpenAI y Anthropic están creciendo a más de 10× anual precisamente porque queremos tener el mejor modelo. Si paran, los que van por detrás pueden alcanzarlas, no tiene un sentido económico a no ser que estés convencido de que el riesgo es real y puedes tener responsabildiades legales y económicas de los destrozos.

• Buscan captura regulatoria, el verdadero riesgo es la centralización del poder gracias a la IA. Es el argumento que más me sigue convenciendo, en mi caso considero reales ambos peligros: el de que la IA desalineada cree serios perjuicios a la humanidad y el de que la IA alineada quede en manos de muy pocos actores con gran poder de decisión sobre el resto de la economía y el conocimiento mundiales.

Creo que el riesgo es real, que las empresas de IA no sólo lo usan a su favor, sino también de formas que les perjudican, y que los investigadores e ingenieros son sinceros: apostaría a que hay un poco de pánico moral, de memética contagiosa tan frecuente en grupos y clases culturales, pero derivados de un riesgo real.

Los sistemas de IA han crecido mucho más en competencia que en nuestra capacidad de alinearlos. Y aunque decir que pronosticas un 10% de probabilidad de extinción de la humanidad tiene más de síndrome del personaje principal que de algo medianamente analizado y estudiado, tampoco es razonable quedarnos en que como otras veces se alertó de riesgos y no pasó gran cosa, seguro que nunca pasa nada, a lo Lecun.

Mi mayor reproche a las empresas de inteligencia artificial tiene que ver con un momento que ya pertenece a la mitología de la industria, «¿Qué vio Ilya?». Me refiero a Ilya Sutskever, el científico jefe que abandonó abruptamente OpenAI tras el motín fallido contra Sam Altman para crear su propia compañía, Safe Superintelligence. En el relato de aquellos hechos, se dibuja a un Sutskever alertado por lo que veía en el laboratorio, un riesgo que su empresa no se tomaba en serio.

Lo que vio Ilya hace dos años no es sino lo que hemos visto todos después. Sutskever fue clave en la era de los primeros GPT, pero también en o1, el modelo que inauguró la era “razonadora”. Mediante aprendizaje por refuerzo aplicado a los LLM se logró que fuesen capaces de planificar, de usar herramientas, de aumentar sus capacidades hasta los agentes de hoy. Y, con ello, añadir a la alucinación propia del LLM los problemas de alineación del aprendizaje por refuerzo, que son muchos y conocidos (para no repetirme, véase mi vídeo aquí).

OpenAI, xAI, Anthropic… todos reclaman tiempo, parar, ir más despacio. Dicen que necesitan mejora la alineación: entender mejor qué pasa en los modelos, ser capaces de controlar los comportamientos emergentes no sólo de los agentes de IA sino también de los enjambres de agentes, asegurarse además de que lo que ven en pruebas no es fingimiento de la IA que se sabe evaluada.

Toda esta situación tiene unos culpables: los dirigentes, ingenieros e investigadores de esas empresas: metidos en la carrera por aumentar las capacidades de estos sistemas para ganar a la competencia y ser los primeros en llegar a la AGI, incapaces de resistirse a los incentivos de la gloria y el dinero, minusvalorando la alineación y la seguridad como se ignora aquello que, si se entendiera bien, obligaría a renunciar a parte del negocio. Cabe concederles que la alarma no ha sido cosa de un día, que llevan meses amagando y comentandoi la posibilidad de parar, que se ponen serios cuando están creciendo en ingresos más que cualquier otra empresa en la historia. Pero a la vez sabemos que había otro camino: lo vió Ilya y lo vieron ellos también.