No es bueno que los campesinos tengan ballestas

La inteligencia artificial centralizada y cerrada es una tecnología de control, no alineada con los intereses de los usuarios sino con los que piensa y decide la empresa que la desarrolla.

En 1139, el Segundo Concilio de Letrán prohibió el uso de la ballesta entre cristianos. La fórmula del canon la describía como un arte mortífero y ‘odioso a Dios’, pero sucedía también que la ballesta permitía que combatientes campesinos de baja extracción y menor entrenamiento atravesaran la armadura de un caballero.

Llevo rumiando la frase “No es bueno que los campesinos tengan ballestas”, desde que se empezó a discutir sobre los modelos de inteligencia artificial, su centralización y control y quién debería poner los límites. Un tema que cobra especial relevancia con el lanzamiento de Claude Fable 5 esta semana.

Aunque a algunos les haya parecido un pasito más, una mera mejora incremental, mi sensación y los números que veo con el nuevo modelo de Anthropic apuntan a un nuevo salto real de capacidades. En el episodio de hoy de monos estocásticos entramos a fondo en algo que resumo como “el humano en el proceso, pero cada vez menos”.

Pero aquí quiero centrarme en lo que Claude Fable no va a hacer. Anthropic explica que el modelo llega con clasificadores que detectan peticiones sobre ciberseguridad, biología y química o intentos de destilación: cuando se activan, la respuesta pasa automáticamente a Opus 4.8 y el usuario es informado del cambio .

La cosa se pone más interesante en la system card, donde se admite otra capa de salvaguardas para peticiones relacionadas con el desarrollo de otros grandes modelos de lenguaje que no serán explícitas para el usuario: nada de avisos ni de fallback, sino una degradación silenciosa de la efectividad. Aquí creo que es oportuno subrayar: Claude Fable está diseñado para degradar su rendimiento ocultándoselo al usuario cuando Anthropic lo considere oportuno. De momento, que sepamos, en los usos relacionados con el desarrollo de inteligencia artificial.

Mythos 5, el mismo modelo sin estas barreras, lleva meses reservado a un puñado de organizaciones seleccionadas, como contamos cuando se anunció su preview. Algo que no se había conocido hasta ahora es que usar la clase Mythos (y eso incluye a Fable) exige aceptar retención de datos obligatoria: prompts y respuestas conservados treinta días incluso para clientes que tenían acuerdos de retención cero, y hasta dos años si algo se marca como infracción.

Con el ánimo de ser justos, debemos discutir las razones de Anthropic.

En un primer momento, las continuas alarmas que levantan recuerdan al pánico con GPT-2, cuando el generador de textos (todavía no chatbot) era “demasiado peligroso” para ser publicado y debía mantener a alguien controlándolo. Fue el principio de la era “abierta” de OpenAI.

Los riesgos de ciberseguridad con Mythos son más tangibles que los pánicos especulativos de 2019, y la preocupación por la posible espiral de automejora de la inteligencia artificial que conecta con los escenarios que la propia empresa describía en “Cuando la IA se construya a si misma”. El documento de Anthropic planteaba tres escenarios:

• En el primero, la tendencia se estanca pero las capacidades actuales se difunden por la economía; lo consideran poco probable.

• En el segundo, el desarrollo se automatiza casi por completo mientras los humanos siguen fijando el rumbo, de modo que una empresa de cien personas puede hacer el trabajo de cien mil; es el que ven más probable, con la advertencia de la ley de Amdahl: acelerar una parte del proceso solo desplaza el cuello de botella a otra (en Anthropic, la revisión humana de un código que la IA ya escribe más rápido de lo que nadie puede leer).

• El tercero es la automejora recursiva plena, donde el ritmo lo marca únicamente el cómputo disponible y el papel humano quedaría reducido a supervisar; es el escenario sobre el que reconocen tener menos intuiciones, y el que más les preocupa, porque si los fallos de alineamiento de hoy se acumularan o amplificaran (un financiero diría “se compusieran”) a medida que los modelos construyen a sus sucesores, podríamos perder el control sin entender bien por qué.

¿Cuáles son las razones por tanto de Anthropic? Si el desarrollo de modelos se acelera a sí mismo, ayudar a terceros sin salvaguardas equivalentes (es decir, las que entiende y decide la propia empresa) multiplica el riesgo. Dario Amodei insiste en esa línea y pide ya una regulación tipo FAA, con pruebas obligatorias por terceros y poder gubernamental para bloquear despliegues.

En el fondo hay una visión del mundo que sostiene todo el argumentario: la de que los más inteligentes, mejor intencionados, mejor informados sobre lo que viene (que son los que dirigen Anthropic) tienen la legitimidad para decidir quién puede acceder, qué podemos hacer y qué no con las herramientas. Después de todo, si lo pensamos bien, dirían, la ballesta no es mala en manos del caballero, solo en las del campesino.

De forma poco sorprendente, la seguridad y la conveniencia comercial compartirían medidas. Las áreas degradadas en silencio (entrenar modelos competidores) o directamente prohibidas (que otros destilen Claude, que usen sus respuestas para entrenar a otras IAs), son exactamente las que protegen la posición de Anthropic en un mercado que apunta a duopolio u oligopolio en los “modelos frontera”.

Dean Ball, nada sospechoso de hostilidad hacia la empresa, enumera los daños: es difícil describir el episodio como otra cosa que no sea un comportamiento anticompetitivo justificado en nombre de la seguridad, refuerza el argumento de que la seguridad de la IA es una coartada para legitimar el monopolio, y hasta fortalece el caso de quienes quieren tratar estos modelos como servicios públicos regulados.

Quizá dentro de unos años uno vuelva sobre este texto y tenga que replantearse si Anthropic tenía razón en el diagnóstico y toque agradecer su postura. Pero hoy no puedo evitar anotar cómo se normaliza que el acceso a la inteligencia artificial más potente se administra desde arriba, con una de las prácticas más lamentables y desalineadas como es la ocultación al usuario. La mejor manera de que la IA quede en manos de unos pocos es el miedo, y lo que esta semana hemos vislumbrado es un futuro en el que la IA más capaz se proporciona solo a unos pocos privilegiados, con versiones convenientemente atenuadas para el resto.

Creo que Anthropic no esperaba contestación, máxime cuando con su oposición al Departamento de Defensa había tejido una alianza que les apoyaba en su enfrentamiento al Estado. Apuesto a que después de la respuesta a la contra que veo sobre la mesa, tenderán a rectificar algo. Pero lo principal ya nos lo han enseñado: la inteligencia artificial centralizada y cerrada es una tecnología de control, no alineada con los intereses de los usuarios (los ciudadanos) sino sino con los intereses, incentivos y diagnósticos de la empresa que la desarrolla. Y parte de sus objetivos nos quedará oculta.

Ese, desde luego, no es el futuro con inteligencia artificial abundante en el que uno quisiera vivir. Esta visión por la que “los buenos” nos controlan y sojuzgan, deciden y arbitran es precisamente una realización de la distopía de la gran tecnológica controlando la sociedad y no que Facebook sea buena recomendándome anuncios. Mi esperanza está en algo que acabarían descubriendo los obispos de Letrán: que las prohibiciones en enciclícas nunca impidieron que se siguieran fabricando ballestas.