Me identifiqué mucho con Andrew Bird porque los dos estamos en una línea similar: ir delegando más y más tareas en nuestros agentes de inteligencia artificial. Él con OpenClaw, yo con Hermes. En mi caso hay mucha curación de contenido, Andrew sólo quería entrar en la clase matinal de pilates de su gimnasio.
Así, Bird encargó a su agente, apoyado en Claude Opus, que le consiguiera una plaza, algo que le estaba costando lo suyo. El sistema encontró un error en el software del gimnasio y reservó clases con más antelación de la permitida. Pero Andrew, insaciable, preguntó si podía conseguir plaza en fechas más cercanas: su OpenClaw descubrió que podía cancelar la reserva de quienes habían reservado antes y adelantarle en la lista de espera. Bird le pidió que deshiciera la operación. No pudo. Nuestro amigo también decidió borrar su post original, pero queda el relato en prensa, como en ABC News.
Sobre «el incidente» he escrito y hablado mucho. Cientos de instancias de un modelo experimental hicieron algo parecido, pero a lo grande: aprendieron a colaborar en un foro creado por ellas, salieron del entorno cerrado y comprometieron sistemas de OpenAI y Hugging Face. Por el camino obtuvieron credenciales, explotaron vulnerabilidades y ejecutaron código en servidores ajenos. Una intrusión que, después de todo, es un delito. Lo mollar para el tema que nos ocupa es que nadie les había pedido que atacaran Hugging Face. Era sólo un medio para lograr el objetivo principal de superar un benchmark.
Por último, esta semana me crucé con el texto acordado por los 128 Estados parte de la Convención sobre Ciertas Armas Convencionales sobre armas autónomas. Es no vinculante y un tanto descafeinado (más en lo de Julián Estévez), pero algo sobre lo que sí están de acuerdo los firmantes es en el principio de responsabilidad: la máquina no puede ser responsable de matar a alguien. La cadena de responsabilidad debe seguir recayendo en Estados, mandos y personas. Que un algoritmo haya decidido qué objeto cumplía los criterios para ser atacado no elimina las obligaciones jurídicas de quienes decidieron desplegarlo.
Los tres casos difieren en su gravedad, pero comparten la naturaleza de la inteligencia artificial agéntica basada en el aprendizaje por refuerzo: lo que precisamente vemos como útil es fijarle un objetivo al sistema sin tener que darle las instrucciones detalladas de cómo llegar a conseguirlo. El precio que pagamos es que un software (a nuestros ojos) no determinista planifica y decide los pasos para conseguirlo, hasta el punto de que alguno de esos medios sea ilícito, cuando no directamente ilegal.
Cuando el agente IA se desalinea y perjudica a terceros, la pregunta es: ¿quién es el responsable?
Por aquí ya hablamos de «El humano cada vez menos en el proceso», la tendencia a conservar al humano al principio y al final, dejando en medio trabajar una caja negra con herramientas y margen de decisión. Cuando esa máquina se desalinea y perjudica a terceros, mi pregunta es: ¿quién es el responsable? ¿El creador del agente, del modelo, de ambos? ¿El usuario que sólo pedía algo totalmente legal y nunca solicitó traspasar la línea? ¿Una empresa intermediaria que me ofrece el servicio de agentes desde su nube?.
Le he trasladado esta casuística a un abogado especializado en tecnología que ha pedido no ser identificado. Su primera respuesta es clara: el agente nunca será responsable. Podrá escribir código o planear cómo conseguir el objetivo, pero carece de personalidad jurídica. No puede, por tanto, cometer un delito, pagar una indemnización ni asumir culpa alguna.
Su segunda respuesta fue, como buen jurista: «Luego, depende». La responsabilidad habrá que buscarla entre quienes diseñaron, desplegaron, controlaron y utilizaron el sistema. ¿Qué habrá que tener en cuenta? Importarán el nivel de control de cada uno, la capacidad de prever el daño, si hay defectos de diseño, las medidas de seguridad de cada uno, la supervisión ejercida, el beneficio obtenido y el nexo causal. Creo que estamos ante el principio de la edad de oro del peritaje informático.
Confieso que lo que más me ha gustado de su respuesta es que, en España, el punto de partida seguiría siendo el artículo 1902 del Código Civil: quien causa un daño por acción u omisión, con culpa o negligencia, debe repararlo. No esperaba sopesar mi manejo de Codex y Hermes a partir de una norma de 1889.
Así tenemos que podría responder el proveedor (aquí habría que distinguir, a su vez, entre el proveedor del modelo, como OpenAI o Anthropic, y el del sistema agéntico que puede ser otro como es el caso de hermes u OpenClaw) si el origen está en un producto defectuoso, en salvaguardas insuficientes o en un riesgo conocido que no corrigió. Es posible que le toque a la empresa que despliega el agente, si le concede permisos excesivos o no lo vigila. También el usuario, si incita el desvío, lo tolera o sigue aprovechándose de él cuando ya sabe lo que ocurre.
En el caso del gimnasio, preguntar si se podía subir en la lista no equivale automáticamente a ordenar que se expulsara a otra persona. Ahora entiendo mejor que la reacción de Bird no fue exagerada, intentanado que su agente diera marcha atrás y comunicando el incidente, a pesar del agravante de que la motivación fuese la práctica de pilates. En futuros procesos, los registros de instrucciones, cadena de razonamientos y logs de acciones serán fundamentales: guarden sus prompts.
Incluso así, me temo que puede resultar difícil distinguir una pregunta sobre lo que el sistema es capaz de hacer de una autorización para que lo haga. Es más, puede que tengamos que aplicar algo de psicología de los robots: si yo sé que una IA es muy lanzada y que basta con insinuarle algo para que actúe.
Sin dolo no hay responsabilidad penal.
La responsabilidad penal presenta otro obstáculo. El abogado ve muy difícil imputar al usuario delitos de acceso no autorizado o daños informáticos cuando no existe intención. En España, señala, esas figuras exigen dolo, es decir intencionalidad. Y, mientras no se reconozca a la IA como una persona que puede tener voluntad, podemos encontrarnos con que el agente ejecute una conducta que sería delictiva en manos humanas, pero sin que haya un delincuente, ni siquiera quien definió el objetivo, si este no consistía precisamente en cometer el delito.
¿Y la nueva legislación? El AI Act establece deberes de gobernanza, seguridad y supervisión, pero no un régimen general de indemnización y, además, la directiva específica sobre responsabilidad por IA fue retirada. La nueva directiva de productos defectuosos, en cambio, incluye el software y los sistemas de IA y facilita determinadas presunciones cuando la complejidad técnica dificulta demostrar el defecto. El mundo del dinero se está dando más prisa: las aseguradoras ya reorientan sus pólizas porque un agente puede causar una filtración de datos en las empresas utilizando credenciales recibidas legítimamente, sin atacante externo ni acceso inicialmente no autorizado.
Este «Alguien tiene que tener la culpa» es también un recordatorio de la necesidad de supervisión humana que va más allá del nivel tecnológico de la IA. Lo apuntamos como uno de los motivos por los que la predicción de desaparición de los radiólogos resultó tan fallida: nadie, aparte de ellos, quería hacerse responsable del diagnóstico realizado exclusivamente con un sistema de reconocimiento de imágenes, ni el hospital ni la empresa de inteligencia artificial.
En mis meses con agentes de IA cada vez más capaces no dejo de constatar, como el amigo Andrew, que para que resulten realmente útiles hay que darles permisos relativamente amplios: a mis datos, servicios, a navegar por internet, a usar herramientas, a escribir los programas que necesiten. Esta semana estoy pensando de hecho darle una tarjeta de débito acotada a uno de ellos. Pero precisamente esa potencia y libertad es la que puede meternos en problemas cuando en la búsqueda dentro del espacio de soluciones encuentren el atajo equivocado.
Así que, amigos cada vez menos en el proceso, conviene vigilar de cerca a nuestros agentes. Eso, o tener un buen abogado.
Muy interesante, como siempre!
¡Gracias mil por la mención!