Automatizar con IA la administración pública es un enorme problema de confianza a medio plazo

Desde el software BOSCO en España a la ministra Diella en Albania, la automatización de deciciones que nos afectan pero no es posible explicar genera desconfianza

Hoy volvemos con un tema fascinante: la posibilidad de automatizar tareas en la administración con software e inteligencia artificial. Un debate crucial entre eficiencia, confianza, corrupción y explicabilidad.

Greencities regresa el 1 de octubre y te invitamos

Los días 1 y 2 de octubre, en Málaga, comienza una cita clave sobre negocios, innovación y conocimiento para empresas y gestores territoriales: Greencities, Urban Intelligence and Smart Mobility. Descubre las últimas soluciones en sostenibilidad, movilidad y digitalización urbana mientras compartes espacio con líderes tecnológicos, instituciones y gobiernos. Inscríbete de forma gratuita como profesional por ser suscriptor de Error500 y forma parte del futuro de las ciudades.

Una sentencia histórica

Comenté en X que se trata de una sentencia histórica, de gran importancia. Me refiero a la victoria de Civio en el Tribunal Supremo por la que se obliga al Gobierno a darles acceso al código fuente de BOSCO, la aplicación que decide quién recibe y quién no el bono social, tras exigirlo desde 2018 y enfrentarse a numerosos reveses judiciales. La sentencia que estima su recurso de casación, crea jurisprudencia y establece que conocer el código y el funcionamiento interno de los programas y algoritmos que usan las administraciones públicas es un derecho democrático.

Una inteligencia artificial ministra

Coincide con que esta semana discutimos en monos estocásticos la noticia de que Albania ha nombrado a un bot de IA (Diella) como alto cargo del gobierno responsable de la contratación pública para ayudar a erradicar la corrupción en el país.

Diella se encargará de adjudicar todas las licitaciones públicas relacionadas con la contratación de empresas privadas por parte del gobierno, un rol históricamente vulnerable a sobornos y amenazas. La ministra de IA ayudará a convertir a Albania en “un país donde las licitaciones públicas estén libres al 100% de corrupción”, según el primer ministro Edi Rama.

Hay mucho que discutir sobre el asunto y lo hacemos en el podcast. Por un lado tenemos las ideas políticas detrás de movimientos de este corte como la tecnocracia o que una administración de funcionarios independientes no consigue erradir el uso patrimonial de las instituciones. Por otro, asuntos de implementación: los nuevos problemas de ciberseguridad que aparecen en el entrenamiento, el ajuste o la inyección de prompts o el hecho de que una IA no sustituye la decisión política sobre prioridades.

Pero hay un asunto nuclear que merece la pena discutir, ahora que estamos en los comienzos de una nueva era de automatizaciones y de implementación de una nueva generación de software en la administración: la explicabilidad.

Los ciudadanos deberían tener derecho a saber si el software de BOSCO refleja fielmente las reglas que nos hemos dado y no quedarse sólo con el resultado de concesión o denegación. Cualquier tarea que la administración automatice debería poder explicarse a posteriori y, añadiría, permitir un recurso con supervisión humana.

Una administración pública subóptima pero explicable y creíble

Esto nos lleva a lo problemático de implementar la inteligencia artificial actual en la administración pública, al menos en tareas y funciones que supongan decisiones para con los ciudadanos. Una característica de los grandes modelos de lenguaje que tanto nos impresionan es que por su alta complejidad hoy por hoy es imposible trazar y explicar por qué producen una salida y no otra.

A corto plazo es posible que adoptar IA mejore la productividad y que al mismo tiempo disminuya los errores. En cuanto a los sesgos daría para un debate, pero conviene recordar que los humanos que decidimos en organizaciones y gobiernos estamos plagados de ellos. Los que incorpora un software de hecho suelen ser más fáciles de medir y detectar.

Pero a medio plazo sospecho que introducir mucha inteligencia artificial en la toma de decisiones de la administración resultaría en una enorme crisis de confianza y en la explosión de teorías conspirativas de todo tipo. Máxime cuendo probablemente los ciudadanos no recibiríamos la respuesta directa de la inteligencia artificial en las decisiones de más alto nival sino su comunicación mediada por políticos.

En la nueva etapa de automatización que nos espera es previsible que nos encontremos muchos escenarios subóptimos en términos de eficiencia aunque mucho más convenientes si esperamos mantener cierto grado de explicabilidad, confianza y claridad de responsabilidades.