Terence Tao proponía en su última conferencia un experimento mental. Se le pide a una IA avanzada una cura contra el cáncer capaz de superar un ensayo de fase 3. Tras consumir muchísimo cómputo, entrega un cóctel de compuestos desconocidos; nadie sabe muy bien cómo llegó hasta él, pero la fórmula supera el ensayo: todo indica que es efectiva. Y Tao pregunta al público: si le acabaran de diagnosticar un cáncer, antes de que le inyecten eso en vena, ¿no le tranquilizaría saber que al menos un oncólogo humano entiende, aunque sea en parte, por qué funciona?
La diapositiva es de «Math 2.0», la charla que dio en Caltech hace una semana, justo después de la avalancha de demostraciones matemáticas de OpenAI. Tao es probablemente el matemático vivo más referenciado y cuyas opiniones respecto al impacto de la IA en su disciplina más se discuten. Pero creo que en esto el amigo Terence se equivoca. Cualquier paciente con un diagnóstico mortal elegirá el tratamiento que mejores resultados ofrezca: le importará que sepamos que funciona en la práctica, no que entendamos del todo por qué funciona en teoría.
Cabe remontarse al episodio previo al de las últimas decenas de resultados. El 8 de septiembre OpenAI anunció que unos diez mil agentes habían demostrado que las ecuaciones de Navier-Stokes, que describen cómo se mueven los fluidos, pueden dejar de tener sentido físico en un tiempo finito, una posibilidad cuya existencia se intentaba demostrar o descartar desde hacía casi un siglo, con un documento de 166 páginas y una formalización en Lean (una explicación a fondo en este episodio de Coffee Break). Francis Villatoro, doctor en matemáticas y profesor en la Universidad de Málaga (de hecho fue profesor mío), explica que todavía hay que validar las más de 423.500 líneas de Lean, porque un preprint de Bastounis, Circelli y Hansen ha encontrado puntos en los que el código y el PDF “para humanos” no dicen lo mismo. Revisarlo a mano llevaría años. Ese es el temor de fondo: la IA resolverá problemas y, además de ser una caja negra, nos entregará soluciones crípticas que tardaremos meses en descifrar, si lo logramos. Por aquí ya hablamos de cómo las matemáticas pasaban a moverse a la velocidad de la máquina, cabe añadir que también con la complejidad de la misma.
Nadie sabe cómo te duerme el sevoflurano
El oncólogo Vinay Prasad ha entrado en el debate con un artículo de título poco diplomático: Terence Tao no entiende la medicina del cáncer. Si una combinación que nadie comprende supera una fase 3, sostiene, eso es evidencia del máximo nivel y no habrá paciente en la Tierra que diga «no, gracias». En situaciones desesperadas, los pacientes ya aceptan mucho menos: fármacos con buenos datos de fase 2, con respuesta en cinco personas o que sólo han funcionado en un ratón. El que ve la muerte cerca no está para objeciones epistemológicas.
Por si acaso, he ido a comprobar (obviamente con ayuda de la IA) los ejemplos de Prasad y su tesis aguanta. El mecanismo preciso del sevoflurano, uno de los anestésicos inhalados más usados del mundo, es desconocido, y ninguna hipótesis explica por sí sola sus efectos. La adriamicina (doxorrubicina) se aisló en 1969 y durante décadas se explicó por su acción con un mecanismo (sobre la topoisomerasa II), hasta que se demostró que expulsar histonas de la cromatina pesa mucho en su eficacia. Se puede seguir con muchos más ejemplos: del docetaxel en próstata aún se discute por qué funciona, el paracetamol lleva un siglo con un mecanismo que su literatura califica de misterio y, aun conociendo al detalle la diana del ibrutinib o el venetoclax, seguimos sin saber predecir en qué pacientes funcionarán.
Pero, siendo justos, hay que reconocer que la diapositiva de Tao incluye una pregunta a la que Prasad no atendió de entrada: ¿podría la solución estar desalineada y aprovechar alguna debilidad del ensayo o de sus modelos matemáticos? (el oncólogo sí que lo hizo en un segundo artículo). Volvemos al miedo al sistema entrenado por refuerzo que optimiza la recompensa explícita por una vía que consideramos indeseable, el de «Qué vio Ilya». Sospecho, eso sí, que el mismo problema afecta en todo caso a toda la medicina actual, cuyos ensayos también pueden presentar defectos metodológicos, incluso cuando los fármacos se han desarrollado sin IA. La postura del matemático por la que el objetivo de su disciplina es más la comprensión humana que acumular teoremas choca con la tradición pragmática y empirista de la medicina.
La tradición sabe más que nosotros
Joseph Henrich dedica un capítulo de su muy recomendable El secreto de nuestro éxito (Amazon, de momento sólo en inglés, por favor que alguien lo traduzca) a la mandioca amarga, que libera cianuro si no se procesa. El pueblo Tucano de la Amazonia la ralla, lava, prensa y deja reposar en un proceso largo y tedioso cuyo porqué nadie les ha explicado. La intoxicación crónica tarda años en aparecer, así que nadie podría haber deducido el procedimiento razonando, y una madre que se saltase los pasos que le parecen inútiles porque nadie le ha demostrado el mecanismo por completo envenenaría poco a poco a su familia. Henrich lo llama opacidad causal y concluye que la evolución cultural es, a menudo, más lista que nosotros. Somos miméticos: imitamos costumbres y técnicas que nadie nos explica, y esas tradiciones, sometidas a la competencia evolutiva, saben más que cualquiera de quienes las practican.
Los científicos cognitivos Hugo Mercier y Olivier Morin objetaron que el amargor guiaba el procesado: había una señal para comprobar el resultado, lo que es una forma de decir que pesaba más la evolución biológica que la cultural. Pero es un matiz que no tumba la tesis fuerte del libro de Henrich: la humanidad lleva miles de años confiando en reglas y procesos cuya motivación causal no sabemos. Si el amigo Tao quiere un contraejemplo, lo puede encontrar en nuestra tradición cultural.
Pero queda la gran objeción: si aceptamos sistemas cada vez más complejos diseñados por la IA, podemos acabar dependiendo de artefactos que ningún humano entienda. Volvemos a una rendición cognitiva, pero esta vez a escala de civilización. Si volvemos a la analogía, sabemos que el fármaco ha superado una fase 3, una fase 2, si sólo viene de funcionar en ratones o de nada. El mecanismo por el que funciona puede ser opaco, pero tenemos la verificación a mano. Quizás esta pueda ser una regla pragmática para funcionar con inteligencia artificial sobrehumana.
Explíqueme por qué no me dan el préstamo
¿Cuándo aceptaremos entonces la caja negra? Samir Rawashdeh parte del ejemplo de que tampoco sabemos explicar cómo reconocemos a un gato (perdimos la pista de qué ejemplos nos enseñaron qué) para señalar la falta de explicabilidad de la mente humana. Y que aun así, un sistema que te niega un préstamo o te descarta para una entrevista de trabajo sin decir por qué, difícilmente nos parecerá justo.
Son situaciones en las que, de entrada, no hay una forma externa de comprobar que funciona. Volviendo a la medicina, la supervivencia en un ensayo es medible; la justicia de que no te concedan un seguro, te despidan o no te asciendan no tiene un resultado contra el que contrastarla, y lo único que nos queda es conocer las razones para discutirlas. Pero también está el quién decide sobre quién. Un paciente puede aceptar la caja negra para sí mismo pero al solicitante del préstamo se la impone el banco. El reglamento europeo de IA ya reconoce un derecho a explicación ante ciertas decisiones (contratación laboral, concesión de créditos, educación, acceso a servicios esenciales o algunas actuaciones de las administraciones públicas), pero es que también está quién tiene la culpa cuando el agente de IA se equivoca. Tiene su punto paradójico: a la máquina le exigiremos explicaciones que nunca le pedimos de verdad al jefe de recursos humanos, ¡cuyas razones a menudo se construyen a posteriori! Pero, al menos, la decisión del jefe puede impugnarse y existe un responsable humano o empresarial al que exigir explicaciones. O demandar por discriminación.
Estamos al principio de un camino, el de la inteligencia artificial de nivel sobrehumano en algunas disciplinas, aplicado a las ciencias y las prácticas humanas. Una exigencia de máximos en la explicabilidad nos llevaría a renunciar a avances y mejoras enormemente útiles; una concesión a que en cualquier caso toleramos la caja negra nos lleva a la sospecha permanente (la empresa, el Estado, el laboratorio de IA nos pueden estar discriminando), la renuncia a la comprensión y finalmente a un sentimiento de alineación ante una inteligencia superior, ajena y extraña, que nos marca el camino.
Imágenes: Antonio Ortiz con Magnific.