Sobre si la inteligencia artificial ganará antes un Nobel de ciencias que el premio Pulitzer

Sobre los límites de los LRM o modelos de lenguaje razonadores: el aprendizaje por refuerza los lleva a gran nivel en programación y matemáticas... ¿los llevará en cualquier tarea del conocimiento?

"Incluso si el progreso de la IA se estanca completamente hoy y no llegamos a la AGI... los sistemas actuales ya son capaces de automatizar TODOS los trabajos de cuello blanco en los próximos cinco años"

Esta entrevista de Dwarkesh Patel a Sholto Douglas y Trenton Bricken, investigadores de Anthropic, recoge muy bien uno de los que considero temas nucleares ahora mismo respecto al nivel y futuro de la inteligencia artificial.

La pregunta clave es si la introducción del aprendizaje por refuerzo (véase una introducción que hago en vídeo a este modo de entrenar a la IA) para empujar a “razonar” a los modelos grandes de lenguaje les llevará a mejorar en cada faceta del conocimiento o sólo ayudará en aquellas tareas en las que tengamos recomensas objetivas y verificables.

Lo que sostienen estos investigadores es que si puedes construir un "juez" automático y fiable para una tarea, puedes entrenar a una IA para que se vuelva experta en ella. Es por ello que ven más plausible conseguir que la inteligencia artificial gane un Nobel de ciencias que el premio Pulitzer: antes demostraría una teoría científica valiosa que crear una obra de arte meritoria.

Es por eso que los modelos razonadores como la serie o de OpenAI o los nuevos Claude (que funcionan de los dos modos, como LLM clásico y como LRM, large reasoning model) han seguido mejorando en tareas como juegos lógicos, programación o matemáticas. Es factible en aprendizaje por refuerzo establecer un bucle de retroalimentación claro y verificable: las pruebas unitarias del código, si compila, la demostración matemática o el resultado de la misma.

Douglas y Bricken confían en que la técnica es exportable a casi cualquier tarea del conocimiento y la creatividad si defines un objetivo medible y creas un entorno “de aprendizaje”. ¿Podrán estas IAs reservar vuelos, por ejemplo? Su apuesta es que sí, porque la podemos poner a intentarlo y hay una verificación clara (la pantalla de compra o la recepción del correo de confirmación).

Más a fondo lo debatimos largo y tendido en el último episodio de monos estocásticos

Este argumento se resulta persuasivo, pero a la vez presenta los límites y problemas de aplicar aprendizaje por refuerzo a los modelos grandes de lenguaje. Tenemos que la función de recompensa (la que evalúa si consigue la tarea y refuerza el aprendizaje) es muy específica: no es sólo que aprender a comprar vuelos requiera un entrenamiento propio, es que es probable que la IA no sea capaz de generalizar a otros sistemas de venta.

Además pensamos en tareas y no en trabajos completos. Las disciplinas humanas del conocimiento y la creatividad son mucho más complejas, requieren un entendimiento mucho más profundo del problema que estamos abordando, interacción y comprensión social, un conocimiento implícito no representado en los datos susceptibles de ser usados para entrenar una IA.

Relacionado:

Una salida a este enfoque sería que los modelos razonadores realmente aprendieran a realizar búsquedas en el espacio de soluciones de la manera de pensar humana. Pero aquí volvemos a un callejón habitual en el ciclo del hype de las técnicas de IA: esperamos que a partir de un aprendizaje el sistema generalice y emerjan capacidades fruto de la complejidad del sistema.

En ese sentido, el último paper de Apple, “La ilusión del pensamiento”, ha supuesto un jarro de agua fría, aunque hay que leerlo en su justa medida. Carlos Santana lo analiza muy bien: es más un reflejo de los límites técnicos de los modelos razonadores actuales que una enmienda a la totalidad.

¿Qué podemos establecer entonces sobre la osada afirmación de estos investigadores respecto a que los sistemas actuales ya son capaces de automatizar todos los trabajos de cuello blanco en los próximos cinco años? Que hay un escenario que se va a intentar: la creación de agentes muy especializados y ad hoc para resolver tareas (que no trabajos completos) y que, en todo caso, cargan con el pecado original de la alucinación

Algo a subrayar: lo que ya se está empezando a implementar no es lo mismo que apuntan desde Anthropic. Actualmente se plantea que un agente inteligente con el contexto adecuado (la información necesaria sea vía RAG o por otro agente, el promtp adecuado del integrador) y el modelo general de IA sea capaz de ejecutar tareas de profesiones del conocimiento. Lo que dicen los investigadores de la entrevista es diferente: nuevos entrenamientos con aprendizaje por refuerzo para que el modelo sepa hacer la tarea al nivel de un humano experto.

Volvemos a la dinámica habitual en IA. Es probable que las implementaciones actuales de agentes inteligentes decepcionen, en parte por tener los pies de barro en parte porque se acelera y se integran antes de que la tecnología esté madura. Pero a largo plazo, en unos años, el escenario puede cambiar radicalmente. Es el clásico “sobreestimar lo que la inteligencia artificial puede hacer a corto plazo, subestimar lo que va a conseguir en el futuro”.