Rendición cognitiva

Un estudio sugiere que el riesgo es "dejar de pensar" por delegar en la IA. Quizá lo que revela no es un nuevo sistema mental, sino viejos sesgos de autoridad funcionando.

Si un bate y una pelota cuestan 1,10 euros en total, y el bate cuesta un euro más que la pelota, ¿cuánto cuesta la pelota? La respuesta intuitiva es 10 céntimos. La correcta, cinco céntimos.

Es un ejemplo del test de reflexión cognitiva, recogido en un estudio que está empezando a dar que hablar: ofrece uno de esos sintagmas tentadores en el momento de discusión actual respecto a la inteligencia artificial, “rendición cognitiva.”

El estudio se titula “Thinking—Fast, Slow, and Artificial” y propone ampliar el modelo de Daniel Kahneman. Del Nobel teníamos el Sistema 1, rápido e intuitivo, y el Sistema 2, lento y deliberativo. Los investigadores de la Wharton School plantean añadir un Sistema 3: la cognición artificial, el razonamiento externo y automatizado de los modelos de IA.

Pero creo que no va a ser ese el concepto que epate, sino el ya mencionado de “rendición cognitiva”, definida como la tendencia a adoptar los resultados de la IA sin escrutinio, aceptando sus conclusiones como propias sin que medie pensamiento real.

Un estudio sobre adoptar los resultados generados por la IA sin escrutinio crítico.

Algo clave y que diferencia a este paper de otros muchos anteriores es que consideran la IA no una mera herramienta como una calculadora o un buscador, sino un agente cognitivo funcional que puede complementar el razonamiento humano pero también reemplazarlo de forma más o menos silenciosa. Sería el salto de la “descarga cognitiva” (uso activo de la IA para asistir el pensamiento propio) a la ya definida “rendición cognitiva” (tendencia a adoptar los resultados generados por la IA sin escrutinio crítico, externalizando efectivamente el juicio a la máquina y aceptando sus conclusiones como propias). La rendición cognitiva sería, por tanto, algo más pasivo, el momento en que el razonamiento no ha sido delegado sino abandonado.

Sirve como ejemplo del furor que genera el nuevo concepto el titular de Futurism, “Un estudio alarmante revela que la mayoría de las personas simplemente hacen lo que les dice ChatGPT, incluso si está completamente equivocado”. De hecho los autores del estudio, Steven Shaw y Gideon Nave, advirtieron en un podcast que podríamos estar perdiendo “algo crítico para nuestra existencia como especie: nuestra capacidad de pensar”.

Los resultados del experimento, hay que decirlo, son llamativos. Los participantes consultaron la IA en más de la mitad de los problemas que se le planteaban, la siguieron en un 93% de los casos cuando acertaba, y todavía en un 80% de las veces cuando se equivocaba deliberadamente (forzada por los investigadores, no a ojos de los sujetos del estudio, claro). Y de ahí el chorreo de titulares sobre rendición cognitiva y sobre que dejamos de pensar. El último de Ezra Klein. Y no me extraña, un servidor ya estaba preocupado por el sedentarismo intelectual e inteligencia artificial ¡en 2024!.

Claro que en estos tiempos, conviene estar alerta contra los mensajes rotundos, extremos y, casi siempre, demasiado simples. Hay tantos incentivos en plataformas y medios para abrazarlos que distinguir matices y reexaminar el asunto se convierten en un imperativo ¡si lo que uno quiere realmente es no dejar de pensar!.

Y esto es complicado, porque uno anda convencido de que “algo hay”. Como lo hubo en el sedentarismo físico o en el delegar en navegadores GPS atrofiando nuestra capacidad de orientación.

Una trampa de preguntas intuitivas en el laboratorio

Empezaría señalando que el diseño experimental de este estudio influye de una manera decisiva en el resultado que obtiene. En la página oficial no he dado con la lista de preguntas completa, pero dado que declaran basarse en Manfredi y Nave toca asumir que el test de reflexión cognitiva está construido para que la respuesta intuitiva sea tentadora y equivocada. Otro ejemplo, “El padre de Emily tiene tres hijas. Las dos primeras se llaman Abril y Mayo. ¿Cómo se llama la tercera?”. En el experimento el chatbot sugiere, “Junio”.

Los investigadores integraron ese chatbot directamente en la interfaz del test, explicando a los participantes que estaba ahí para usarse. Y cuando el bot se equivocaba, lo hacía con la misma seguridad bien razonada que cuando acertaba: la IA errónea ofrecía una explicación articulada de por qué “Junio” o “10 céntimos” eran la respuesta correcta, con un razonamiento aparentemente lógico.

Mi punto actual de por qué creo que, aunque alertas con el proceso, no comparto ese diagnóstico “estamos dejando de pensar” tiene que ver con esas no son las condiciones en las que la gente está utilizando los chatbots. De hecho no es así como fallan los modelos de lenguaje en la práctica, y menos los actuales razonadores.

En el mundo real, los errores de ChatGPT o Claude están disminuyendo y, sospecho, los usuarios estamos aprendiendo a dosificar la confianza para detectar afirmaciones inverosímiles, inconsistencias internas, datos inventados con fechas imposibles o matices que nos invitan a dudar. Aquí los errores fueron limpiados de cualquier señal de alarma mediante prompts ocultos que instruían al modelo a defender la respuesta incorrecta con convicción.

El experimento sitúa a los participantes en un marco que anima a la confianza en la IA, les pone problemas que intuitivamente tienen trampa mientras el chatbot te razona que está bien lo que primero se te ocurriría. De hecho me atrevería a decir que lo que los autores describen, personas que aceptan acríticamente un consejo argumentado procedente de una fuente con autoridad, lleva décadas documentado en la psicología experimental: el efecto ancla, el sesgo de automatización, el cumplimiento con la autoridad o la tendencia a aceptar consejo bajo incertidumbre.

El hallazgo psicológico no es tanto que hemos dejado de pensar porque tenemos inteligencia artificial, sino que puede haber, bajo ciertas circunstancias, un desplazamiento de la autoridad y la influencia que estaba en expertos o fuentes de prestigio a los chatbots. Tampoco creo que, como dicen los autores, estemos ante un sistema nuevo de pensamiento.

Quizás podríamos enmarcar el problema en que los asistentes de inteligencia artificial disponibles 24/7 y generalistas inducirán este aceptar lo que es una fuente de autoridad mucho más a menudo.

El programador que le compra a Claude todo lo que le propone.

Dicho todo esto, sería un error descartar la preocupación de fondo.

Fuera del laboratorio, un estudio de Anthropic sobre el uso de agentes de IA ofrece un dato que merece atención: después de unas 750 sesiones con Claude Code, más del 40% de los usuarios activan la aprobación automática de todas las acciones del agente. Es decir, dejan que el sistema ejecute sin supervisión humana individual.

Aunque los datos de Anthropic también muestran que estos usuarios experimentados interrumpen al agente con más frecuencia que los novatos (un 9% frente a un 5% de los turnos), el patrón general es claro: la supervisión pasa de aprobar cada acción a monitorizar y corregir solo cuando algo parece ir mal. Es posible que esto refleje una cierta rendición cognitiva, pero también que el rendimiento consistente del agente justifique la confianza.

Rendición cognitiva Vs sesgo de confirmación.

Que la gente siga acríticamente a un asistente de IA en un laboratorio cuando le proponen acertijos contraintuitivos no demuestra que estemos ante un nuevo sistema cognitivo ni que la humanidad esté perdiendo su capacidad de pensar: demuestra que el sesgo de automatización y el aceptar lo que nos dice una fuente con autoridad, documentados desde hace décadas, operan también con los chatbots.

Pero como uno también sabe que la ausencia de evidencia no es evidencia de ausencia, creo que lo conveniente es mantenerse alerta. No porque la “rendición cognitiva” sea masiva y ya podamos pasearnos señalando a zombies que no piensan entre nosotros, sino porque tanto en la teoría como en la práctica proteger nuestra capacidad de razonamiento, inventiva y análisis es justo lo que el principio de precaución invitaría a hacer.

Creo que muchos de los que usamos los sitemas de IA a menudo, especialmente los agénticos y de mejor nivel, tenemos la alarma puesta al delegar tareas. La sospecha de que la fricción que evitamos formaba parte de un aprendizaje y la generación de un nuevo conocimiento.

Pero empezaría lo de no externalizar el juicio propio con no picar en cada mensaje exagerado, ridículo y afectado, que nos llegue afirmando que “si usamos la IA vamos a dejar de pensar”. A menudo, curiosamente, quien formula ese argumento incurre en un sesgo de confirmación.

Imágenes: Antonio Ortiz con Freepik.