Creo haber encontrado a un columnista de uno de los grandes periódicos españoles que ha publicado varias piezas redactadas, al menos en una proporción importante, con Claude. Lo sospeché al leer una de sus columnas compartidas por un amigo y luego Pangram reforzó mi recelo. A ojos de la herramienta, “100% escrito con IA”.
¿Qué se hace en estos casos? Alguno pensará que debería señalarlo públicamente o, al menos, comunicarlo al periódico. Después de todo, tras la entrada en vigor de parte de la AI Act el pasado agosto, se promueve que lo creado con IA debe identificarse como tal (aunque existe precisamente una excepción cuando los textos destinados a informar sobre asuntos de interés público han pasado por revisión humana o control editorial). En mi caso, el “creo” del principio me mantiene en la inacción: no tengo acceso a las conversaciones del autor con Claude, ni al historial de edición, ni conozco en realidad al columnista.
En 2023 comentamos por aquí la emergencia del fenómeno “Todo se ha hecho con IA mientras no se demuestre lo contrario”, en un momento tecnológico en el que los detectores eran bastante malos (GPTZero llegó a identificar como humano un texto que yo mismo acababa de pedir a ChatGPT). Sin embargo, la intuición general de aquel artículo ha envejecido razonablemente bien. «La abundancia de contenido generado automáticamente con IA nos conduciría a una situación en la que todo texto, imagen o vídeo sería recibido con sospecha. Tres años después, la tecnología de detección ha mejorado mucho y la desconfianza, la denuncia y el rechazo se han convertido en el aire que respiramos cada día en internet.
Esa opinión tan tuya que no has escrito.
En Estados Unidos andan discutiendo sobre el mismo dilema en el que me encuentro con el columnista. El inversor Stanley Druckenmiller publicó en The Wall Street Journal una tribuna rechazando el plan del Tesoro de Estados Unidos para la deuda. Tras las acusaciones de varios lectores, reconoció que había utilizado inteligencia artificial para redactarla y explicó que ya escribe todo con IA por la misma razón por la que usa una calculadora para hacer operaciones matemáticas.
Lo interesante, en mi opinión, es que Paul Gigot, responsable de las páginas editoriales del periódico, defendió la publicación. A su juicio, lo importante era que el argumento expresase realmente la opinión de Druckenmiller y que este tuviera la autoridad necesaria para sostenerlo. Más delicado aún: tampoco veía necesario advertir al lector. Desde hace décadas, añadió, los diarios publican bajo la firma de políticos y ejecutivos tribunas redactadas por asesores, empleados y departamentos de comunicación. Nieman Lab preguntó a responsables de opinión de 24 periódicos estadounidenses y ninguno de quienes respondieron estaba dispuesto a adoptar una posición tan, diríamos, ligera.
El dilema está en qué le cabe esperar al lector cuando ve una columna firmada. A ojos del WSJ, una opinión puede seguir perteneciendo a alguien aunque otra persona (o una máquina) le ayude a expresarla. La firma actuaría sólo como garantía de que el firmante sostiene públicamente las afirmaciones y asume sus consecuencias, pero no de que él mismo haya redactado el texto.
No puedo evitar volver sobre posiciones pasadas. Como expliqué en «Si a ti no te merece la pena escribirlo, a mí no me merece la pena leerlo», utilizo inteligencia artificial para buscar fuentes, resumir documentos, traducir, encontrar objeciones y revisar textos. La división entre «obra humana» y «obra con IA» es demasiado simple, por binaria, para describir cómo trabajaremos. Al mismo tiempo, en comentarios y plataformas, la gente hace notar su sentir de que perciben como mucho menos meritorio un texto en el que detectan trazas de chatbot.
Pangram no es GPTZero ni Turnitin.
Un estudio de la Universidad de Chicago comparó Pangram, GPTZero, OriginalityAI y un clasificador abierto con 1.992 textos humanos de seis géneros y sus equivalentes generados por varios modelos de IA. Como sucede con mucha investigación de grandes modelos de lenguaje, los auditados están ya desfasados, pero cabe anotar que Pangram obtuvo tasas de falsos positivos entre el 0% y el 0,75%. En ese momento cambiaron mi percepción, y creo que la de muchos, sobre la fiabilidad de este tipo de herramientas.
Pangram no se limita a buscar palabras como delve (ahora me zruzo mucho con lo de «infraestructura») o a contar guiones largos. Compara distribuciones lingüísticas aprendidas de grandes cantidades de textos humanos y sintéticos. Su fundador, Max Spero, explica que la huella del delito en el caso de escritura con IA ha ido mutando. Primero aparecía en palabras concretas; después en construcciones como «no es solo X, sino Y»; ahora se detecta en bloques más largos. Una de las señales actuales que menciona consiste en algo que a mí me resulta especialmente irritante: que cada frase intenta sonar como la conclusión definitiva del párrafo, con una sucesión de enunciados enfáticos con pretensión de “insights” agudos, que dirían los anglosajones.
En todo caso, la posibilidad de error de Pangram es demasiado grande para señalar públicamente a alguien. Cuanto más revisito análisis de su fiabilidad, más me arrepiento de haberme metido en ese charco (y más aún haberlo hecho con el caso de la encíclica del Papa). Si me permiten expresarlo en el estilo en el que abundan los sistemas de IA actuales, “Pangram es un indicio, no una prueba”.
Salvar los textos humanos en internet.
Hay avances que podemos anticipar: que los sistemas de IA irán ofreciendo más diversidad estilística (ya lo hacen si eres un usuario sofisticado); que, por bueno que nos parezca algo creado con ellos, si se hace ubicuo, dejará de gustarnos; que los creadores, medios y lectores tendremos que ponernos de acuerdo en una norma cultural. Yo me aventuro con otra: puestos a leer textos con IA prefiero pedírselos directamente a ella directamente.
Hay un mundo que empieza y otro que no se da cuenta. Así es como se explica que escritores con IA ganen concursos literarios o de creación gráfica con jurados poco sofisticados, ajenos a los avances tecnológicos, mientras que en el otro extremo hay gente que ha automatizado su presencia continua en internet, publicando y comentando con un sistema de IA que les ayude con su fama (y con su negocio) digital.
Pangram podría tener razón sobre el dichoso columnista. De hecho, estoy bastante convencido de que escribe con Claude. Siempre hay negocio temporal, aprovechable, en el tiempo de difusión de una innovación. No hace falta que lo señalemos ni publiquemos su nombre. Esas ventanas, después de todo, suelen ser muy cortas.
Imágenes: Antonio Ortiz con Magnific.
Antonio, se me ponen los pelos de punta cuando veo tasas de falsos positivos de Pangram cercanas al nulo. Mi extrañeza viene de mi propia experiencia de utilizarlo. Sé cuánto he usado de IA al escribir en un artículo y puedo compararlo con el % que da Pangram (y lo que les pasa a algunos colegas de confianza), así que mi test es fiable. Y los resultados que da son a menudo un cachondeo.
Este dato del estudio que citas es demasiado perfecto para ser verdad, así que me puse a hurgar en el paper. La ironía es que lo hice también con ayuda de ChatGPT. Y mi hipótesis inicial, la que yo me plantee en modo escéptico, he visto que parece estar bien encaminada: ¡el benchmark está midiendo un entorno especialmente favorable para el detector!
Primero, el estudio prueba Pangram con textos de grandes bases públicas, pero no sabemos si muchos de los textos del «examen» y el corpus humano, son muy parecidos, pudieron formar parte de su entrenamiento. Es como evaluar a un alumno sin poder asegurar que no haya visto antes parte del banco de preguntas. No invalida el resultado, pero sí obliga a tomar ese resultado casi infalible con mucha cautela.
Una prueba que me parecería más realista sería reunir miles de textos humanos recientes y ajenos al entrenamiento de Pangram, con autoría verificable, y mediría entonces los falsos positivos sin que el detector pueda ajustarse. Y, además, ahora viene la otra gran pega que le pongo: habría que incluir los casos intermedios: textos humanos editados, corregidos con herramientas o retocados parcialmente con IA.
Según he entendido por el paper (igual se me escapó algo), se le pide a Pangram sobre todo distinguir casos extremos (humano puro vs. IA pura), no los casos ambiguos donde en la práctica aparecen muchas de las falsas acusaciones. La prueba enfrenta dos extremos fáciles de distinguir: texto 100 % humano frente a texto 100 % generado por IA. Pero el mundo real está, como sabes, lleno de casos híbridos: textos humanos muy pulidos, corregidos o parcialmente asistidos por IA, y textos de IA muy reescritos por personas.
Según entendí, el paper pregunta algo así como: ¿Puede Pangram distinguir textos humanos inequívocos de textos generados íntegramente por IA?. Pero mi experiencia, la que vivo por ejemplo en mi Substack, plantea una pregunta mucho más incómoda: ¿Qué ocurre cuando le doy textos humanos contemporáneos, muy pulidos, con estilos que se parecen estadísticamente a la IA o con algún grado de asistencia digital?. Y esta segunda pregunta me parece mucho más relevante si queremos saber si Pangram puede acusar injustamente a una persona de «haber usado IA».
Con todas estas cautelas, sí que parece que Pangram puede ser útil al menos para una cosa: filtrar con bastante eficacia el texto totalmente sintético y descartar buena parte del slop generado íntegramente por IA. Si se usa para eso, yo aplaudo hasta con las orejas. Si se usa para acusar a la gente de haber usado IA (un calificativo que está lleno de grises), yo me bajo de ese autobús…