La moderación de contenidos en las redes sociales está cambiando el lenguaje
Descubra más de Error500
La moderación de contenidos en las redes sociales está cambiando el lenguaje
Se le llama "creatividad maligna" pero es a veces es simple oposición a ser moderados por una maquinaria todopoderosa y oscurantista
Nina Jankowicz es una investigadora y escritora estadounidense que saltó a la primera página del debate político de su país al ser elegida por la administración Biden para encabezar la recién formada Junta de Gobernanza de la Desinformación del Departamento de Seguridad Nacional. Esta iniciativa duraría apenas un mes, lo que tardó en convertirse en una patata caliente al señalarla la derecha como una institución para la censura política e ideológica y atacar a Jankowicz por haber denunciado en 2020 que el caso del portátil del hijo de Biden era probablemente propaganda rusa
Al hilo de la noticia Jankowicz me interesé por su trabajo de investigación y así llegue al siguiente informe, del que es coautora: “Creatividad maligna: Cómo el género, el sexo y las mentiras se convierten en armas contra las mujeres en Internet”. En él, además de estudiar y subrayar los ataques que sufren diferentes colectivos, analiza los métodos que se utilizan para saltarse la moderación de contenidos en redes, plataformas y foros de internet
Es a lo que se refieren las autoras - además de la mencionada Jankowicz lo firman Jillian Hunchak, Alexandra Pavliuc, Celia Davies, Shannon Pierson y Zoë Kaufmann - con “creatividad maligna”. Se trataría del “uso de lenguaje codificado, memes visuales basados en el contexto o textuales y otras tácticas para evitar la detección en las plataformas de redes sociales”
Cada plataforma se arma con un sistema algorítmico que detecta una serie de palabras prohibidas. Para imponer la norma se plantean diferentes tipos de castigo: borrado del contenido, cese de los ingresos publicitarios por la pieza en los sitios que los ofrecen (el famoso “desmonetizar” de Youtube), limitación en el alcance del contenido o de la cuenta entera (el “shadow banning”) y hasta “baneo” definitivo, algo en lo que suelen ser tenidos en cuenta la gravedad del término y la reincidencia.
Estos listados de palabras prohibidas suelen permanecer ocultos, lo que desemboca en rumores, invenciones, secretos a voces y teorías conspirativas. Ante esto, los participantes en las redes y los creadores de las plataformas tienen dos vías. Una es adoptar un lenguaje más blanco, libre de cualquier expresión que pueda ser polémica para hacerse merecedores de la clemencia del algoritmo y autocensurarse cualquier palabra que circule como no agradable para el algoritmo. La otra es ofuscar, disfrazar con otras palabras y memes lo que se quiere decir y mantener el objetivo inicial, sea simple expresividad natural o ataque a algún colectivo o individuo
Esta creatividad - que muchas veces no es maligna sino simple oposición a ser moderados por una maquinaria todopoderosa y oscurantista - tiene diferentes niveles de sofisticación. Cambiar una letra por un símbolo u otra letras, véase “pel*otudo” por “pelotudo” o el caso de “pvta” por “puta” supone un primer intento. Para añadir un grado más de dificultad tenemos el cambio de varias - “nepes” por “penes” - o el uso de acrónimos - “HDLGP” - Para una mayor dificultad de detección se usan referencias veladas más o menos complicadas como “a los que no les gusta el jamón” para referirse a musulmanes o “la n palabra / la m palabra” para hablar de forma peroyativa de alguien negro u homosexual
A todo este fenómeno se refería Tylor Lorenz cuando hablaba de “AlgoSpeak” en el Washington Post, partiendo de la detección de la tendencia de la usuaria badidea y del término acuñado por “Just Loki”. Me pareció ilustrativo del camino de ida y vuelta de la creatividad en el lenguaje para burlar a los algoritmos un ejemplo de su pieza. Explica Lorenz cómo los usuarios de TikTok angloparlantes ahora usan la frase "le dollar bean" en lugar de "lesbiana" porque es la forma en que la función de texto a voz de TikTok pronuncia "Le$bian", una forma censurada de escribir "lesbiana" que los usuarios creen que evadirá la moderación de contenido.
Hay casos chanantes, como el de sustituir “vibrador” por “berenjena picante”. No es que TikTok o youtube vayan a borrarte la cuenta por usar vibrador pero sí que es posible - y aquí hay cierto espacio para leyendas urbanas digitales - que se encuentre en el listado de palabras que provoquen una disminución en el alcance: las plataformas quieren evitar ser percibidas como muy sexuales, algo que no gusta demasiado a la mayoría de anunciantes
Pero también tenemos un reverso, digamos, “orwelliano”. En lugar de suicidio hay quien utiliza en el internet anglosajón la expresión “becoming unalive”. Los grupos de tendencias más extremas y minoritarias tienen una tendencia reforzada hacia un léxico que ofusca sus intenciones. Suicidas y personas con desórdenes alimentarios hace mucho que crearon sus jergas al margen. Conforme son conocidas y se prohíben, desarrollan nuevas
¿Qué se puede hacer para que no se tenga que llegar a estas prácticas de camuflaje? Por aquí hemos dejado escrito que la mayoría de usuarios no va a encontrar disfrutable una plataforma de máximos de libertad de expresión, sin moderación. Partiendo de que cada sitio en internet puede establecer una serie de reglas para participar en él - aunque aquí rompo una lanza, por la centralidad que tienen algunos en la vida pública de nuestras sociedades, deberíamos crear un marco que imponga una cierta libertad de expresión y una neutralidad en aspectos clave - cabría esperar de ellos una transparencia que no practican. No sabemos qué moderan exactamente ni qué castigos conlleva cada penalización.
Aceptemos que con millones de mensajes al día, estas plataformas están abocadas a un sistema automático ligero con intervención humana sólo reactiva. Ahora bien, en los tiempos de un nuevo tsunami de inteligencia artificial cabría esperar mecanismos más sofisticados para la moderación que separaran lo literal de la intención. Al igual que la inteligencia contraterrorista busca más patrones en los sospechosos que detección de expresiones como “bombas” o “atentado”, es probable que veamos avance en este sentido. El peor escenario es posible, unos algoritmos censores todavía más oscuros con falsos positivos con los que mensajes inocentes se llevan presencias en internet de años.
Decía la filóloga Lola Pons Rodríguez en Biblioteca Pública que el lenguaje juvenil es efímero, nace y muere con cada generación. Hasta hace poco era más fácil saber cómo se hablaba en el siglo XIX que cómo era el habla adolescente de hace unos años. En eso las redes sociales están sirviendo como corpus y deberían facilitar la labor a filólogos e historiadores. A quienes tengan que desentrañar el enorme lío de memes, expresiones crípticas y palabras adulteradas para evitar el castigo de los algoritmo no les auguro tarea fácil
Imágenes: Antonio Ortiz con StableDiffusion
Publicado originalmente en Retina