Novela ganadora de premio es cuestionada por uso de IA, según detector Pangram
La novel·la 'On l'aigua treballa', escrita per l'autor peruà David Silva Rojas, es va alçar al juliol amb el primer Premi Internacional de Novel·la Breu Almadía Ventosa-Arrufat, dotat amb 20.000 euros. Aquesta obra va ser seleccionada entre més de 2.200 escrits de 22 països, sota la condició que no havia d'estar escrita, ni parcialment ni totalment, amb eines d'intel·ligència artificial (IA). No obstant això, un escàndol ha sorgit després que El País revelés que, després de passar el llibre pel detector Pangram, la novel·la conté un 99% de text generat per una IA.
Pangram és un classificador de text basat en xarxes neuronals que intenta distingir si un text està fet per un humà o per un model de llenguatge. Segons els seus creadors, el detector té una baixa taxa de falsos positius i negatius, i ha estat comparat favorablement amb altres detectors comercials en un estudi independent de la Universitat de Chicago.
El mètode de detecció utilitzat per El País va incloure l'anàlisi de 175 èxits literaris, revelant que 4 de cada 10 supervendes autopublicats a Amazon tenen almenys un 25% de contingut generat per IA. No obstant això, la fiabilitat de Pangram no està exempta de crítiques. Malgrat la seva sofisticació, el detector no és infal·lible, i existeixen proves que evidencien els seus límits, com el fet que un assaig humà modificat per una IA pot ser etiquetat com a humà en un 41% dels casos.
El problema de fons és que un percentatge elevat d'IA en un text no constitueix una prova definitiva d'autoria. Aquests sistemes només estimen la probabilitat que un text hagi estat generat amb IA, sense aclarir el paper exacte de la persona i la màquina. La línia entre creació humana i assistida per IA és sovint difusa, i un fals positiu pot destruir una reputació, mentre que un fals negatiu no costa res.
La novela ‘Donde el agua trabaja’, escrita por el autor peruano David Silva Rojas, se alzó en julio con el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, dotado con 20.000 euros. Esta obra fue seleccionada entre más de 2.200 escritos de 22 países, bajo la condición de que no debía estar escrita, ni parcial ni totalmente, con herramientas de inteligencia artificial (IA). Sin embargo, un escándalo ha surgido después de que El País revelara que, tras pasar el libro por el detector Pangram, la novela contiene un 99% de texto generado por una IA.
Pangram es un clasificador de texto basado en redes neuronales que intenta distinguir si un texto está hecho por un humano o por un modelo de lenguaje. Según sus creadores, el detector tiene una baja tasa de falsos positivos y negativos, y ha sido comparado favorablemente con otros detectores comerciales en un estudio independiente de la Universidad de Chicago.
El método de detección utilizado por El País incluyó el análisis de 175 éxitos literarios, revelando que 4 de cada 10 superventas autopublicados en Amazon tienen al menos un 25% de contenido generado por IA. Sin embargo, la fiabilidad de Pangram no está exenta de críticas. A pesar de su sofisticación, el detector no es infalible, y existen pruebas que evidencian sus límites, como el hecho de que un ensayo humano modificado por una IA puede ser etiquetado como humano en un 41% de los casos.
El problema de fondo es que un porcentaje elevado de IA en un texto no constituye una prueba definitiva de autoría. Estos sistemas solo estiman la probabilidad de que un texto haya sido generado con IA, sin aclarar el papel exacto de la persona y la máquina. La línea entre creación humana y asistida por IA es a menudo difusa, y un falso positivo puede destruir una reputación, mientras que un falso negativo no cuesta nada.
The novel 'Where the Water Works', written by Peruvian author David Silva Rojas, won the first Almadía Ventosa-Arrufat International Short Novel Prize in July, endowed with 20,000 euros. This work was selected from over 2,200 entries from 22 countries, under the condition that it must not be written, either partially or entirely, with artificial intelligence (AI) tools. However, a scandal has arisen after El País revealed that, after passing the book through the Pangram detector, the novel contains 99% of text generated by AI.
Pangram is a text classifier based on neural networks that attempts to distinguish whether a text is made by a human or a language model. According to its creators, the detector has a low rate of false positives and negatives and has been favourably compared to other commercial detectors in an independent study by the University of Chicago.
The detection method used by El País included the analysis of 175 literary hits, revealing that 4 out of 10 self-published bestsellers on Amazon have at least 25% of content generated by AI. However, the reliability of Pangram is not without criticism. Despite its sophistication, the detector is not infallible, and there is evidence showing its limits, such as the fact that a human essay modified by AI can be labelled as human in 41% of cases.
The underlying issue is that a high percentage of AI in a text does not constitute definitive proof of authorship. These systems only estimate the probability that a text has been generated with AI, without clarifying the exact role of the person and the machine. The line between human and AI-assisted creation is often blurred, and a false positive can destroy a reputation, while a false negative costs nothing.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →