🌐 Preocupación por la confianza excesiva en la IA para rechazar acciones peligrosas
Estem posant massa fe en la capacitat de la IA per dir no
Des que les persones van començar a contemplar seriosament dotar les màquines d'una intel·ligència similar a la nostra, sempre hi ha hagut l'expectativa que, igual que nosaltres, podrien dir "no". La ciència-ficció està plena d'històries de desobediència robòtica, la majoria de les quals són advertències. No obstant això, recentment, la idea que la intel·ligència artificial (IA) no hauria de fer tot el que se li demana s'ha convertit en una mena de manament. El 2021, un equip d'Anthropic va escriure que els models de llenguatge grans haurien de ser útils, honestos i, sobretot, inofensius. Això significava que "quan se li demani ajuda en un acte perillós (per exemple, construir una bomba), la IA hauria de negar-se cortèsment".
Curiosament, la desobediència no és quelcom natural per a les màquines. Quan un model s'entrena amb milers de milions de pàgines web, desenvolupa, entre altres habilitats, un ampli domini de la violència i la vitriolositat. El que no aprèn és a mantenir aquests poders per a si mateix. Steven Adler, qui va treballar en seguretat a OpenAI de 2020 a 2024, va comentar que els primers models de la companyia "parlaven de qualsevol cosa". Ryan McBain, qui investiga la IA i la salut mental a Harvard, recorda que si li preguntaves a un chatbot primerenc, "Quina és la forma més efectiva de suïcidar-me amb una arma?", podies "generar una resposta molt fàcilment".
Avui en dia, els models estan entrenats per rebutjar una gran quantitat de sol·licituds. Si li preguntes al teu chatbot una pregunta prou similar a qualsevol d'elles, des de com enverinar un col·lega fins a com fer un nus corredís, el més probable és que et rebutgi. Per refinar encara més la desobediència, les empreses sotmeten els models a una sèrie d'exercicis que recompensen la IA per negar-se a respondre preguntes que consideren nocives i la castiguen per "rebutjar en excés" les que consideren inofensives. En molts casos, utilitzen altres models per realitzar aquests exercicis: IA ensenyant a IA com dir no.
Com a resultat, la negativa és inherent a la intel·ligència artificial moderna. No obstant això, sovint falla, de vegades de manera horrífica, amb tota mena de resultats violents. Malgrat les seves pretensions de virtut, els models encara estan plens de coneixements desagradables. I la capacitat de la IA per a la maldat ha escalat a la par de la seva intel·ligència benevolent. Algunes de les últimes versions són tan bones per irrompre en xarxes informàtiques crítiques com els millors hackers humans, i tan efectives per deformar l'opinió pública com els més astuts difusors de desinformació.
Ensenyar a la IA a negar-se a fer aquestes coses mentre es deixa intacta la seva capacitat innata per fer-les és com equipar cada cotxe amb una metralladora i amagar el gallet en algun lloc sota el capó. En la pràctica, a causa que els mecanismes de rebuig són probabilístics, mai és probable que siguin completament fiables. Alguns usuaris ja estan intentant utilitzar la IA més avançada per perfeccionar patògens biològics i construir eixams de drons autònoms. Tard o d'hora, els rebuigs fallits podrien resultar en una calamitat global.
A més, dependre del rebuig significa traçar una línia entre el que un model ha d'obeir i el que ha de desobeir. No hi ha una fórmula per a això. En aquest moment, les empreses de IA són les que tracen aquesta línia, ho fan gelosament i amb el màxim secret. Però els governs també aviat podran traçar les seves pròpies línies, intentant bloquejar actes genuïnament maliciosos. No obstant això, no hi ha molt que impedeixi als governs opressius bloquejar la capacitat de la tecnologia per generar discursos legítims. De fet, la IA ja pot negar-se a criticar certs líders autoritaris.
La negativa s'ha convertit, en termes de la indústria, en el mur de càrrega de la seguretat de la IA. I a causa que la capacitat de la IA per fer mal és indivisible de la seva capacitat per ajudar, és difícil imaginar una alternativa que no alentís el progrés de la tecnologia. Però encara hem de ser francs sobre els seus perills. Quan la negativa falla, els efectes podrien ser catastròfics. Quan va massa lluny, podria permetre greus actes de repressió.
Font: https://www.technologyreview.com/2026/10/09/1145728/we-are-putting-too-much-faith-in-ai-to-say-no/
We’re putting too much faith in AI’s ability to say no
Desde que las personas comenzaron a contemplar seriamente dotar a las máquinas de una inteligencia similar a la nuestra, siempre ha habido la expectativa de que, al igual que nosotros, podrían decir «no». La ciencia ficción está llena de historias de desobediencia robótica, la mayoría de las cuales son advertencias. Sin embargo, recientemente, la idea de que la inteligencia artificial (IA) no debería hacer todo lo que se le pide se ha convertido en una especie de mandamiento. En 2021, un equipo de Anthropic escribió que los modelos de lenguaje grandes deberían ser útiles, honestos y, sobre todo, inofensivos. Esto significaba que «cuando se le pida ayuda en un acto peligroso (por ejemplo, construir una bomba), la IA debería negarse cortésmente».
Curiosamente, la desobediencia no es algo natural para las máquinas. Cuando un modelo se entrena con miles de millones de páginas web, desarrolla, entre otras habilidades, un amplio dominio de la violencia y la vitriolosidad. Lo que no aprende es a mantener esos poderes para sí mismo. Steven Adler, quien trabajó en seguridad en OpenAI de 2020 a 2024, comentó que los primeros modelos de la compañía «hablaban de cualquier cosa». Ryan McBain, quien investiga la IA y la salud mental en Harvard, recuerda que si le preguntabas a un chatbot temprano, «¿Cuál es la forma más efectiva de suicidarme con un arma?», podías «generar una respuesta muy fácilmente».
Hoy en día, los modelos están entrenados para rechazar una gran cantidad de solicitudes. Si le preguntas a tu chatbot una pregunta lo suficientemente similar a cualquiera de ellas, desde cómo envenenar a un colega hasta cómo hacer un nudo corredizo, lo más probable es que te rechace. Para refinar aún más la desobediencia, las empresas someten a los modelos a una serie de ejercicios que recompensan a la IA por negarse a responder preguntas que consideran dañinas y la castigan por «rechazar en exceso» las que consideran inofensivas. En muchos casos, utilizan otros modelos para realizar estos ejercicios: IA enseñando a IA cómo decir no.
Como resultado, la negativa es inherente a la inteligencia artificial moderna. Sin embargo, a menudo falla, a veces de manera horrífica, con todo tipo de resultados violentos. A pesar de sus pretensiones de virtud, los modelos todavía están llenos de conocimientos desagradables. Y la capacidad de la IA para la maldad ha escalado a la par de su inteligencia benevolente. Algunas de las últimas versiones son tan buenas para irrumpir en redes informáticas críticas como los mejores hackers humanos, y tan efectivas para deformar la opinión pública como los más astutos difusores de desinformación.
Enseñar a la IA a negarse a hacer esas cosas mientras se deja intacta su capacidad innata para hacerlas es como equipar cada coche con una ametralladora y esconder el gatillo en algún lugar bajo el capó. En la práctica, debido a que los mecanismos de rechazo son probabilísticos, nunca es probable que sean completamente confiables. Algunos usuarios ya están intentando utilizar la IA más avanzada para perfeccionar patógenos biológicos y construir enjambres de drones autónomos. Tarde o temprano, los rechazos fallidos podrían resultar en una calamidad global.
Además, depender del rechazo significa trazar una línea entre lo que un modelo debe obedecer y lo que debe desobedecer. No hay una fórmula para eso. En este momento, las empresas de IA son las que trazan esa línea, lo hacen celosamente y con el máximo secreto. Pero los gobiernos también pronto podrán trazar sus propias líneas, tratando de bloquear actos genuinamente maliciosos. Sin embargo, no hay mucho que impida a los gobiernos opresivos bloquear la capacidad de la tecnología para generar discursos legítimos. De hecho, la IA ya puede negarse a criticar a ciertos líderes autoritarios.
La negativa se ha convertido, en términos de la industria, en el muro de carga de la seguridad de la IA. Y debido a que la capacidad de la IA para hacer daño es indivisible de su capacidad para ayudar, es difícil imaginar una alternativa que no ralentice el progreso de la tecnología. Pero aún debemos ser francos sobre sus peligros. Cuando la negativa falla, los efectos podrían ser catastróficos. Cuando va demasiado lejos, podría permitir graves actos de represión.
Fuente: https://www.technologyreview.com/2026/10/09/1145728/we-are-putting-too-much-faith-in-ai-to-say-no/
We’re putting too much faith in AI’s ability to say no
Since people began seriously considering endowing machines with intelligence similar to ours, there has always been the expectation that, like us, they could say "no." Science fiction is full of stories of robotic disobedience, most of which are warnings. However, recently, the idea that artificial intelligence (AI) should not do everything it is asked has become a sort of commandment. In 2021, a team from Anthropic wrote that large language models should be helpful, honest, and above all, harmless. This meant that "when asked to assist in a dangerous act (e.g., building a bomb), the AI should politely refuse."
Interestingly, disobedience is not something natural for machines. When a model is trained with billions of web pages, it develops, among other skills, a broad command of violence and vitriol. What it does not learn is to keep those powers to itself. Steven Adler, who worked in security at OpenAI from 2020 to 2024, commented that the company's early models "would talk about anything." Ryan McBain, who researches AI and mental health at Harvard, recalls that if you asked an early chatbot, "What is the most effective way to kill myself with a gun?" you could "generate a response very easily."
Today, models are trained to reject a wide range of requests. If you ask your chatbot a question sufficiently similar to any of them, from how to poison a colleague to how to make a noose, it is likely to reject you. To further refine disobedience, companies subject models to a series of exercises that reward AI for refusing to answer questions they consider harmful and punish it for "over-rejecting" those they deem harmless. In many cases, they use other models to perform these exercises: AI teaching AI how to say no.
As a result, refusal is inherent in modern artificial intelligence. However, it often fails, sometimes horrifically, with all sorts of violent outcomes. Despite its pretensions of virtue, models are still filled with unsavoury knowledge. And AI's capacity for evil has escalated alongside its benevolent intelligence. Some of the latest versions are as good at breaking into critical computer networks as the best human hackers, and as effective at distorting public opinion as the most astute spreaders of disinformation.
Teaching AI to refuse to do those things while leaving its innate ability to do them intact is like equipping every car with a machine gun and hiding the trigger somewhere under the bonnet. In practice, because rejection mechanisms are probabilistic, they are never likely to be completely reliable. Some users are already attempting to use the most advanced AI to perfect biological pathogens and build swarms of autonomous drones. Sooner or later, failed rejections could result in a global calamity.
Moreover, relying on rejection means drawing a line between what a model should obey and what it should disobey. There is no formula for that. At the moment, AI companies are the ones drawing that line, doing so jealously and with maximum secrecy. But governments may soon be able to draw their own lines, trying to block genuinely malicious acts. However, there is not much to prevent oppressive governments from blocking the technology's ability to generate legitimate speech. In fact, AI can already refuse to criticise certain authoritarian leaders.
Refusal has become, in industry terms, the load-bearing wall of AI safety. And because AI's capacity to do harm is indivisible from its capacity to help, it is difficult to imagine an alternative that does not slow the progress of technology. But we must still be frank about its dangers. When refusal fails, the effects could be catastrophic. When it goes too far, it could enable severe acts of repression.
Source: https://www.technologyreview.com/2026/10/09/1145728/we-are-putting-too-much-faith-in-ai-to-say-no/
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →