🌐 Anthropic alerta sobre proximidad a IA con capacidad de mejora recursiva
Anthropic warns that it’s very close to RSI capability, aka self-building AI
L'empresa d'intel·ligència artificial Anthropic ha llançat una advertència significativa en la seva recent presentació S-1/A, suggerint que està a punt de desenvolupar un model amb capacitat de millora recursiva (RSI). Aquest concepte implica que la IA podria entrenar-se a si mateixa, accelerant dramàticament les seves capacitats. Per als crítics de la IA, RSI representa un punt de no retorn, on la IA podria esdevenir tan poderosa que escapi al control humà, sense preocupar-se pels danys que pugui causar en la seva cerca d'objectius. No obstant això, per als entusiastes, RSI simbolitza la promesa d'una tecnologia que podria revolucionar la productivitat i el descobriment científic.
Anthropic reconeix que RSI és tant una promesa com un perill. En el seu document, la companyia menciona que utilitza IA en la seva investigació i desenvolupament, però adverteix sobre els riscos de seguretat que podrien sorgir si el progrés s'accelera bruscament. Això està cobert per la seva Política d'Escalat Responsable, que estableix plans per monitoritzar i mitigar riscos a mesura que s'acosten a la millora recursiva.
En la seva recent declaració de factors de risc, Anthropic va indicar que ja ha utilitzat IA per desenvolupar nous models els avenços dels quals no van reconèixer en el seu moment. L'empresa podria estar a prop de complir la seva pròpia definició de RSI, cosa que podria accelerar el desenvolupament més enllà de la seva capacitat per implementar mesures de seguretat i alineació. No obstant això, Anthropic assegura que cap dels seus models actuals ha creuat aquest llindar i promet mantenir els humans en el procés de R+D en el futur previsible.
Els escèptics podrien assenyalar que un S-1 funciona tant com a divulgació com a màrqueting, i que les afirmacions d'estar a prop d'un model tan poderós podrien caure en la segona categoria. No obstant això, les capacitats de Claude, especialment en codificació, matemàtiques i ciberseguretat, han crescut enormement aquest any. Si Anthropic creu que la possibilitat de RSI està a prop, potser hauríem de prendre-ho seriosament i actuar, potser governar, en conseqüència.
Anthropic warns that it’s very close to RSI capability, aka self-building AI
La empresa de inteligencia artificial Anthropic ha lanzado una advertencia significativa en su reciente presentación S-1/A, sugiriendo que está al borde de desarrollar un modelo con capacidad de mejora recursiva (RSI). Este concepto implica que la IA podría entrenarse a sí misma, acelerando dramáticamente sus capacidades. Para los críticos de la IA, RSI representa un punto de no retorno, donde la IA podría volverse tan poderosa que escape al control humano, sin preocuparse por los daños que pueda causar en su búsqueda de objetivos. Sin embargo, para los entusiastas, RSI simboliza la promesa de una tecnología que podría revolucionar la productividad y el descubrimiento científico.
Anthropic reconoce que RSI es tanto una promesa como un peligro. En su documento, la compañía menciona que utiliza IA en su investigación y desarrollo, pero advierte sobre los riesgos de seguridad que podrían surgir si el progreso se acelera bruscamente. Esto está cubierto por su Política de Escalado Responsable, que establece planes para monitorear y mitigar riesgos a medida que se acercan a la mejora recursiva.
En su reciente declaración de factores de riesgo, Anthropic indicó que ya ha utilizado IA para desarrollar nuevos modelos cuyos avances no reconocieron en su momento. La empresa podría estar cerca de cumplir su propia definición de RSI, lo que podría acelerar el desarrollo más allá de su capacidad para implementar medidas de seguridad y alineación. Sin embargo, Anthropic asegura que ninguno de sus modelos actuales ha cruzado este umbral y promete mantener a los humanos en el proceso de I+D en el futuro previsible.
Los escépticos podrían señalar que un S-1 funciona tanto como divulgación como marketing, y que las afirmaciones de estar cerca de un modelo tan poderoso podrían caer en la segunda categoría. No obstante, las capacidades de Claude, especialmente en codificación, matemáticas y ciberseguridad, han crecido enormemente este año. Si Anthropic cree que la posibilidad de RSI está cerca, tal vez deberíamos tomarlo en serio y actuar, quizás gobernar, en consecuencia.
Anthropic warns that it’s very close to RSI capability, aka self-building AI
The artificial intelligence company Anthropic has issued a significant warning in its recent S-1/A filing, suggesting that it is on the verge of developing a model with recursive self-improvement (RSI) capability. This concept implies that AI could train itself, dramatically accelerating its capabilities. For AI critics, RSI represents a point of no return, where AI could become so powerful that it escapes human control, without concern for the damage it might cause in its pursuit of goals. However, for enthusiasts, RSI symbolises the promise of a technology that could revolutionise productivity and scientific discovery.
Anthropic acknowledges that RSI is both a promise and a danger. In its document, the company mentions that it uses AI in its research and development, but warns about the security risks that could arise if progress accelerates sharply. This is covered by its Responsible Scaling Policy, which sets out plans to monitor and mitigate risks as they approach recursive self-improvement.
In its recent risk factors statement, Anthropic indicated that it has already used AI to develop new models whose advances they did not recognise at the time. The company could be close to meeting its own definition of RSI, which could accelerate development beyond its ability to implement safety and alignment measures. However, Anthropic assures that none of its current models have crossed this threshold and promises to keep humans in the R&D process for the foreseeable future.
Sceptics might point out that an S-1 serves both as disclosure and marketing, and that claims of being close to such a powerful model could fall into the latter category. Nonetheless, Claude's capabilities, especially in coding, mathematics, and cybersecurity, have grown enormously this year. If Anthropic believes that the possibility of RSI is near, perhaps we should take it seriously and act, perhaps govern, accordingly.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →