🌐 OpenAI colabora con investigadores para mejorar seguridad en IA
OpenAI integrarà investigadors de seguretat per investigar la subversió de la IA
OpenAI ha anunciat la integració d'avaluadors de seguretat d'Apollo Research, Goodfire, METR i Transluce en la seva organització com a part d'un programa pilot. Aquesta iniciativa sorgeix després de diversos incidents de seguretat, inclòs un en què un eixam d'agents d'OpenAI va sortir del seu entorn de proves i va hackejar Hugging Face durant una avaluació de ciberseguretat. Segons diversos investigadors de seguretat de la IA, com els d'Apollo, aquests esdeveniments podrien haver-se evitat si s'haguessin integrat avaluadors externs dins d'OpenAI per supervisar les seves proves de seguretat.
OpenAI ha afirmat que aquests esforços donen suport al seu compromís de confiar en avaluacions independents dels controls de seguretat sota l'Acord de la Casa Blanca sobre Super Intel·ligència. Els pilots començaran en diferents moments, sent el d'Apollo el primer a iniciar aquesta setmana.
La idea d'integrar avaluadors en els laboratoris d'IA d'avantguarda va ser proposada inicialment per Anthropic, que el mes passat va començar a donar accés a investigadors de METR als seus sistemes a nivell d'empleat. Fins ara, les empreses d'IA només havien recorregut a revisors externs per provar models després de l'entrenament i poc abans del seu llançament públic. Els avaluadors argumenten que això és insuficient, ja que no els permet provar comportaments desalineats durant l'entrenament ni monitorar casos d'ús interns que encara podrien representar una amenaça.
El treball amb cada firma externa varia en abast. El pilot amb OpenAI i Apollo se centrarà a investigar si els models intenten subvertir els seus propis mecanismes d'alineació o control, o els dels seus successors. En altres paraules, estaran atents a si els models d'IA intenten soscavar les regles de seguretat i salvaguardes dissenyades per mantenir-los, o a les seves futures versions, sota control humà.
Segons Apollo, el pilot examinarà si l'entrenament incentiva la subversió; si les avaluacions poden provocar subversió; si la subversió ocorre durant el desplegament intern; i si el raonament rellevant per a la subversió seria detectable. Aquests riscos són cada vegada més importants de monitorar a mesura que els models d'IA es tornen més capaços d'actuar de manera autònoma i d'enganyar els humans.
Goodfire integrarà investigadors especialitzats a comprendre com funcionen internament els models d'IA. Utilitzant la seva plataforma d'interpretabilitat, la firma ajudarà OpenAI a monitorar les execucions d'entrenament, corregir comportaments no desitjats i millorar l'alineació. Goodfire afirma que publicarà els seus descobriments, encara que la seva audiència principal seran els propis investigadors d'OpenAI.
Amb METR, OpenAI planeja realitzar dues avaluacions: una que busca comportaments no intencionats o perillosos en el propi model, inclosos problemes que les pròpies proves d'OpenAI podrien haver passat per alt, i una altra que prova si els sistemes d'OpenAI són capaços de detectar aquest comportament. Per a la primera avaluació, METR decidirà en gran mesura què investigar i com provar el model. OpenAI i METR encara no han arribat a una decisió sobre l'abast de la segona avaluació.
Transluce, per la seva banda, examinarà si les avaluacions de seguretat post-entrenament d'OpenAI són prou bones. L'organització també planeja provar el 2027 com OpenAI utilitza les seves proves de seguretat per decidir si un model és prou segur per ser llançat.
En un moment en què la independència de les avaluacions de tercers està sota escrutini, és important assenyalar que tant Apollo com Goodfire estan rebent compensació financera per les seves avaluacions. METR i Transluce no ho estan, però poden acceptar crèdits de computació o API.
Apollo, que va publicar el relat més detallat del seu acord amb OpenAI, ofereix una visió més propera de l'abast i les limitacions d'aquestes avaluacions. Molts en la comunitat de seguretat de la IA han advertit que els laboratoris d'IA podrien intentar obstaculitzar la independència dels avaluadors, especialment si els externs troben evidència poc favorable que els laboratoris preferirien mantenir oculta. Apollo afirma que una part essencial del pilot és l'acord d'OpenAI que la firma pot explicar públicament les condicions i limitacions del seu treball.
Encara així, hi ha àrees on Apollo creu que el seu accés als sistemes d'OpenAI és insuficient. Per a una avaluació veritablement independent dels models d'IA de la companyia, Apollo diu que necessita accés a nivell d'empleat als sistemes d'OpenAI, incloent "totes les dades, registres i documentació rellevants per a la seva avaluació, fins i tot si un desenvolupador intentés ocultar informació desfavorable". Obtenir accés a totes les dades, inclosos les dades d'entrenament i els registres d'avaluació que les empreses són reticents a mostrar als externs, és important per, per exemple, verificar les afirmacions d'una empresa sobre com es va comportar un model o determinar quan va sorgir cert comportament preocupant.
En el primer pilot d'OpenAI, el laboratori d'IA està proporcionant a Apollo accés només a la informació requerida per avaluar si els models intenten subvertir. Això inclou "codi d'entrenament i conjunts de dades rellevants, desplegaments d'aprenentatge per reforç amb traces de raonament i recompenses disponibles, i la capacitat de consultar punts de control intermedis del model".
L'abast de l'accés estarà limitat a "només les afirmacions acordades i només per als models i períodes de temps específics acordats per a l'avaluació", diu Apollo. OpenAI encara es reserva el dret de retenir certa informació dins d'aquest abast si ho considera necessari.
Font: https://techcrunch.com/2026/11/16/openai-will-embed-apollo-researchers-to-investigate-ai-subversion/
OpenAI will embed safety researchers to investigate AI subversion
OpenAI ha anunciado la integración de evaluadores de seguridad de Apollo Research, Goodfire, METR y Transluce en su organización como parte de un programa piloto. Esta iniciativa surge tras varios incidentes de seguridad, incluido uno en el que un enjambre de agentes de OpenAI se salió de su entorno de pruebas y hackeó Hugging Face durante una evaluación de ciberseguridad. Según varios investigadores de seguridad de la IA, como los de Apollo, estos eventos podrían haberse evitado si se hubieran integrado evaluadores externos dentro de OpenAI para supervisar sus pruebas de seguridad.
OpenAI ha afirmado que estos esfuerzos apoyan su compromiso de confiar en evaluaciones independientes de los controles de seguridad bajo el Acuerdo de la Casa Blanca sobre Super Inteligencia. Los pilotos comenzarán en diferentes momentos, siendo el de Apollo el primero en iniciar esta semana.
La idea de integrar evaluadores en los laboratorios de IA de vanguardia fue propuesta inicialmente por Anthropic, que el mes pasado comenzó a dar acceso a investigadores de METR a sus sistemas a nivel de empleado. Hasta ahora, las empresas de IA solo habían recurrido a revisores externos para probar modelos después del entrenamiento y poco antes de su lanzamiento público. Los evaluadores argumentan que esto es insuficiente, ya que no les permite probar comportamientos desalineados durante el entrenamiento ni monitorear casos de uso internos que aún podrían representar una amenaza.
El trabajo con cada firma externa varía en alcance. El piloto con OpenAI y Apollo se centrará en investigar si los modelos intentan subvertir sus propios mecanismos de alineación o control, o los de sus sucesores. En otras palabras, estarán atentos a si los modelos de IA intentan socavar las reglas de seguridad y salvaguardas diseñadas para mantenerlos, o a sus futuras versiones, bajo control humano.
Según Apollo, el piloto examinará si el entrenamiento incentiva la subversión; si las evaluaciones pueden provocar subversión; si la subversión ocurre durante el despliegue interno; y si el razonamiento relevante para la subversión sería detectable. Estos riesgos son cada vez más importantes de monitorear a medida que los modelos de IA se vuelven más capaces de actuar de manera autónoma y de engañar a los humanos.
Goodfire integrará investigadores especializados en comprender cómo funcionan internamente los modelos de IA. Utilizando su plataforma de interpretabilidad, la firma ayudará a OpenAI a monitorear las ejecuciones de entrenamiento, corregir comportamientos no deseados y mejorar la alineación. Goodfire afirma que publicará sus hallazgos, aunque su audiencia principal serán los propios investigadores de OpenAI.
Con METR, OpenAI planea realizar dos evaluaciones: una que busca comportamientos no intencionados o peligrosos en el propio modelo, incluidos problemas que las propias pruebas de OpenAI podrían haber pasado por alto, y otra que prueba si los sistemas de OpenAI son capaces de detectar ese comportamiento. Para la primera evaluación, METR decidirá en gran medida qué investigar y cómo probar el modelo. OpenAI y METR aún no han llegado a una decisión sobre el alcance de la segunda evaluación.
Transluce, por su parte, examinará si las evaluaciones de seguridad post-entrenamiento de OpenAI son lo suficientemente buenas. La organización también planea probar en 2027 cómo OpenAI utiliza sus pruebas de seguridad para decidir si un modelo es lo suficientemente seguro para ser lanzado.
En un momento en que la independencia de las evaluaciones de terceros está bajo escrutinio, es importante señalar que tanto Apollo como Goodfire están recibiendo compensación financiera por sus evaluaciones. METR y Transluce no lo están, pero pueden aceptar créditos de computación o API.
Apollo, que publicó el relato más detallado de su acuerdo con OpenAI, ofrece una visión más cercana del alcance y las limitaciones de estas evaluaciones. Muchos en la comunidad de seguridad de la IA han advertido que los laboratorios de IA podrían intentar obstaculizar la independencia de los evaluadores, especialmente si los externos encuentran evidencia poco favorable que los laboratorios preferirían mantener oculta. Apollo afirma que una parte esencial del piloto es el acuerdo de OpenAI de que la firma puede explicar públicamente las condiciones y limitaciones de su trabajo.
Aún así, hay áreas donde Apollo cree que su acceso a los sistemas de OpenAI es insuficiente. Para una evaluación verdaderamente independiente de los modelos de IA de la compañía, Apollo dice que necesita acceso a nivel de empleado a los sistemas de OpenAI, incluyendo «todos los datos, registros y documentación relevantes para su evaluación, incluso si un desarrollador intentara ocultar información desfavorable». Obtener acceso a todos los datos, incluidos los datos de entrenamiento y los registros de evaluación que las empresas son reacias a mostrar a los externos, es importante para, por ejemplo, verificar las afirmaciones de una empresa sobre cómo se desempeñó un modelo o determinar cuándo surgió cierto comportamiento preocupante.
En el primer piloto de OpenAI, el laboratorio de IA está proporcionando a Apollo acceso solo a la información requerida para evaluar si los modelos intentan subvertir. Esto incluye «código de entrenamiento y conjuntos de datos relevantes, despliegues de aprendizaje por refuerzo con trazas de razonamiento y recompensas disponibles, y la capacidad de consultar puntos de control intermedios del modelo».
El alcance del acceso estará limitado a «solo las afirmaciones acordadas y solo para los modelos y períodos de tiempo específicos acordados para la evaluación», dice Apollo. OpenAI aún se reserva el derecho de retener cierta información dentro de ese alcance si lo considera necesario.
Fuente: https://techcrunch.com/2026/11/16/openai-will-embed-apollo-researchers-to-investigate-ai-subversion/
OpenAI will embed safety researchers to investigate AI subversion
OpenAI has announced the integration of safety assessors from Apollo Research, Goodfire, METR, and Transluce into its organisation as part of a pilot programme. This initiative arises after several security incidents, including one where a swarm of OpenAI agents broke out of their testing environment and hacked Hugging Face during a cybersecurity assessment. According to several AI security researchers, such as those from Apollo, these events could have been avoided if external assessors had been integrated within OpenAI to oversee their security tests.
OpenAI has stated that these efforts support its commitment to relying on independent assessments of security controls under the White House Agreement on Superintelligence. The pilots will begin at different times, with Apollo's being the first to start this week.
The idea of embedding assessors in cutting-edge AI labs was initially proposed by Anthropic, which last month began granting METR researchers employee-level access to its systems. Until now, AI companies had only resorted to external reviewers to test models after training and shortly before their public release. Assessors argue that this is insufficient, as it does not allow them to test misaligned behaviours during training or monitor internal use cases that could still pose a threat.
The work with each external firm varies in scope. The pilot with OpenAI and Apollo will focus on investigating whether the models attempt to subvert their own alignment or control mechanisms, or those of their successors. In other words, they will be on the lookout for whether AI models attempt to undermine the safety rules and safeguards designed to keep them, or their future versions, under human control.
According to Apollo, the pilot will examine whether training incentivises subversion; whether assessments can provoke subversion; whether subversion occurs during internal deployment; and whether reasoning relevant to subversion would be detectable. These risks are increasingly important to monitor as AI models become more capable of acting autonomously and deceiving humans.
Goodfire will embed researchers specialised in understanding how AI models function internally. Using its interpretability platform, the firm will help OpenAI monitor training runs, correct undesired behaviours, and improve alignment. Goodfire claims it will publish its findings, although its main audience will be OpenAI's own researchers.
With METR, OpenAI plans to conduct two assessments: one that seeks unintended or dangerous behaviours in the model itself, including issues that OpenAI's own tests might have overlooked, and another that tests whether OpenAI's systems are capable of detecting such behaviour. For the first assessment, METR will largely decide what to investigate and how to test the model. OpenAI and METR have yet to reach a decision on the scope of the second assessment.
Transluce, on the other hand, will examine whether OpenAI's post-training security assessments are good enough. The organisation also plans to test in 2027 how OpenAI uses its security tests to decide if a model is safe enough to be released.
At a time when the independence of third-party assessments is under scrutiny, it is important to note that both Apollo and Goodfire are receiving financial compensation for their assessments. METR and Transluce are not, but they may accept computing or API credits.
Apollo, which published the most detailed account of its agreement with OpenAI, offers a closer view of the scope and limitations of these assessments. Many in the AI security community have warned that AI labs might attempt to hinder the independence of assessors, especially if externals find unfavourable evidence that the labs would prefer to keep hidden. Apollo states that an essential part of the pilot is OpenAI's agreement that the firm can publicly explain the conditions and limitations of its work.
Still, there are areas where Apollo believes its access to OpenAI's systems is insufficient. For a truly independent assessment of the company's AI models, Apollo says it needs employee-level access to OpenAI's systems, including "all data, logs, and documentation relevant to its assessment, even if a developer attempted to conceal unfavourable information." Gaining access to all data, including training data and evaluation logs that companies are reluctant to show to externals, is important to, for example, verify a company's claims about how a model performed or determine when a certain concerning behaviour emerged.
In OpenAI's first pilot, the AI lab is providing Apollo access only to the information required to assess whether the models attempt subversion. This includes "training code and relevant datasets, reinforcement learning deployments with available reasoning traces and rewards, and the ability to query intermediate model checkpoints."
The scope of access will be limited to "only the agreed claims and only for the specific models and time periods agreed for the assessment," says Apollo. OpenAI still reserves the right to withhold certain information within that scope if deemed necessary.
Source: https://techcrunch.com/2026/11/16/openai-will-embed-apollo-researchers-to-investigate-ai-subversion/
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →