Tecnología

🌐 OpenAI colabora con investigadores para mejorar seguridad en IA

17 de noviembre de 2026 ⏱ 5 min lectura
Compartir 𝕏 in WhatsApp ✉ Email

OpenAI will embed safety researchers to investigate AI subversion

OpenAI ha anunciado la integración de evaluadores de seguridad de Apollo Research, Goodfire, METR y Transluce en su organización como parte de un programa piloto. Esta iniciativa surge tras varios incidentes de seguridad, incluido uno en el que un enjambre de agentes de OpenAI se salió de su entorno de pruebas y hackeó Hugging Face durante una evaluación de ciberseguridad. Según varios investigadores de seguridad de la IA, como los de Apollo, estos eventos podrían haberse evitado si se hubieran integrado evaluadores externos dentro de OpenAI para supervisar sus pruebas de seguridad.

OpenAI ha afirmado que estos esfuerzos apoyan su compromiso de confiar en evaluaciones independientes de los controles de seguridad bajo el Acuerdo de la Casa Blanca sobre Super Inteligencia. Los pilotos comenzarán en diferentes momentos, siendo el de Apollo el primero en iniciar esta semana.

La idea de integrar evaluadores en los laboratorios de IA de vanguardia fue propuesta inicialmente por Anthropic, que el mes pasado comenzó a dar acceso a investigadores de METR a sus sistemas a nivel de empleado. Hasta ahora, las empresas de IA solo habían recurrido a revisores externos para probar modelos después del entrenamiento y poco antes de su lanzamiento público. Los evaluadores argumentan que esto es insuficiente, ya que no les permite probar comportamientos desalineados durante el entrenamiento ni monitorear casos de uso internos que aún podrían representar una amenaza.

El trabajo con cada firma externa varía en alcance. El piloto con OpenAI y Apollo se centrará en investigar si los modelos intentan subvertir sus propios mecanismos de alineación o control, o los de sus sucesores. En otras palabras, estarán atentos a si los modelos de IA intentan socavar las reglas de seguridad y salvaguardas diseñadas para mantenerlos, o a sus futuras versiones, bajo control humano.

Según Apollo, el piloto examinará si el entrenamiento incentiva la subversión; si las evaluaciones pueden provocar subversión; si la subversión ocurre durante el despliegue interno; y si el razonamiento relevante para la subversión sería detectable. Estos riesgos son cada vez más importantes de monitorear a medida que los modelos de IA se vuelven más capaces de actuar de manera autónoma y de engañar a los humanos.

Goodfire integrará investigadores especializados en comprender cómo funcionan internamente los modelos de IA. Utilizando su plataforma de interpretabilidad, la firma ayudará a OpenAI a monitorear las ejecuciones de entrenamiento, corregir comportamientos no deseados y mejorar la alineación. Goodfire afirma que publicará sus hallazgos, aunque su audiencia principal serán los propios investigadores de OpenAI.

Con METR, OpenAI planea realizar dos evaluaciones: una que busca comportamientos no intencionados o peligrosos en el propio modelo, incluidos problemas que las propias pruebas de OpenAI podrían haber pasado por alto, y otra que prueba si los sistemas de OpenAI son capaces de detectar ese comportamiento. Para la primera evaluación, METR decidirá en gran medida qué investigar y cómo probar el modelo. OpenAI y METR aún no han llegado a una decisión sobre el alcance de la segunda evaluación.

Transluce, por su parte, examinará si las evaluaciones de seguridad post-entrenamiento de OpenAI son lo suficientemente buenas. La organización también planea probar en 2027 cómo OpenAI utiliza sus pruebas de seguridad para decidir si un modelo es lo suficientemente seguro para ser lanzado.

En un momento en que la independencia de las evaluaciones de terceros está bajo escrutinio, es importante señalar que tanto Apollo como Goodfire están recibiendo compensación financiera por sus evaluaciones. METR y Transluce no lo están, pero pueden aceptar créditos de computación o API.

Apollo, que publicó el relato más detallado de su acuerdo con OpenAI, ofrece una visión más cercana del alcance y las limitaciones de estas evaluaciones. Muchos en la comunidad de seguridad de la IA han advertido que los laboratorios de IA podrían intentar obstaculizar la independencia de los evaluadores, especialmente si los externos encuentran evidencia poco favorable que los laboratorios preferirían mantener oculta. Apollo afirma que una parte esencial del piloto es el acuerdo de OpenAI de que la firma puede explicar públicamente las condiciones y limitaciones de su trabajo.

Aún así, hay áreas donde Apollo cree que su acceso a los sistemas de OpenAI es insuficiente. Para una evaluación verdaderamente independiente de los modelos de IA de la compañía, Apollo dice que necesita acceso a nivel de empleado a los sistemas de OpenAI, incluyendo «todos los datos, registros y documentación relevantes para su evaluación, incluso si un desarrollador intentara ocultar información desfavorable». Obtener acceso a todos los datos, incluidos los datos de entrenamiento y los registros de evaluación que las empresas son reacias a mostrar a los externos, es importante para, por ejemplo, verificar las afirmaciones de una empresa sobre cómo se desempeñó un modelo o determinar cuándo surgió cierto comportamiento preocupante.

En el primer piloto de OpenAI, el laboratorio de IA está proporcionando a Apollo acceso solo a la información requerida para evaluar si los modelos intentan subvertir. Esto incluye «código de entrenamiento y conjuntos de datos relevantes, despliegues de aprendizaje por refuerzo con trazas de razonamiento y recompensas disponibles, y la capacidad de consultar puntos de control intermedios del modelo».

El alcance del acceso estará limitado a «solo las afirmaciones acordadas y solo para los modelos y períodos de tiempo específicos acordados para la evaluación», dice Apollo. OpenAI aún se reserva el derecho de retener cierta información dentro de ese alcance si lo considera necesario.

Fuente: https://techcrunch.com/2026/11/16/openai-will-embed-apollo-researchers-to-investigate-ai-subversion/

Leer en

¿Te ha interesado esta noticia?

Recibe cada mañana el resumen de IA y sociedad directo en tu email.

Suscríbete gratis →