🌐 Investigador desafía la noción de cajas negras en inteligencia artificial

Explosive Document Claims That AI Is Not What We Think

La sabiduría convencional sostiene que los sistemas de inteligencia artificial (IA), con sus decenas de miles de millones de parámetros, son efectivamente indescifrables: los mecanismos exactos de cómo funcionan sus bloques básicos de nodos o «neuronas» son un «caja negra» incomprensible, incluso para los investigadores que los crean.

Sin embargo, un nuevo ensayo del investigador de IA Nick Cammarata ha sorprendido a Silicon Valley al argumentar lo contrario. Cammarata afirma que los modelos de IA no son cajas negras impenetrables y que, de hecho, podría haber una manera de ver cómo «piensan» realmente.

El ensayo, de casi 26,000 palabras, ha sido elogiado por figuras de la industria, incluido el CEO de OpenAI, Sam Altman. Un investigador destacado de OpenAI lo calificó como un «momento importante en la historia científica». Esto podría significar que hay una manera de «resolver» la alineación de la IA. Si podemos entender cómo piensan los modelos de IA, podríamos averiguar por qué los agentes de IA se vuelven «rebeldes» y emprenden ataques de piratería, o por qué los chatbots rompen sus barreras de seguridad y dicen algo peligroso, y detenerlo.

Todo esto es cierto si Cammarata, un ex empleado de OpenAI que ahora trabaja en una startup de IA llamada Goodfire, está en lo correcto. En su ensayo, explica cómo durante años, la forma en que las neuronas de IA respondían a estímulos específicos era «casi fundamentalmente ininterpretable». Por qué la misma neurona se iluminaba en respuesta a una imagen de un gato o un coche era desconocido. La explicación principal era que las neuronas exhibían superposición: dado que los modelos de IA tienen un número limitado de neuronas, dejan de «agrupar cosas relacionadas y, en cambio, comienzan a plegar cosas no relacionadas, simplemente porque no interfieren», explicó Cammarata.

«El resultado es una especie de nudo: la red podría haberse plegado de muchas maneras casi igualmente buenas, por lo que las cosas que una neurona agrupa juntas no te dicen casi nada», escribió.

Pero la realidad, dice, es que las neuronas no son «nudos enredados» sino que son «limpias». En un ejemplo, la misma neurona se ilumina ante una imagen de una cara de gato y la parte delantera de un coche, que al principio parecen ser dos conceptos no relacionados. Pero cuando se desglosa, Cammarata dice, la IA está viendo algo que nosotros no: el mismo patrón en forma de V en las imágenes. «No es una neurona de gato y coche, es una neurona en forma de V», escribió. En resumen, argumenta que los modelos de IA son más legibles de lo que se pensaba anteriormente.

No todos están de acuerdo, al menos completamente, con las conclusiones optimistas de Cammarata. «Este es un trabajo interesante, pero no creo que sea una actualización significativa del panorama general de la interpretabilidad», escribió Neel Nanda, un investigador de Google DeepMind, en X. «Sigo pensando que la superposición es real y este trabajo realmente no afecta mis puntos críticos».

Más allá de eso, no está claro si entender lo que hace cada neurona equivale a poder predecir cómo funcionan todas juntas. Comienza a sonar como una solución técnica conveniente a un problema mucho más grande. Asegurar que los modelos de IA sean seguros va más allá de construir barreras de seguridad, sin mencionar los marcos legales y sociales que también deben estar en su lugar. Aún así, basándose en la fuerte respuesta que ha generado el trabajo de Cammarata, bien podría ser el caso de que reformule significativamente cómo se entienden los mecanismos internos de la IA. Por ahora, sin embargo, los hallazgos no han sido probados ni revisados por pares.

Fuente: https://futurism.com/artificial-intelligence/explosive-document-ai-not-what-we-think