IA mejora su software prediciendo errores con sistema de Virginia y Microsoft

En el desarrollo de software, cualquier cambio para mejorarlo puede introducir nuevos problemas. Este desafío se traslada ahora a los agentes de inteligencia artificial, que buscan perfeccionar sus propias herramientas. La clave radica en saber cuándo una modificación es beneficiosa y cuándo puede generar problemas.

Investigadores de la Universidad de Virginia, Microsoft Research y la Universidad de Tsinghua han desarrollado un sistema que permite a los agentes de IA predecir si una modificación podría empeorar los resultados. Este sistema, presentado en un estudio publicado en arXiv, no busca eliminar todos los errores, sino orientar mejor los intentos de mejora.

El sistema, conocido como HyperAgents, permite que un agente de IA modifique su propio software y el de otros agentes. Utiliza el Improvement Dynamics Model (IDM) para analizar cambios propuestos y estimar sus consecuencias. Si se prevé un empeoramiento, se permite una revisión adicional antes de evaluar la nueva versión. Durante las pruebas, el sistema logró mejorar la tasa de éxito de resolución de tareas de programación, alcanzando casi un 30% de éxito con el método de predicción.

Además, el sistema de predicción también puede perfeccionarse. Cada cinco rondas, el agente responsable de las modificaciones propone cambios en su funcionamiento, que se incorporan si superan una comprobación posterior. Este enfoque ha demostrado ser efectivo en tareas diferentes, como la calificación de soluciones matemáticas, donde los agentes coincidieron con las calificaciones de expertos en un 55% de los casos.

No obstante, mejorar el rendimiento tiene un coste. En las pruebas, el nuevo método necesitó una media de 170 millones de tokens para completar 40 rondas, en comparación con los 49 millones de HyperAgents. Aunque la diferencia es considerable, los beneficios en términos de precisión y eficacia son innegables.

Fuente: https://www.xataka.com/robotica-e-ia/agentes-ia-estan-aprendiendo-a-mejorar-su-propio-software-clave-puede-estar-predecir-sus-errores-antes-cometerlos