El Omniverso de NVIDIA: Cómo los Modelos de Mundo Abierto Impulsan la IA Física

Into the Omniverse: How Open World Models Push the Frontier of Physical AI

En julio, NVIDIA se unió a más de 200 empresas y organizaciones al firmar la carta abierta «Open Weights and American AI Leadership», argumentando que el liderazgo en IA no se medirá por un único modelo de frontera, sino por si un ecosistema abierto alcanza todos los sectores. Los modelos abiertos, que cualquiera puede descargar, inspeccionar, modificar y ejecutar en su propia infraestructura, son lo que hace esto posible. Esto es especialmente crucial en la IA física, donde cada implementación es un problema de especialización.

La IA física debe entender y predecir consecuencias, no solo apariencias. Para lograr esto, los modelos de mundo aprenden cómo se comportan los entornos físicos, qué puede suceder a continuación y qué acciones tienen sentido. Pueden generar datos de mundo y acción físicamente fundamentados, simular estados futuros y proporcionar una base que los equipos pueden especializar para un robot, vehículo autónomo o sistema de visión AI.

Los modelos de mundo abierto ya se están utilizando para generar datos de entrenamiento, probar políticas y especializar sistemas de IA física. NVIDIA Cosmos 3 reúne estas capacidades en una familia de modelos abiertos, con resultados de referencia líderes y adopción en robótica, vehículos autónomos y visión AI.

Las bibliotecas de NVIDIA Omniverse, parte del NVIDIA Agent Toolkit, proporcionan capacidades preconstruidas para crear mundos listos para simulación que los equipos de IA física pueden usar para entrenar, probar y validar sistemas antes del despliegue en el mundo real.

Los modelos de mundo son la base de la IA física. Los datos detrás de la IA física son difíciles y costosos de recolectar a la escala requerida. Los eventos raros y los escenarios de larga cola pueden ser especialmente difíciles de reproducir de manera segura y repetida. Los modelos de mundo permiten datos más útiles al aprender relaciones físicas de escenarios multimodales a gran escala, ambientes más diversos que varían en clima, iluminación, objetos y trayectorias, y una mejor base para construir y adaptarse a un robot, vehículo, configuración de sensores, tarea o entorno operativo particular.

NVIDIA Cosmos 3, un modelo de frontera de IA física abierta construido sobre una arquitectura de mezcla de transformadores, combina razonamiento de visión, generación de mundos y predicción de acciones, permitiendo a los desarrolladores usar una familia de modelos para entender escenas, generar datos sintéticos, simular estados futuros y construir modelos de acción de mundo especializados. La familia incluye Cosmos 3 Super para modelado de mundo de alta fidelidad, Cosmos 3 Nano para razonamiento eficiente y post-entrenamiento, y Cosmos 3 Edge para razonamiento de visión en dispositivos y despliegue de políticas de robots.

A través de evaluaciones de referencia, Cosmos 3 ocupa el puesto número 1 en Análisis Artificial para generación de texto a imagen y de imagen a video con pesos abiertos, en PAI-Bench para generación de mundos y en la categoría de imagen a video de Physics-IQ. Para políticas de robots, ocupa el primer lugar en RoboLab. Cosmos 3 Super también es el modelo abierto de mayor rango en VANTAGE-Bench para comprensión de visión.

Además de Cosmos, la pila de IA física de NVIDIA incluye Isaac GR00T para robótica, Alpamayo para vehículos autónomos y Metropolis para visión AI. Los desarrolladores están utilizando Cosmos 3 para aplicaciones de IA física en diversas industrias, incluyendo robótica, vehículos autónomos y agentes de visión AI que impulsan aplicaciones de IA industrial y espacios inteligentes.

Fuente: https://blogs.nvidia.com/blog/open-world-models-physical-ai/