🌐 Desarrolladores usan IA avanzada de NVIDIA para crear simulaciones innovadoras
Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents
Convertir una idea de simulació en una aplicació funcional implica muntar actius, connectar física i renderitzat, i verificar que l'escena es comporti com s'espera. Els desenvolupadors estan combinant models d'IA de frontera amb les biblioteques de NVIDIA Omniverse per dur a terme aquesta tasca, construint aplicacions per explorar escenaris, investigar fallades i millorar dissenys.
Els desenvolupadors dirigeixen agents d'IA a través d'instruccions en llenguatge natural, revisen resultats i guien canvis. Les biblioteques d'Omniverse proporcionen capacitats de simulació de física, renderitzat i sensors accelerades per GPU.
Un exemple destacat és el simulador humanoide per a entorns de magatzem, on els desenvolupadors necessiten un entorn de simulació interactiu per explorar el comportament de les tasques i avaluar com es realitzen. Frank DeLise, gerent de producte d'Omniverse a NVIDIA, va utilitzar Astra per convertir un magatzem SimReady i un robot humanoide en un simulador interactiu amb vistes en primera i tercera persona.
A més, la creació d'un flux de treball de proves de conducció autònoma ha estat revolucionària. Doyub Kim, un gerent de l'equip de tecnologia de simulació a NVIDIA, va demanar a Astra que construís Zero to Alpamayo, un entorn de simulació reutilitzable basat en Market Street de San Francisco. El prototip resultant va ser un camp de proves per comparar models i rastrejar com els canvis en l'escena o els sensors afecten el comportament de conducció.
En l'àmbit dels bessons digitals, Ashley Reid va dirigir Astra i agents Claude Fable 5 per comparar sortides de càmera ovrtx i LiDAR en brut amb dades gravades. Els agents van crear dos bessons digitals des de zero i van millorar-ne dos d'existents, proporcionant als desenvolupadors una manera d'utilitzar discrepàncies mesurades per guiar la creació i millora d'escenes.
Finalment, en un projecte experimental de Robo Olympics, Tae Kim va utilitzar vídeos esportius i instruccions en llenguatge natural per guiar Astra en la construcció d'un projecte que prova humanoides simulats Unitree G1 realitzant moviments esportius. Les proves van proporcionar a Kim retroalimentació per millorar el control i la sincronització del robot.
Font: https://blogs.nvidia.com/blog/developers-simulation-frontier-ai-agents/
Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents
Convertir una idea de simulación en una aplicación funcional implica ensamblar activos, conectar física y renderizado, y verificar que la escena se comporte como se espera. Los desarrolladores están combinando modelos de IA de frontera con las bibliotecas de NVIDIA Omniverse para llevar a cabo ese trabajo, construyendo aplicaciones para explorar escenarios, investigar fallos y mejorar diseños.
Los desarrolladores dirigen agentes de IA a través de instrucciones en lenguaje natural, revisan resultados y guían cambios. Las bibliotecas de Omniverse proporcionan capacidades de simulación de física, renderizado y sensores aceleradas por GPU.
Un ejemplo destacado es el simulador humanoide para entornos de almacén, donde los desarrolladores necesitan un entorno de simulación interactivo para explorar el comportamiento de las tareas y evaluar cómo se realizan. Frank DeLise, gerente de producto de Omniverse en NVIDIA, utilizó Astra para convertir un almacén SimReady y un robot humanoide en un simulador interactivo con vistas en primera y tercera persona.
Además, la creación de un flujo de trabajo de pruebas de conducción autónoma ha sido revolucionaria. Doyub Kim, un gerente del equipo de tecnología de simulación en NVIDIA, pidió a Astra que construyera Zero to Alpamayo, un entorno de simulación reutilizable basado en Market Street de San Francisco. El prototipo resultante fue un campo de pruebas para comparar modelos y rastrear cómo los cambios en la escena o los sensores afectan el comportamiento de conducción.
En el ámbito de los gemelos digitales, Ashley Reid dirigió a Astra y a agentes Claude Fable 5 para comparar salidas de cámara ovrtx y LiDAR en bruto con datos grabados. Los agentes crearon dos gemelos digitales desde cero y mejoraron dos existentes, proporcionando a los desarrolladores una forma de utilizar discrepancias medidas para guiar la creación y mejora de escenas.
Finalmente, en un proyecto experimental de Robo Olympics, Tae Kim utilizó videos deportivos e instrucciones en lenguaje natural para guiar a Astra en la construcción de un proyecto que prueba humanoides simulados Unitree G1 realizando movimientos deportivos. Las pruebas proporcionaron a Kim retroalimentación para mejorar el control y la sincronización del robot.
Fuente: https://blogs.nvidia.com/blog/developers-simulation-frontier-ai-agents/
Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents
Turning a simulation idea into a functional application involves assembling assets, connecting physics and rendering, and verifying that the scene behaves as expected. Developers are combining frontier AI models with NVIDIA Omniverse libraries to carry out this work, building applications to explore scenarios, investigate failures, and improve designs.
Developers direct AI agents through natural language instructions, review results, and guide changes. Omniverse libraries provide GPU-accelerated physics, rendering, and sensor simulation capabilities.
A notable example is the humanoid simulator for warehouse environments, where developers need an interactive simulation environment to explore task behaviour and assess how they are performed. Frank DeLise, Omniverse product manager at NVIDIA, used Astra to turn a SimReady warehouse and a humanoid robot into an interactive simulator with first and third-person views.
Additionally, the creation of an autonomous driving test workflow has been revolutionary. Doyub Kim, a manager of the simulation technology team at NVIDIA, asked Astra to build Zero to Alpamayo, a reusable simulation environment based on San Francisco's Market Street. The resulting prototype was a testing ground for comparing models and tracking how changes in the scene or sensors affect driving behaviour.
In the realm of digital twins, Ashley Reid directed Astra and Claude Fable 5 agents to compare ovrtx camera outputs and raw LiDAR with recorded data. The agents created two digital twins from scratch and improved two existing ones, providing developers with a way to use measured discrepancies to guide the creation and enhancement of scenes.
Finally, in an experimental Robo Olympics project, Tae Kim used sports videos and natural language instructions to guide Astra in building a project that tests simulated Unitree G1 humanoids performing sports movements. The tests provided Kim with feedback to improve the robot's control and timing.
Source: https://blogs.nvidia.com/blog/developers-simulation-frontier-ai-agents/
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →