🌐 NVIDIA Cosmos lanza herramientas avanzadas para modelos de IA física
NVIDIA Cosmos obre noves eines per entrenar, avaluar i desplegar models mundials
NVIDIA ha fet un pas significatiu en el desenvolupament de models mundials amb l'expansió de la seva plataforma Cosmos, introduint noves eines d'entrenament, punts de control de simulació i plànols de la Cosmos Data Factory. Aquests avenços estan dissenyats per ajudar els desenvolupadors a construir ràpidament models que permetin als sistemes d'IA física comprendre i simular el món real.
La plataforma Cosmos de NVIDIA es destaca en els rànquings de models oberts, situant-se entre els cinc primers en sis diferents taules de classificació. Ofereix als constructors de models mundials models oberts d'avantguarda, així com eines i receptes per escalar dades d'entrenament, adaptar models, provar comportaments i optimitzar el rendiment abans de la seva implementació.
La Cosmos Data Factory de NVIDIA reuneix eines i habilitats per etiquetar, curar, augmentar i avaluar dades a gran escala per entrenar IA física. Amb suport per a entrades multisensorials multimodals, Cosmos Curator, una solució accelerada per GPU, ha millorat significativament el processament de conjunts de dades d'entrenament en vídeo.
Els plànols de la Cosmos Data Factory, disponibles a través de GitHub, Microsoft Azure, Nebius i CoreWeave, inclouen generació de conjunts de dades per a vehicles autònoms, augment d'atributs d'imatge, generació de vídeos d'esdeveniments, generació d'imatges de defectes i augment de dades de vídeo. Aquestes eines acceleren la curació de dades i la generació de dades sintètiques amb habilitats agentiques.
Empreses com Porsche i ANYbotics ja estan utilitzant aquests plànols per accelerar els seus fluxos de treball de desenvolupament d'IA física. Porsche, per exemple, està liderant el desenvolupament d'un volant de dades AV compartit a través de Voxel51 en Microsoft Azure, la qual cosa s'espera que redueixi les proves físiques repetides fins a un 90% i escurci els temps de desenvolupament en un 85%. D'altra banda, ANYbotics ha generat més de 1.500 clips de vídeo sintètics per entrenar els seus robots d'inspecció industrial.
A més, NVIDIA ha ampliat les eines d'entrenament, optimització i implementació del Cosmos Framework a més models oberts, proporcionant als desenvolupadors un camí més ràpid des de l'experimentació fins a la implementació. Els desenvolupadors poden adaptar models oberts com GR00T, Alpamayo i altres models compatibles amb Hugging Face mitjançant l'ajust fi i l'aprenentatge per reforç, optimitzant el model amb destil·lació i quantització.
Amb la introducció de noves variants del model Cosmos 3 Nano per a simulació, els desenvolupadors poden provar polítiques autònomes en escenaris multivista i multisensor difícils de capturar abans de les proves en el món real. Els serveis micro de Cosmos 3 NIM actualitzats permeten una inferència fins a dues vegades més ràpida sense pèrdua de qualitat, mentre que l'anàlisi continu de vídeo permet alertes en menys d'un segon.
Per als desenvolupadors de visió AI, el nou Blueprint de NVIDIA Metropolis per a cerca i resum de vídeo (VSS) 3.3, construït sobre els microserveis de Cosmos NIM, converteix un sol avís en una aplicació d'IA de vídeo eficient, ajudant els equips a monitoritzar un 40% més de transmissions de vídeo amb la mateixa GPU.
Font: https://blogs.nvidia.com/blog/cosmos-open-train-evaluate-deploy-world-models/
NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models
NVIDIA ha dado un paso significativo en el desarrollo de modelos mundiales con la expansión de su plataforma Cosmos, introduciendo nuevas herramientas de entrenamiento, puntos de control de simulación y planos de la Cosmos Data Factory. Estos avances están diseñados para ayudar a los desarrolladores a construir rápidamente modelos que permitan a los sistemas de IA física comprender y simular el mundo real.
La plataforma Cosmos de NVIDIA se destaca en los rankings de modelos abiertos, ubicándose entre los cinco primeros en seis diferentes tablas de clasificación. Ofrece a los constructores de modelos mundiales modelos abiertos de vanguardia, así como herramientas y recetas para escalar datos de entrenamiento, adaptar modelos, probar comportamientos y optimizar el rendimiento antes de su implementación.
La Cosmos Data Factory de NVIDIA reúne herramientas y habilidades para etiquetar, curar, aumentar y evaluar datos a gran escala para entrenar IA física. Con soporte para entradas multisensoriales multimodales, Cosmos Curator, una solución acelerada por GPU, ha mejorado significativamente el procesamiento de conjuntos de datos de entrenamiento en video.
Los planos de la Cosmos Data Factory, disponibles a través de GitHub, Microsoft Azure, Nebius y CoreWeave, incluyen generación de conjuntos de datos para vehículos autónomos, aumento de atributos de imagen, generación de videos de eventos, generación de imágenes de defectos y aumento de datos de video. Estas herramientas aceleran la curación de datos y la generación de datos sintéticos con habilidades agenticas.
Compañías como Porsche y ANYbotics ya están utilizando estos planos para acelerar sus flujos de trabajo de desarrollo de IA física. Porsche, por ejemplo, está liderando el desarrollo de un volante de datos AV compartido a través de Voxel51 en Microsoft Azure, lo que se espera reduzca las pruebas físicas repetidas hasta en un 90% y acorte los tiempos de desarrollo en un 85%. Por otro lado, ANYbotics ha generado más de 1,500 clips de video sintéticos para entrenar sus robots de inspección industrial.
Además, NVIDIA ha ampliado las herramientas de entrenamiento, optimización e implementación del Cosmos Framework a más modelos abiertos, proporcionando a los desarrolladores un camino más rápido desde la experimentación hasta la implementación. Los desarrolladores pueden adaptar modelos abiertos como GR00T, Alpamayo y otros modelos compatibles con Hugging Face mediante el ajuste fino y el aprendizaje por refuerzo, optimizando el modelo con destilación y cuantización.
Con la introducción de nuevas variantes del modelo Cosmos 3 Nano para simulación, los desarrolladores pueden probar políticas autónomas en escenarios multivista y multisentido difíciles de capturar antes de las pruebas en el mundo real. Los servicios micro de Cosmos 3 NIM actualizados permiten una inferencia hasta dos veces más rápida sin pérdida de calidad, mientras que el análisis continuo de video permite alertas en menos de un segundo.
Para los desarrolladores de visión AI, el nuevo Blueprint de NVIDIA Metropolis para búsqueda y resumen de video (VSS) 3.3, construido sobre los microservicios de Cosmos NIM, convierte un solo aviso en una aplicación de IA de video eficiente, ayudando a los equipos a monitorear un 40% más de transmisiones de video con la misma GPU.
Fuente: https://blogs.nvidia.com/blog/cosmos-open-train-evaluate-deploy-world-models/
NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models
NVIDIA has taken a significant step in the development of world models with the expansion of its Cosmos platform, introducing new training tools, simulation checkpoints, and blueprints for the Cosmos Data Factory. These advancements are designed to help developers quickly build models that enable physical AI systems to understand and simulate the real world.
NVIDIA's Cosmos platform stands out in open model rankings, placing among the top five in six different leaderboards. It offers world model builders cutting-edge open models, as well as tools and recipes to scale training data, adapt models, test behaviours, and optimise performance before deployment.
The Cosmos Data Factory by NVIDIA brings together tools and skills to label, curate, augment, and evaluate large-scale data for training physical AI. With support for multimodal multisensory inputs, Cosmos Curator, a GPU-accelerated solution, has significantly improved the processing of video training datasets.
The blueprints of the Cosmos Data Factory, available through GitHub, Microsoft Azure, Nebius, and CoreWeave, include dataset generation for autonomous vehicles, image attribute augmentation, event video generation, defect image generation, and video data augmentation. These tools accelerate data curation and synthetic data generation with agentic capabilities.
Companies like Porsche and ANYbotics are already using these blueprints to accelerate their physical AI development workflows. Porsche, for example, is leading the development of a shared AV data steering wheel through Voxel51 on Microsoft Azure, which is expected to reduce repetitive physical testing by up to 90% and shorten development times by 85%. On the other hand, ANYbotics has generated over 1,500 synthetic video clips to train their industrial inspection robots.
Additionally, NVIDIA has expanded the training, optimisation, and deployment tools of the Cosmos Framework to more open models, providing developers with a faster path from experimentation to deployment. Developers can adapt open models like GR00T, Alpamayo, and other Hugging Face-compatible models through fine-tuning and reinforcement learning, optimising the model with distillation and quantisation.
With the introduction of new variants of the Cosmos 3 Nano model for simulation, developers can test autonomous policies in multiview and multisense scenarios that are difficult to capture before real-world testing. The updated Cosmos 3 NIM microservices allow for inference up to twice as fast without loss of quality, while continuous video analysis enables alerts in less than a second.
For AI vision developers, the new NVIDIA Metropolis Blueprint for video search and summarisation (VSS) 3.3, built on Cosmos NIM microservices, turns a single prompt into an efficient video AI application, helping teams monitor 40% more video streams with the same GPU.
Source: https://blogs.nvidia.com/blog/cosmos-open-train-evaluate-deploy-world-models/
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →