英伟达于周一发布了一系列专为机器人开发者设计的新型世界AI模型、库和其他基础设施。其中最引人注目的是Cosmos Reason,这是一款拥有70亿参数的“推理”视觉语言模型,专用于物理AI应用和机器人领域。
这些新模型加入了现有的产品阵容。Cosmos世界模型包括Cosmos Transfer-2,它能够加速从3D模拟场景或空间控制输入生成合成数据,还有一个速度更优化的精简版Cosmos Transfers。
在周一的SIGGRAPH会议上宣布时,英伟达指出,这些模型旨在用于创建合成文本、图像和视频数据集,以训练机器人和AI代理。
根据英伟达的说法,Cosmos Reason使机器人和AI代理具备“推理”能力,因为它拥有记忆和物理理解能力,这使其能够“作为一个规划模型来推理一个具体现实的代理可能采取的下一步行动。”公司表示,它可以用于数据策划、机器人规划和视频分析。
公司还推出了新的神经重建库,其中包括一种渲染技术库,允许开发者使用传感器数据在3D中模拟真实世界。这种渲染能力也被集成到开源模拟器CARLA中,这是一个受欢迎的开发者平台。Omniverse软件开发工具包也进行了更新。
此外,还推出了用于机器人工作流程的新服务器。英伟达RTX Pro Blackwell服务器提供了一个用于机器人开发工作负载的统一架构,而英伟达DGX Cloud则是一个基于云的管理平台。
这些公告发布之际,这家半导体巨头正进一步进军机器人领域,寻找其AI GPU在AI数据中心之外的下一个重大应用场景。