英伟达公司发布了超过六种专为自动驾驶系统设计的人工智能模型，适用于自动驾驶汽车等应用。

这些算法在开源许可下发布，并在今天于拉斯维加斯举行的CES电子展上首次亮相。它们与多个开发工具以及名为Jetson T4000的机器人计算模块一同推出。

自动驾驶车辆软件

英伟达新推出的开源AI模型系列中最引人注目的是Alpamayo 1（如图所示），这是一种被称为视觉-语言-动作（VLA）算法的模型，拥有100亿个参数。它能够利用自动驾驶车辆摄像头捕捉的画面生成驾驶轨迹。

Alpamayo 1具备链式思维机制，这意味着它可以将接收到的导航任务分解为更小的步骤。根据英伟达的说法，这种方法有两个好处：首先，Alpamayo 1可以解释其推理过程的每一步，使得评估导航决策的合理性更加容易。其次，链式推理机制帮助模型应对复杂的驾驶情况。

该模型并不是为直接在自动驾驶车辆中运行而设计的。相反，英伟达认为开发者可以利用它来训练这些车辆的导航模型。根据公司说法，该算法适用于评估自动驾驶软件的可靠性等任务。未来，英伟达计划发布更大的Alpamayo模型，以支持更广泛的推理应用。

“Alpamayo为自动驾驶车辆带来了推理能力，使它们能够在复杂环境中安全驾驶，并解释其驾驶决策——这是安全、可扩展自动驾驶的基础，”英伟达首席执行官黄仁勋表示。

Alpamayo 1与英伟达现有的Cosmos系列世界基础模型的三个新增模型一同提供。与Alpamayo 1一样，这些新模型可用于开发自动驾驶汽车的软件。它们还可以为其他类型的自动系统提供支持，包括工业机器人。

前两个模型，Cosmos Transfer 2.5和Cosmos Predict 2.5，旨在为机器人的AI软件生成训练数据。这些训练数据以合成视频画面的形式呈现。例如，Cosmos Transfer 2.5可以生成展示汽车工厂中工业机器人的片段。Cosmos Predict 2.5提供类似功能，并能够模拟物体未来的行为。用户可以上传一张公交车的照片，并要求模型模拟五秒后公交车的位置。

Cosmos模型系列的第三个新成员被称为Cosmos Reason 2.0。根据英伟达的说法，它可以为机器人提供分析其环境画面并自动执行动作的能力。

Cosmos Reason为Isaac GR00T N1.6提供动力，这是英伟达今天推出的另一个新模型。Isaac GR00T N1.6是一个像Alpamayo 1一样的VLA模型，但它被优化为为人形机器人提供动力，而不是自动驾驶车辆。英伟达的研究人员在一个由双手、半人形和人形机器人的传感器测量数据组成的数据集上训练了该算法。

“Salesforce、Milestone、日立、Uber、VAST Data和Encord正在使用Cosmos Reason为交通和工作场所生产力AI代理提供支持，”英伟达生成AI软件副总裁Kari Briski在博客文章中写道。“Franka Robotics、Humanoid和NEURARobotics正在使用Isaac GR00T模拟、训练和验证机器人新行为，然后再进行生产扩展。”

英伟达专注于机器人的算法与一对更通用的模型系列一起推出，称为Nemotron Speech和Nemotron RAG。前者系列的亮点是一个语音识别模型，公司称其性能是可比替代品的10倍。Nemotron RAG包括嵌入和重排序模型。

嵌入模型将数据转化为AI应用程序理解的数学表示。重排序是RAG，即检索增强生成工作流程中的一个步骤。在AI应用程序使用RAG检索到回答提示所需的文件后，重排序模型会突出显示最相关的文件。

开源开发工具

英伟达的AI模型还配备了三个同样在开源许可下提供的开发工具。第一个工具，AlpaSim，使开发者能够创建模拟环境，在其中可以训练自动驾驶模型。该软件可以自定义交通状况和模拟车辆的传感器阵列等细节。为了增加挑战，开发者可以注入传感器噪声，以评估其AI模型过滤错误数据的能力。

英伟达还推出了第二个模拟框架，称为Isaac Lab-Arena。它旨在简化训练机器人AI模型的任务。根据公司说法，Isaac Lab-Arena使开发者能够使用流行的第三方基准如Robocasa来衡量AI模型的性能，Robocasa主要用于评估家用机器人。

软件团队可以使用英伟达的第三个新工具OSMO来管理他们的模拟工作负载。它是一个协调器，也适用于管理其他AI开发工作流程，如合成数据生成管道和模型训练任务。英伟达表示，OSMO可以在公共云和开发者工作站之间协调工作负载。

新硬件

制造商可以使用一个新的英伟达计算模块，称为Jetson Jetson T4000，为他们的机器人提供动力。它基于公司的Blackwell图形处理单元架构。例如，一个工业机器人制造商可以使用该模块运行其系统的AI驱动的工厂车间导航软件。

Jetson T4000包括64GB内存，在处理FP4数据时可以管理高达1,200 TFLOPS，即每秒1,200万亿次计算。这使得它比英伟达上一代机器人模块快四倍。Jetson T4000将以1,999美元的价格提供给购买至少1,000个单位的客户。