
随着关于即将推出的Vera Rubin图形处理单元的讨论热度不断升高,人们很容易忽视英伟达公司不仅仅是提供人工智能硬件。
它还开发了自己的AI模型系列,今天宣布推出其迄今为止最强大的模型。公司表示Nemotron Super 3旨在大规模运行复杂的代理AI系统,结合先进的推理能力和快速的处理速度,以高效执行需要极高精度的任务。
Nemotron Super 3是一个基于混合专家架构的1200亿参数开放模型。它结合了三项创新,实现了比上一代Nemotron Super模型高达五倍的吞吐量和两倍的准确性,英伟达表示。
根据英伟达的说法,Nemotron Super 3旨在解决代理AI系统面临的两个主要限制,这些系统旨在代表用户自动化复杂任务。第一个是内容的爆炸。英伟达表示,多代理工作流通常会生成比标准聊天交互多15倍的标记,因为每次用户与其交互时,模型需要重新发送包括工具输出和中间推理在内的上下文。
第二个限制被称为“思考税”。复杂的代理必须在完成任务的每一步进行推理,这意味着使用更大的模型是不切实际的,因为参数越多,处理成本就越高。大模型也比小模型慢。
为了绕过这些问题,Nemotron 3 Super拥有一个100万标记的上下文窗口,使其能够在内存中保留完整的工作流状态并防止“目标漂移”,英伟达表示。此外,在推理过程中,即运行训练模型以对新数据生成预测或得出结论的过程中,其1200亿参数中只有120亿是活跃的。
英伟达表示,Nemotron Super 3在其Blackwell GPU上以NVFP4精度运行,这使其能够减少内存需求并将推理速度提高到其上一代Hopper平台的四倍。
Nemotron 3 Super可以从build.nvidia.com、OpenRouter和Hugging Face下载。此外,AI搜索引擎Perplexity Inc.在其搜索引擎中提供该模型,并与其“计算机”AI代理系统一起使用。生成式AI编码应用程序如CodeRabbit、Factory和Greptile也将该模型添加到其产品线中,而生命科学组织Edison Scientific和Lila Sciences将使用它来为数据科学、深度文献研究和分子理解提供动力。
包括Amdocs集团公司、Palantir Technologies Inc.、Cadence Design Systems Inc.和Dassault Systèmes SA在内的公司也在使用Nemotron Super 3来自动化电信、网络安全、半导体设计和制造的工作流程。最后,戴尔科技公司和惠普企业公司也将通过各自的代理中心提供对该模型的访问。
Nemotron 3 Super的推出正值英伟达年度GTC大会之前,该大会定于下周3月16日开幕,届时公司预计将揭示更多关于其下一代GPU平台的消息以及其他公告。
