MLCommons发布了最新的MLPerf Inference v4.0基准测试结果，凸显了AI硬件和软件方面的快速进步。新的基准测试引入了更大的生成式AI模型，并突出了领先技术公司取得的令人瞩目的性能提升。

MLCommons开发的机器学习性能（MLPerf）Inference v4.0基准测试套件是一种行业标准工具，用于衡量机器学习（ML）系统在各种部署场景中的性能。为了跟上不断变化的生成式AI领域，工作组创建了一个新的任务小组，以确定哪些模型应添加到基准测试的v4.0版本中。经过仔细考虑，套件中纳入了两个新的基准测试：Llama 2 70B和Stable Diffusion XL。

Llama 2 70B是一个拥有700亿参数的模型，比MLPerf Inference v3.1中引入的GPT-J模型大了一个数量级。这种更大的模型规模需要不同类型的硬件，为高端系统提供了出色的基准测试。Llama 2 70B被纳入MLPerf Inference v4.0发布版中，标志着模型参数的大幅增加，展示了生成式AI模型的快速发展。

Stable Diffusion XL拥有26亿参数，是一种流行的文本到图像生成式AI模型，用于通过基于文本的提示创建引人入胜的图像。通过生成大量图像，基准测试计算诸如延迟和吞吐量等指标，以了解整体性能。

MLPerf Inference v4.0的结果包括来自23家提交组织的超过8500个性能结果和900个功耗结果。戴尔、富士通、NVIDIA和高通技术公司等四家公司为MLPerf Inference v4.0提交了专注于数据中心的功耗数据，展示了在高效AI加速方面的持续进展。

NVIDIA基于Hopper的系统运行TensorRT-LLM软件，为生成式AI提供了全球最强大的平台。H200 GPU配备了141GB的HBM3e内存和4.8TB/s的带宽，在Llama 2基准测试中实现了每秒31000个令牌的记录，比H100 GPU提升了45%。

TensorRT-LLM是NVIDIA用于优化大型语言模型推理的软件，在这些性能提升中发挥了关键作用。与MLPerf Inference v3.1中仅六个月前的结果相比，它几乎将Hopper GPU在GPT-J LLM上的性能提升了3倍。这展示了NVIDIA全栈方法的强大功能，即针对生成式AI工作负载同时优化硬件和软件。

NVIDIA在Stable Diffusion XL基准测试中也展现了强大的性能，8个GPU的NVIDIA HGX H200系统在服务器和离线场景中分别实现了每秒13.8次查询和每秒13.7个样本。此外，针对H200 GPU的定制散热设计，如MGX平台，与标准风冷变体相比，性能可提升高达14%。

在MLPerf Inference v4.0中，Intel的Gaudi 2加速器仍然是NVIDIA H100 GPU在生成式AI性能方面的唯一经过基准测试的替代品。虽然Gaudi 2的性能落后于NVIDIA的产品，但Intel声称它提供了强大的性价比，这是总拥有成本的重要考虑因素。

在MLPerf Inference v4.0中，Intel搭载英特尔高级矩阵扩展（AMX）的第五代至强可扩展处理器也展示了显著的改进。与上一代相比，第五代至强处理器在MLPerf的不同类别中平均性能提升了1.42倍。值得注意的是，在GPT-J基准测试中，通过连续批处理等软件优化，第五代至强实现了相比v3.1提交版本1.8倍的性能提升。

随着生成式AI的需求持续增长，硬件和软件供应商正在不断突破性能极限。就在上周的GTC大会上，NVIDIA的创始人兼CEO黄仁勋宣布，他们即将推出的Blackwell GPU将为万亿级参数的AI模型提供新的性能水平。

与此同时，Intel继续在其产品组合中改进AI产品，为客户提供满足其多样化AI需求的多种解决方案。

MLPerf Inference基准测试是客户评估AI性能并在选择特定工作负载系统时做出明智决策的有价值工具。随着行业标准基准测试不断发展，纳入更多生成式AI模型和现实世界场景，它将继续在AI硬件和软件领域推动创新和竞争。