您尚未登录账户
您的企业账号申请正在审核中
Meta发布新一代AI芯片MTIA，性能显著提升
Meta公布了其下一代Meta Training and Inference Accelerator（MTIA）芯片的详细信息，这是一款为优化公司AI工作负载而定制的芯片系列。这款最新版本在性能上相比其前身MTIA v1有了显著提升，在推动Meta广告排名和推荐模型方面发挥着至关重要的作用。
新款MTIA芯片是Meta在AI基础设施方面不断投资的一部分，旨在与现有及未来的AI系统相辅相成，从而改进其产品和服务的用户体验。随着AI模型计算需求的不断增加，以及其复杂性的日益提高，Meta认识到开发高效且可扩展的解决方案以支持生成式AI（GenAI）产品、推荐系统和高级AI研究的重要性。
新款MTIA芯片在内部结构上采用了8x8的处理元素（PEs）网格，显著提升了密集计算性能（比MTIA v1提升3.5倍）和稀疏计算性能（提升7倍）。该芯片架构致力于在计算、内存带宽和内存容量之间实现最佳平衡，以高效地为排名和推荐模型提供服务，即使批量大小相对较小。
Meta开发了一个大型机架系统，最多可容纳72个加速器，以支持下一代硅芯片。该系统设计可使芯片以1.35GHz的频率运行（较800 MHz有所提升），且功耗为90瓦，与第一代设计相比，具有更高的计算能力、内存带宽和内存容量。
自Meta开始投资MTIA以来，软件一直是其重点关注的关键领域。MTIA堆栈旨在与PyTorch 2.0以及TorchDynamo和TorchInductor等功能完全集成。Meta还通过创建Triton-MTIA编译器后端来优化软件堆栈，该后端为MTIA硬件生成高性能代码，并提高开发者的生产效率。
初步结果显示，下一代MTIA芯片在评估的四个关键模型上的性能比第一代芯片提高了3倍。在平台层面，通过设备数量翻倍和强大的双插槽CPU，Meta在第一代MTIA系统上实现了6倍的模型服务吞吐量和1.5倍的性能每瓦特提升。
MTIA已经部署在Meta的数据中心中，并正在积极为生产环境中的模型提供服务。这款芯片在与市面上可用的GPU配合使用方面证明了自己具有高度互补性，能够为Meta特定的工作负载提供最佳的性能和效率组合。作为Meta长期路线图的一部分，MTIA将继续发展和扩展，以支持公司的雄心勃勃的AI目标，包括支持GenAI工作负载以及对内存带宽、网络和容量的投资。
