微软发布了基于 FPGA 的低延迟深度学习云平台—— Project Brainwave

2017年08月24日 由 nanan 发表 744997 0
微软

据了解,微软发布了Project Brainwave ,这是一个基于 FPGA 的低延迟深度学习云平台。微软官方测试数据显示:当使用英特尔的 Stratix 10 FPGA,它不需要任何 batching 就能在大型 GRU达到 39.5 Teraflops 的性能。

微软公司表示——该系统是为实时 AI 而设计。

Project Brainwave 的系统可分为三个层面:

  1. 高性能分布式系统架构;


 

  1. 整合到 FPGA 硬件上的深度神经网络(DNN)引擎;


 

  1. 能 low-friction 部署已训练模型的编译器和runtime。


 

第一个层面上,Project Brainwave利用了微软建立起来的FPGA 基础设施。通过把 FPGA连接到数据中心网络,之后由一个 loop 中没有软件的服务器调用。这套系统构架既降低了延迟,也达到了非常高的吞吐率。

第二个层面上,Project Brainwave 使用了一个非常强大的“软”DNN 处理单元(即 DPU),并将其整合到可购买的FPGA中。现在有很多的公司,正在开发“硬化”的DPU,但Project Brainwave 采取的是另一种路径,提供了一个横跨多种数据类型的设计。

第三个层面上,Project Brainwave 内置了一个能支持各种深度学习框架的软件堆。目前已经对Microsoft Cognitive Toolkit和谷歌的Tensorflow给予了支持,并且还计划兼容更多的框架,不止如此,还定义了一个基于图的中间表达,并可以将其编译到我们的高性能基础设施上。
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消