双雄之争,PyTorch1.3发布,全新功能来袭

2019年10月11日 由 TGS 发表 816910 0
2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对方借鉴,但是都不太理想。

昨天的PyTorch 开发者大会上,Facebook 重磅发布了 PyTorch 1.3,推出一系列新特性,如支持无缝模型部署到移动设备,模型量化以在推理时获得更好的性能以及前端改进,此外,还推出了一大波工具和库,增加 Cloud TPU 和阿里云支持等。

天平倾斜,研究人员的选择


自2012年深度学习重新获得突出地位以来,许多机器学习框架也相应成为研究人员和行业从业者的新宠。从Caffe和Theano的早期学术成果,到业界大规模支持的PyTorch和TensorFlow,2019年,机器学习框架之战主要是PyTorch和TensorFlow的对峙。

如今之所以说天平发生了倾斜,是因为实实在在的数据。仅2019 年上半年,ArXiv 论文中 PyTorch 的引用量就增长了 194%;PyTorch 平台的贡献者数量比去年增长了 50% 以上,达到近 1200 人。2019年主要顶级研究会议的论文中,多数使用的都是PyTorch。

PyTorch在视觉和语言会议方面的优势最为明显,分别以2:1和3:1的比例超过了TensorFlow。此外可以看到,在ICLR和ICML等通用机器学习会议上,PyTorch也比TensorFlow更受欢迎。虽然PyTorch是一个“新人”,但正在快速增长,尤其在学术圈中地位飙升,大有取代TensorFlow,成为机器学习框架 No. 1 的势头。

大多数的研究人员更加喜欢PyTorch的API,而不是TensorFlow的API,不仅是因为PyTorch的设计更好,还有部分因为是TensorFlow 切换API接口过于频繁,用起来没有前者方便。

此外,尽管与TensorFlow 比起来,PyTorch的动态图 (Dynamic Graphs) 提供的优化空间比较小,但许多用户都反馈说PyTorch的速度不亚于TensorFlow,甚至比对方还快,性能极其强劲。

最后,PyTorch更加简单,并且风格与Python很像,能轻易和Python生态集成起来,因此得到研究人员偏爱是理所当然的。

PyTorch 1.3——重磅发布,全新升级


开发者大会第一天,PyTorch 1.3率先公布。新的版本不仅能支持安卓iOS移动端部署,还能让用户去对手Google的Colab上调用云TPU,甚至还被集成在了阿里云上。PyTorch 1.3 带来了一系列重要的新特性,其中包括对移动设备部署的实验支持、 8-bit 整数的 eager mode 量化,以及 name tensors 等一大波全新的功能。

  • Named tensors:允许用户给张量维度命名,从而让张量更易用,这样就可以直接用名字,而不用根据位置来跟踪张量维度。

  • Quantization:低精度执行计算和存储的技术。

  • PyTorch mobile:支持端到端的工作流。

  • Detectron2:PyTorc 中的对象检测库。提供对最新模型和任务的支持,增强的灵活性以帮助进行计算机视觉研究,并改善了可维护性和可扩展性以支持生产用例。

  • Captum:提供最先进的工具,帮助研究人员了解特定神经元和层的重要性,并影响模型的预测。

  • CrypTen:基于云或机器学习即服务(MLaaS)平台的ML的实际应用提出了一系列安全和隐私挑战。这些平台的用户可能不希望或是无法共享未加密数据,这使他们无法充分利用机器学习工具。为了应对这些挑战,机器学习社区正在探索各种成熟度不同的技术方法。其中包括同态加密、安全多方计算、可信执行环境、设备计算和差分隐私。为了帮助更好地理解如何应用其中的某些技术,Facebook发布了CrypTen,这是一个新的基于社区的研究平台,用于推动隐私保护ML领域的发展。

  • Fairseq 的语音扩展:语言翻译和音频处理是搜索、翻译、语音和助手等系统和应用程序中的关键组件。更新扩展了 fairseq,这是一个用于序列到序列应用的框架,包括对语音和音频识别任务的端到端学习的支持。

  • 云端支持、硬件生态扩展:PyTorch为AWS、Microsoft Azure 和谷歌云等任何云提供商提供部署支持。除了主要的GPU和CPU合作伙伴之外,PyTorch生态系统还支持专用的机器学习加速器。比如英特尔不久前推出的NNP-I推理芯片、Habana Labs的AI处理器。


未来


尽管PyTorch势头猛烈,但TensorFlow也没有坐以待毙。十一期间登场的TensorFlow 2.0有着快速、可扩展、可投入生产的巨大优势,对于工业界来说,这是非常诱人的。

目前的态势是,在研究界,PyTorch占据了上风,但在工业界,它依然不是老大哥TensorFlow的对手。

PyTorch的机会在于,机器学习是一个研究驱动的领域,只要PyTorch在研究领域占据主导地位,企业就只有被迫转型,因为工业界不能忽视研究成果,有些时候,他们也是别无所选择的。

但可惜的是,这个过程注定将十分缓慢, 且十分困难。

参考来源:IT之家、凹非寺、新浪、百度百科、谷歌新闻。
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消