微软开源用于AI模型的推理引擎ONNX Runtime

微软开源用于AI模型的推理引擎ONNX Runtime在Microsoft Connect 2018开发者大会上,微软对Azure和IoT Edge服务进行了大量更新,微软免费提供ONNX Runtime,一种用于ONNX格式的AI模型的推理引擎。

微软在开源代码中提供了大量框架和引擎。第一个是开放式神经网络交换(ONNX)Runtime,这是一种用于ONNX格式的机器学习模型的高性能推理引擎。

它可从GitHub上获取,可以自定义并直接集成到现有代码库中,或者从源代码编译,在Windows 10,Linux和各种其他操作系统上运行。

ONNX对于深度学习模型来说,是一种platform-agnostic格式,可以实现开源AI框架之间的互操作性,例如谷歌的TensorFlow,微软的Cognitive Toolkit,Facebook的Caffe2和Apache的MXNet。微软,AWS和Facebook在大约一年前于2017年9月联合发布了应用,亚马逊,Nvidia,英特尔和AMD等公司正在对其进行积极的开发。

微软公司副总裁Eric Boyd表示,Bing Search,Bing Ads内部团队,以及已纳入ONNX Runtime的Office团队发现AI模型的性能是原生的两倍,在某些情况下更高一些。他补充说,它也已被纳入其他微软产品,包括Windows ML和ML.NET。

他表示,“随着ONNX Runtime开源,我们鼓励大家积极使用它,它可以在嵌入式空间,Windows和Linux上运行,它极大地简化了开发人员的工作。”

也许更重要的是,它得到了更广泛的ONNX社区的支持。英特尔和微软正在合作将nGraph编译器集成,作为ONNX Runtime的执行提供程序。Nvidia正在帮助整合TensorRT,高通公司表示了对此技术的支持。

高通AI产品管理高级总监Gary Brotman表示,“ONNX Runtime将进一步推动跨多个设备类别的框架互操作性,标准化和性能优化,我们希望在Snapdragon移动平台上支持ONNX Runtime,能使开发人员感到便利。

资源:github.com/microsoft/onnxruntime

本文为ATYUN(www.atyun.com)编译作品,ATYUN专注人工智能
请扫码或微信搜索ATYUN订阅号及时获取最新内容

发表评论