
Cloudflare公司已收购Replicate公司,这是一家初创企业,其软件能够简化人工智能模型在生产环境中的部署。
两家公司今天宣布了这笔交易,但未披露其财务条款。此前,Replicate从Y Combinator、红杉资本及其他投资者处筹集了超过2300万美元的资金。
大型语言模型依赖于多种辅助组件来运行。所需模块通常包括CuDNN,这是Nvidia公司提供的一个库,提供注意力机制等LLM构建模块。AI模型通常还需要Python的实现,这是编写AI工作负载的首选语言。
单独设置LLM所需的所有组件可能需要数小时。软件团队通过将LLM及其依赖项打包到一个容器中来加快这一过程。当需要在生产中部署模型时,开发人员可以简单地安装现成的容器,而不是手动设置其组件。
总部位于旧金山的Replicate提供了一个AI目录,其中包括超过50,000个模型的容器化版本。公司使用Cog创建了这些容器,这是一个他们在2019年开源的内部开发工具。将AI模型及其支持组件打包到容器中加快了部署过程,但仍可能耗时。Cog自动化了任务中涉及的大部分工作。
Replicate使客户能够在托管云平台上部署其容器化模型。该平台还支持自定义LLM,消除了开发人员管理基础设施的需要。其费用基于使用量计算。
Cloudflare将把Replicate的平台迁移到其基础设施上,这一变化预计将提高其可靠性和性能。此外,Cloudflare将利用通过收购获得的技术来增强其Workers AI服务。
与Replicate类似,Cloudflare Workers使开发人员能够在云中部署软件,而无需维护底层硬件。底层硬件分布在全球的数据中心。当用户向Cloudflare Workers应用程序发送请求时,平台使用最近的数据中心来处理它,从而降低延迟。
Workers AI是一个针对机器学习工作负载优化的平台版本。Cloudflare计划使用Replicate的容器化AI库扩展平台的现成AI模型目录。此外,公司将引入运行自定义LLM和微调开源模型的能力。
开发工作还将看到Cloudflare增强其AI Gateway服务。该服务使开发人员能够缓存LLM对经常出现的用户提示的响应,从而无需每次从头生成这些响应。AI Gateway同时也是一个LLM可观测性工具。
“我们将深度整合我们的统一推理平台与AI Gateway,为您提供一个单一的控制平面,用于跨所有模型的可观测性、提示管理、A/B测试和成本分析,无论它们是在Cloudflare、Replicate还是任何其他提供商上运行,”Cloudflare副总裁Rita Kozlov和Replicate首席执行官Ben Firshman在博客文章中写道。
