您尚未登录账户
您的企业账号申请正在审核中
谷歌推出MediaPipe API，实现设备端LLM运行
近日，科技巨头谷歌在人工智能领域取得了重大突破，其新推出的MediaPipe LLM Inference API使得大型语言模型（LLMs）能够在设备端实现全面运行。这一技术的出现，标志着人工智能在设备端应用的新篇章，将深刻改变现有的计算格局。
MediaPipe LLM Inference API的推出，是谷歌在机器学习领域不断创新的又一体现。此前，设备端的机器学习应用多受限于计算能力和存储空间的限制，只能运行较小规模的模型。然而，大型语言模型因其庞大的参数和计算需求，通常只能在云端服务器上运行。MediaPipe LLM Inference API的出现，打破了这一局限，使得大型语言模型能够在笔记本电脑、手机等设备上运行，不再依赖云端资源。
据悉，MediaPipe支持四种大型语言模型，包括Gemma、Phi 2、Falcon和Stable LM。这些模型可以在Web、Android和iOS平台上运行，为开发者提供了极大的便利。谷歌表示，未来还将继续扩展支持的模型和平台，以满足更多场景下的应用需求。
MediaPipe LLM Inference API的实现离不开一系列优化技术的支持。通过新的操作（ops）、量化、缓存和权重共享等技术手段，谷歌成功降低了大型语言模型在设备端运行时的内存和计算需求。这些优化技术的运用，不仅使得大型语言模型能够在设备端运行，还保证了其性能和准确性。
此外，MediaPipe LLM Inference API的推出也为研究人员和开发者提供了更多的可能性。他们可以在设备端对流行的开源大型语言模型进行原型设计和测试，进一步推动人工智能技术的发展和应用。
总的来说，谷歌的MediaPipe LLM Inference API的推出是人工智能领域的一次重要突破，它将为设备端机器学习应用打开新的大门，推动人工智能技术的普及和应用。
