微软最新的小型语言模型专为设备上的处理而设计，特别用于Windows 11的设置应用程序。

Mu是设置菜单中AI代理的核心技术，允许用户用自然语言提问。在获得授权的情况下，代理可以自主采取行动来解决用户的问题；因此，它需要能够解释和操作数百个系统设置。

Mu目前在部分Windows Insiders中进行预览。

Mu如何在相对紧凑的硬件上实现强大的处理能力

在6月23日的新闻稿中，微软揭示了设备上的小型语言模型在设置中的AI代理背后的工作原理。Mu最初通过NVIDIAA100 GPU在Azure机器学习平台上进行训练。训练完成后，Mu在PC的神经处理单元（NPU）上运行，每秒可以处理超过100个标记。

Mu基于微软从Phi Silica中获得的经验，专注于在设备上运行小型语言模型。该模型于2024年为Windows 11 Copilot+ PC在Snapdragon X系列笔记本电脑上构建。

微软表示，选择编码器-解码器语言模型而非仅解码器架构提高了效率。

“通过将输入标记与输出标记分开，Mu的一次性编码大大减少了计算和内存开销，”微软Windows应用科学副总裁兼杰出工程师Vivek Pradeep在博客文章中写道。“在实践中，这转化为专用硬件上的更低延迟和更高吞吐量。”

微软表示，编码器-解码器语言模型比仅解码器模型更高效。

Mu针对Copilot+ PC上的NPU进行了优化

在与NPU合作的过程中，微软的开发人员学会了如何调整Mu的设计以适应处理器。这包括确保模型架构和参数形状与硬件的并行性和内存限制相匹配，优化编码器和解码器之间的参数分布，并以其他方式提高效率。

通过使用同一组权重来表示输入标记和生成输出对数，参数数量得以减少，这是确保在内存受限的NPU上快速性能的关键因素。

如果用户提出的问题涉及NPU上不支持或效率低下的操作，Mu将避免执行这些操作。

此外，对变压器架构和模型量化技术的改进提高了NPU上的电源效率。

设置中的AI代理在Windows 11 Insider Preview Build中可用，Windows Insiders在开发频道中可以访问。现在只有Snapdragon驱动的Copilot+ PC可以使用它，尽管微软表示基于AMD和Intel的PC将在未来某个时间获得访问权限。