您尚未登录账户
您的企业账号申请正在审核中
谷歌推出VaultGemma：一种实验性的差分隐私大语言模型
VaultGemma是一个基于Gemma 2的10亿参数大语言模型，谷歌从头开始使用差分隐私（DP）进行训练，旨在防止模型记住并复述训练数据。虽然仍处于研究阶段，但VaultGemma可能在医疗、金融、法律和其他受监管领域中得到应用。
差分隐私是一种数学技术，旨在发布从数据集中得出的统计信息，而不泄露其中包含的个体样本的信息。这通常通过向训练数据中注入校准噪声来实现，以便在保留其整体统计特性的同时，使推断特定样本的细节变得更加困难。
这种方法有效的一个关键假设是，注入的隐私保护噪声显著超过原始数据中固有的随机性，这增加了批量大小，即发送给模型进行训练的样本集，从而增加了计算成本。
在大型语言模型的背景下，这种方法确保模型输出在统计上与在排除任何给定个体样本的原始数据集上训练的模型的输出无法区分。这反过来意味着对手无法自信地推断出某个特定样本是否是训练集的一部分。
虽然差分隐私提供了严格的、可量化的隐私保证，但它是有代价的，因为添加的噪声可能降低模型的准确性，并使训练变得更加计算密集。谷歌的研究尤其关注这一平衡，并试图识别缩放法则对于DP模型，换句话说，定义在给定的隐私保证和计算预算下实现最低性能损失的最佳训练配置。
我们使用缩放法则来确定我们需要多少计算资源来训练一个计算最优的10亿参数基于Gemma 2的DP模型，以及如何在批量大小、迭代次数和序列长度之间分配这些计算资源以实现最佳效用。
谷歌研究人员还设计了一种新的使用泊松采样的训练算法而不是均匀批次，以减少为达到所需隐私保证而注入的噪声量。
谷歌将VaultGemma与非私密、非DP模型如Gemma 3 1B和GPT-2 1.5B进行了基准测试，发现它在HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA和ARC-C/E上表现与GPT-2相当。这个比较提供了差分隐私性能成本的一个相对客观的估计。
VaultGemma的权重在Hugging Face和Kaggle上可用，需接受谷歌的条款。
虽然VaultGemma不是首次涉足差分隐私大语言模型，但谷歌研究人员认为这是迄今为止最大的此类模型。更常见的是，差分隐私已被用于大型语言模型的微调，而不会有暴露用户数据的风险。
