机器学习数据集中毒的防范策略

2024年02月08日 由 daydream 发表 48 0

几乎任何人都可以毒害机器学习(ML)数据集,从而永久性地大幅改变其行为和输出。通过谨慎、主动的检测工作,企业可以保留数周、数月甚至数年的工作时间,否则他们就需要用这些时间来消除中毒数据源造成的损害。


微信截图_20240208105949


什么是数据中毒?


数据中毒是一种恶意篡改数据集以误导或混淆模型的对抗性 ML 攻击。其目的是使模型做出不准确的响应或以非预期的方式运行。实际上,这种威胁可能会损害人工智能的未来。


随着人工智能应用的扩大,数据中毒变得越来越普遍。有意操纵造成的模型幻觉、不恰当的反应和错误分类越来越频繁。公众的信任度已经在下降--只有 34% 的人坚信他们可以在人工智能治理方面信任科技公司。


机器学习数据集中毒实例


虽然存在多种类型的毒害,但它们的共同目标是影响ML模型的输出。通常,每一种都涉及提供不准确或误导性的信息以改变行为。例如,有人可以将速度限制标志的图像插入到停车标志的数据集中,以欺骗自动驾驶汽车错误分类路标。


即使攻击者无法访问训练数据,他们仍然可以利用模型调整行为的能力对其进行干扰。他们可以同时输入数千封目标邮件,以歪曲其分类过程。几年前,谷歌就遇到过这种情况,当时攻击者同时发送了数百万封电子邮件,迷惑谷歌的电子邮件过滤器,将垃圾邮件误归为合法信件。


常见的数据集毒害技术


毒害技术可分为三类。第一类是数据集篡改,即有人恶意更改训练材料以影响模型的性能。注入攻击——攻击者插入不准确、冒犯性或误导性数据——是一个典型的例子。


标签翻转是另一种篡改的例子。在这种攻击中,攻击者只是简单地切换训练材料来混淆模型。目标是让模型错误分类或严重误算,最终显著改变其性能。


第二类是在训练过程中和训练结束后对模型进行操纵,攻击者对模型进行增量修改,以影响算法。后门攻击就是一个例子。在这种情况下,攻击者会在数据集的一个小子集上下毒--在数据集发布后,他们会触发一个特定的触发器,从而导致意想不到的行为。


第三类是在部署后操纵模型。其中一个例子是分割视图中毒,即有人控制了算法索引的源,并在其中填入不准确的信息。一旦 ML 模型使用了新修改的资源,就会采用中毒数据。


主动检测工作的重要性


关于数据中毒,主动检测对于确保 ML 模型的完整性至关重要。聊天机器人的无意行为可能具有攻击性或贬损性,但中毒的网络安全相关 ML 应用程序会产生更严重的影响。


如果有人进入 ML 数据集进行篡改,就会严重削弱安全性,例如在威胁检测或垃圾邮件过滤过程中造成错误分类。由于篡改通常是渐进发生的,因此平均 280 天内都不会有人发现攻击者的存在。为了防止它们被忽视,企业必须未雨绸缪。


不幸的是,恶意篡改非常直接。2022 年,一个研究小组发现,他们只需花费 60 美元,就能使 COYO-700M 或 LAION-400M 最大数据集的 0.01% 中毒。


虽然这么小的比例看似微不足道,但少量的数据也会带来严重的后果。仅 3% 的数据集中毒就能将 ML 模型的垃圾邮件检测错误率从 3% 提高到 24%。考虑到看似微不足道的篡改也可能带来灾难性后果,主动检测工作至关重要。


检测机器学习数据集中毒的方法


好消息是,企业可以采取几种措施来确保训练数据的安全、验证数据集的完整性并监控异常情况,从而最大限度地降低中毒几率。


1:数据净化


净化是指在训练材料到达算法之前对其进行 "清洗"。它包括数据集过滤和验证,由专人过滤掉异常和异常值。如果发现可疑、不准确或看起来不真实的数据,就会将其删除。


2:模型监控


部署后,公司可以实时监控其 ML 模型,以确保它不会突然出现意外行为。如果他们发现可疑的响应或不准确性急剧增加,就可以寻找中毒的源头。


异常检测在这方面发挥着重要作用,因为它有助于识别中毒实例。公司可以实施这项技术的一种方法是创建一个参考和审计算法,以与其公开模型进行比较。


3:来源安全


确保 ML 数据集的安全比以往任何时候都更为重要,因此企业只能从值得信赖的来源获取数据。此外,企业还应在训练模型前验证其真实性和完整性。这种检测方法也适用于更新,因为攻击者可以轻易毒害以前索引过的网站。


4:更新


对 ML 数据集进行例行消毒和更新可减轻分割视图中毒和后门攻击。确保模型训练所依据的信息准确、适当和完整是一个持续的过程。


5:用户输入验证


企业应过滤和验证所有输入,防止用户通过有针对性的、广泛的恶意贡献来改变模型的行为。这种检测方法可以减少注入、分割视图中毒和后门攻击的危害。


企业可防止数据集中毒 


虽然人工智能数据集中毒很难检测,但积极主动、协调一致的努力可以大大降低篡改影响模型性能的几率。这样,企业就能提高安全性,保护算法的完整性。

文章来源:https://venturebeat.com/ai/how-to-detect-poisoned-data-in-machine-learning-datasets/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消