公司网站怎么做简介,黑料社2023,平远县建设工程交易中心网站,vip视频解析网站怎么做由于自然语言处理#xff08;NLP#xff09;的进步#xff0c;越来越多的公司和组织开始利用AI算法来执行与文本相关的任务#xff0c;例如#xff1a;过滤垃圾邮件、分析社交媒体帖子和评论、评估简历以及检测假新闻。
但是#xff0c;真的可以相信这些算法能够可靠地执…由于自然语言处理NLP的进步越来越多的公司和组织开始利用AI算法来执行与文本相关的任务例如过滤垃圾邮件、分析社交媒体帖子和评论、评估简历以及检测假新闻。
但是真的可以相信这些算法能够可靠地执行任务吗IBM亚马逊和德克萨斯大学的新研究证明使用一些工具可以攻击文本分类算法并以潜在的恶意方式对模型进行操纵。
在斯坦福大学举行的SysML AI大会上研究人员展示了这项有关“改述”攻击的研究。其具体做法是修改输入文本以便在不改变其实际意义的情况下通过AI算法对其进行不同的分类。
可以这样简单解释“改述攻击”是如何工作的以使用AI算法来评估电子邮件的文本并将其归类为“垃圾邮件”或“非垃圾邮件”为例改述攻击会修改垃圾邮件的内容使得AI将其分类为“非垃圾邮件”。
针对文本模型的对抗性攻击的挑战
在过去几年中一些研究小组已经探讨了对抗性攻击的各种方法。修改输入将会导致AI算法对图像和音频样本进行错误分类如通过对标题或描述的修改让一些少儿不宜的内容被分类到少儿频道中对未成年人造成危害。但是攻击文本模型比篡改计算机视觉和音频识别算法要困难得多。
“对于音频和图像人类完全可以自行区分。” 人工智能研究员兼语言模型专家Stephen Merity说。例如在图像分类算法中人类可以逐步改变像素的颜色并观察这些修改如何影响模型的输出。这可以帮助研究人员发现模型中的漏洞。
“可是文本攻击更加困难因为它是离散的。在一个句子中你不能说我想要多加10%的‘dog’这个词。大部分情况是一句话中有‘dog’这个词模型可以把有这个词的句子进行某一种归类。而且我们还不能有效地搜索模型中的漏洞。”Merity说“我们的想法是能不能智能地找出机器的弱点然后把它推到特定的位置?”
“对于图像和音频做对抗性干扰是有意义的。但对于文本来说即使你对文字做了一些小改动比如只改动一两句话都可能导致这段话无法顺利读出来。”IBM的研究员兼研究论文的共同作者Pin-Yu Chen说。
过去关于对文本模型的对抗性攻击的工作只涉及改变句子中的单个单词。虽然这种方法成功地改变了AI算法的输出但它经常导致修改后的句子听起来是人为的。Chen和他的同事们不仅关注词语的改变而且还关注改写句子和以有意义的方式改变更长的序列。
“我们正在尝试解释单词和句子通过创建在语义上与目标句子类似的序列来为攻击提供更大的空间。然后我们要看看模型是否将它们归类为原始句子。”Chen说。
研究人员开发了一种算法可以在句子中找到可以操纵NLP模型行为的最佳变化。“主要的困难是要确保文本的修改版本在语义上与原始版本相似。我们开发了一种算法可以在非常大的空间中搜索单词和句子这些修改将对AI模型的输出产生最大的影响。在该空间中找到最佳对抗性示例非常耗时。该算法计算效率高并且提供了理论上的保证它是人们可以找到的最佳搜索。”IBM研究院科学家该论文的另一位合著者Lingfei Wu说。
在他们的论文中研究人员提供了改变情感分析算法、假新闻检测器和垃圾邮件过滤器行为的修改示例。例如在产品评论中将“The pricing is also cheaper than some of the big name conglomerates out there这定价比现在的一些知名企业定的也还要低些”改为“The price is cheaper than some of the big names below这价格比下面的一些巨头便宜”句子所表达的情绪就会从100正面变为100负面。
人类无法感知的改述攻击
改述攻击成功的关键在于它们是人类难以察觉的因为它们保留了原始文本的语境和意义。
“我们将原始段落和修改后的段落给了人类评估员他们很难看到意义上的差异。但对于机器而言它完全不同。“Wu说。
Merity指出改述攻击不需要与人类完全一致特别是当他们没有预料到机器人会篡改文本时。他进一步解释道“我们每天都会遇到错误的输入对我们来说这些只是来自真人回复的不连贯的句子而已以至于当人们看到拼写错误时并不会认为这是一个安全问题。但在不久的将来它可能是我们必须应对的问题。”
Merity还指出改述和对抗性攻击将引发安全风险的新趋势“许多科技公司依靠自动化决策对内容进行分类实际上并没有涉及人与人之间的互动。这使得该过程容易受到此类攻击。”Merity说“改述攻击或许会与数据泄露同时发生除非我们将发现逻辑漏洞。”
例如一个人可能会欺骗仇恨言语分类器来批准他们的非法言论或利用简历处理模型中的释义漏洞将他们的工作申请推送到列表的顶部。
Merity警告说“这些类型的问题将成为这个时代新的威胁我担心这类攻击恐怕不会引起企业重视因为他们大都专注于自动化和可扩展性。”
改述攻击并非都是坏事
研究人员还发现通过逆转改述攻击可以构建更健壮、更准确的模型。
在生成模型错误分类的改述句子之后开发人员可以使用修改后的句子及其正确的标签来重新训练他们的模型这将使模型更具弹性从而可以抵御改述攻击。
Wu表示“这是我们在这个项目中的惊人发现之一。最初我们仅仅是从从稳健的角度出发。但后来我们发现这种方法不仅可以提高稳健性还可以提高泛化能力。如果不用来攻击的话改述其实是一种非常好的泛化工具可以提高模型的能力。”
论文链接
https://arxiv.org/abs/1812.00151
参考链接
https://venturebeat.com/2019/04/01/text-based-ai-models-are-vulnerable-to-paraphrasing-attacks-researchers-find/
