支付网站建设的分录,利尔化学股票最新消息,汕头自助建站软件,地产网站建设公司本文来自伍冬睿科学网博客链接地址#xff1a;http://wap.sciencenet.cn/blog-3418535-1256333.html?mobile1机器学习在脑机接口中的成功应用#xff0c;使脑机接口得到了快速的发展。然而#xff0c;对抗攻击的发现让我们不得不重新思考机器学习模型的安全性。这些潜在的危… 本文来自伍冬睿科学网博客链接地址http://wap.sciencenet.cn/blog-3418535-1256333.html?mobile1机器学习在脑机接口中的成功应用使脑机接口得到了快速的发展。然而对抗攻击的发现让我们不得不重新思考机器学习模型的安全性。这些潜在的危险性给基于机器学习的脑机接口的实际应用提出了不可逃避的难题。对抗攻击可以分为两种1逃逸攻击(evasion attack)在不改变模型的前提下通过对测试样本进行轻微地改变从而使得模型对改变后的样本产生错误的分类。2污染攻击通过在训练集中加入少量的污染样本从而控制在污染的训练集中训练的模型的行为。目前已有不少工作去探究脑机接口中的安全问题。我们之前一些工作使用逃逸攻击[1,2]对测试的EEG样本加入人眼无法察觉的微小的扰动能够让模型对扰动后的EEG样本进行错误的分类或者控制回归模型的预测值。这些工作在理论上讨论脑机接口的安全性有重要的意义然而这些攻击在实际中其实是很难实现的主要因为1这些攻击需要在EEG信号预处理和机器学习模型之间插入一个攻击模块去添加对抗扰动而在实际系统中这两个模块往往被集成在同一块芯片中攻击者很难达成目的。2这些方法生成的对抗扰动是很复杂的特别地不同通道需要生成和添加不同的复杂对抗扰动噪声这在实际中是很难操作的。3攻击者在生成或者施加对抗扰动时需要提前获取目标样本的信息如为了让对抗扰动与EEG信号对齐试次的起始时间是必需的而在实际系统中攻击者是很难提前获取这些信息的。这些局限性导致已有的对抗攻击对实际脑机接口系统带来的威胁并没有很大。我们最近的工作[3]解决了上面的部分局限性使脑机接口系统的逃逸攻击更加容易但是施加对抗扰动时仍然需要知道EEG信号试次的起始时间。我们最新的工作提出了实际可实现的污染攻击方法。通过在训练样本中加入少量的污染样本这些污染样本能够在模型训练后在模型内创建一个“后门”在测试阶段如果测试样本中有“后门”的钥匙则会被污染的模型分类到攻击者指定的类别。为了使攻击能够更好地在实际中实现我们选择了特定的窄周期脉冲作为“后门”的钥匙特别地窄周期脉冲可以在EEG信号采集的时候通过外界干扰加入到EEG中。我们的攻击主要克服了以下几个挑战使得其更容易在实际中实施1进行攻击的“后门”钥匙是很简单的包括两点生成的模式是简单的以及在实际脑机接口系统中将钥匙加入到EEG数据中是简单的2攻击使用的钥匙对于不同的EEG信号都是通用的只要EEG中包含“后门”钥匙都能被污染后的模型分类到攻击者指定的类别3攻击的实施和钥匙的生成不依赖于被攻击的EEG信号的信息甚至攻击者不需要获取到EEG信号的起始时间。我们攻击的流程如下图所示我们提出的实际可实现的污染攻击在模拟的场景下成功地攻击了三种范式的脑机接口系统中不同的模型。实验表明经过污染的模型会对绝大部分包含“后门”钥匙的测试样本按照攻击者指定的类别进行预测。实验还发现只需要很少一部分的污染样本就能得到很高的进攻成功率同时在污染的训练集中训练的模型与正常训练的模型在不包含“后门”钥匙的样本上的分类准确率十分地接近这两点意味着我们的攻击在实际应用中是很难被察觉的。另外我们还测试了我们的攻击的参数鲁棒性保证了在攻击时周期窄脉冲的参数发生较小的变化下还能取得较高的进攻成功率。我们未来的工作会将这种攻击应用于实际的脑机接口系统而不是在模拟的环境下这将给脑机接口的应用带来极大的挑战。同时我们也将研究具有对抗攻击鲁棒性的脑机接口系统。[1] Zhang, X. Wu, D. On the vulnerability of CNN classifiers in EEG-based BCIs. IEEE Trans. on Neural Systems and Rehabilitation Engineering 27, 814–825 (2019).[2] Meng, L., Lin, C.-T., Jung, T. Wu, D. White-box target attack for EEG-based BCI regression problems. In Proc. Int’l Conf. on Neural Information Processing, 476–488 (2019).[3] Zhang, X. et al. Tiny noise, big mistakes: Adversarial perturbations induce errors in brain-computer interface spellers. National Science Review (2020). In press.原文下载BCIAttack_arXiv.pdf未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
