基于注意力机制的鲁棒因子分解推荐模型
这是一篇关于推荐模型,特征工程,鲁棒性,对抗攻击,对抗样本,对抗训练的论文, 主要内容为随着互联网的发展和数据量的激增,如何从海量数据中快速筛选出用户感兴趣的商品和信息变得愈发迫切。人们对推荐系统的性能和鲁棒性要求也越来越高。同时,数据的爆发式增长使得特征数量也迅速增加,给推荐模型带来很大的挑战,而人工进行特征工程或处理特征之间的交互关系则非常耗时并且有很高的人工成本。如何利用机器学习模型自动地学习特征之间的关系,高效地从高维且高度稀疏的特征中学习到有用的信息成为了富有挑战性的课题。因子分解机模型通过对特征的二阶特征交互进行建模提供了一个高效的解决方案,但是仍然不能充分有效地学习到特征的高阶非线性的交互信息。虽然很多研究针对因子分解机模型提出了改进方案,但通常是假设特征的表征向量是相互独立的。此外,在利用大量特征输入构造推荐模型时,现有的研究仍然缺乏对有关推荐模型鲁棒性问题的讨论。针对这些问题和挑战,提出了一种基于注意力机制的因子分解推荐模型AttFM。通过结合多头自注意力网络和因子分解机模型的二阶交互网络,AttFM模型能够根据特征所处上下文环境对其表征向量进行动态适配,对特征进行差异化表达,具备更强的表达能力。实验结果表明,AttFM模型在常用公开数据集上均取得了更高的AUC值,推荐效果更优异。尽管AttFM模型取得了较好的推荐效果,但是有研究表明基于深度神经网络的机器学习模型鲁棒性较低,在实际应用中容易受到对抗样本的干扰。因此,设计了首个针对推荐领域的基于贪心策略的黑盒对抗攻击方法,测试了AttFM模型的鲁棒性。同时,在多个推荐模型上的对抗攻击实验表明该攻击方法具有一定的普适性。进一步地,通过生成一定数量的对抗样本并对所提出的推荐模型AttFM进行对抗训练,能够在保证AUC值基本不变的情况下显著提升AttFM模型的鲁棒性。
基于贝叶斯优化的黑盒迁移攻击方法研究
这是一篇关于深度学习,对抗攻击,鲁棒性,贝叶斯优化的论文, 主要内容为随着人工智能的发展以及日益增长的生产生活需求,基于深度学习技术的深度神经网络模型受到更加广泛的关注。在图像识别、智能语音系统、自动驾驶及智能家居等许多和人们生活密切相关的应用中,神经网络模型成为解决许多具有挑战性任务的首选工具。为了更好地将其应用于实际场景中,针对人工智能的鲁棒性问题研究尤为重要。对抗攻击是衡量神经网络模型鲁棒性的重要手段,具有充足理论基础和广阔的适用范围。黑盒对抗攻击在白盒对抗攻击的基础上隐藏了部分学习网络系统的信息情况,有助于进一步挖掘网络模型底层逻辑和潜在特征,提高现实网络的鲁棒性,更加具有现实部署的意义。当下,针对黑盒对抗攻击的研究主要集中在基于分数机制的攻击方式,即:已知神经网络模型的置信度分数输出信息来对模型进行攻击。目前,这种攻击通常依赖于替代模型或梯度估计方法来生成对抗样本。这意味着想要生成更加逼真,模型难以察觉的恶意样本,不可避免地需要大量地对目标模型进行不断查询来优化生成的扰动。在本文中,针对过多查询次数影响在实际场景中黑盒攻击效果的问题,提出了基于贝叶斯优化的黑盒迁移攻击方法(Bayesian Optimization Adversarial Attack With Transfer Priors,BO-ATP),一种结合了迁移攻击和贝叶斯优化策略的无梯度基于分数机制的攻击方法。在本文的方法中,使用预训练的生成器来学习可迁移扰动作为起点。在这个基础上,在生成器的低维潜在空间中利用贝叶斯优化的方法进行迭代搜索以找到最优扰动噪声,生成符合攻击要求的对抗样本。该方法与依赖于局部梯度估计的基于梯度的方法不同,在搜索过程中,攻击充分利用从前一个查询中获得的先验信息来采样下一个最佳扰动点,而不是仅仅随机采样多个点来估计梯度大小。通过在三个标准数据集——MNIST、CIFAR-10和Image Net上评估l∞范数约束下无目标和有目标的基于分数机制的黑盒攻击来证明所提出攻击方法的有效性。结果表明,本文所提出的攻击可以大大提高黑盒攻击的查询效率。与当前先进的基于分数机制的黑盒对抗攻击相比,所提出的攻击方法的查询效率要高出5-10倍,更接近于实际神经网络模型攻击的应用。
基于机器学习对抗的异构图安全性研究
这是一篇关于异构图模型,安全性研究,对抗攻击,推荐系统,图嵌入模型的论文, 主要内容为随着数据规模不断扩大,将深度学习模型应用在大规模图数据上,有效地提升了连边预测的精度,在推荐系统、社交网络等诸多领域具备较强的应用价值与潜力。近年来,虽然已有学者在同构图上开展对抗攻击研究,但针对异构图的安全性研究仍处于初步探索阶段。本文针对应用面较广的异构图推荐系统展开安全性探究。同时,进一步将研究拓展到一般性的多重异构图嵌入模型攻击问题中,探索了灰盒条件下的投毒攻击策略,验证了异构图深度学习模型的脆弱性。本文主要工作及创新点如下所示:(1)针对异构图应用中存在的安全性问题,系统性地总结了现有工作优势与不足,包括图深度学习模型攻击研究、推荐系统对抗性攻击研究、异构图嵌入表示三个部分内容。同时,从图深度学习、推荐系统领域的攻击研究中挖掘可借鉴的方法,并结合异构图嵌入的特点,为未来设计不同类型下的异构图嵌入攻击提供了指引。(2)针对基于异构图推荐系统的对抗攻击问题,提出了一种基于语义的先令攻击方法。该方法利用异构图中的元路径传递语义信息的特点,通过构造与语义相关项目的联系,传递误导信息并提升目标项目的推荐度。同时,通过高级语义特征分析实验验证了元路径的数量与攻击效果呈正相关。有效性实验结果验证了基于语义的先令攻击能取得更好的攻击效果。(3)针对多重异构图嵌入表示模型的安全性问题,提出了一个基于连边重要性的标签翻转攻击方法。该方法将灰盒场景下的多重异构图攻击样本生成问题转化为候选连边选择和翻转标签选择两个子问题,分别提出结合端点特征的多因子连边重要性计算方法和基于代理预测模型的标签翻转策略来实现攻击。有效性实验和可迁移性实验分别验证了基于连边重要性的标签翻转攻击的效果优于对比方法,且具备良好的迁移性。
面相自动驾驶的边缘安全平台的设计与实现
这是一篇关于边缘云安全,访问控制,自动驾驶,对抗攻击的论文, 主要内容为边缘云计算充分结合云计算和边缘计算的优势,将传统云服务扩展到靠近用户侧的边缘端。微服务和容器技术的应用使得云服务、边缘服务能轻量化、高度独立地部署在边缘云,不受边缘计算设备的资源制约,同时提供低时延、高质量、高性能的服务。边缘云与云计算、边缘计算的协同,能极大满足如自动驾驶、智能制造等领域的高性能需求,然而这也使边缘云的服务及数据安全面临挑战。本论文针对边缘云安全需求,参考现有的云安全机制,基于微服务架构,设计了以边缘云安全管理平台为核心的边缘计算安全架构,并设计了边缘云安全管理平台的功能,重点增加了基于属性的安全管理能力。在此基础上,以自动驾驶为应用场景,设计了边缘云安全管理平台中业务相关的安全服务能力,并部署了面向自动驾驶的边缘安全平台,演示了安全服务功能。(1)所提出的边缘云计算安全架构主要从业务层、网络层和边缘云层分析安全需求并设计功能,并按远端云-边缘云-边缘设备三层架构进行功能部署设计。所设计的边缘云安全管理平台基于微服务架构,主要实现微服务容器安全隔离、业务流量监控、身份认证及访问控制等安全功能。特别是将基于属性的安全思想应用其中,实现了细粒度的访问控制,管理边缘云节点的服务安全与数据安全。(2)本文在自动驾驶场景中应用所提出的边缘安全架构,构建面向自动驾驶的边缘云安全平台。针对对抗攻击安全问题,本文设计了以边缘云辅助检测对抗样本为核心的自动驾驶对抗安全防御服务方案,服务按需部署在边缘云端,受边缘云安全管理平台的防护。本文设计四项对比实验验证了方案的有效性,边缘云辅助检测对抗样本有更好的检测能力,可应对更复杂的驾驶环境,分担车端设备的计算压力,同时还有利于对抗样本的数据共享。
基于进化算法的文本对抗攻击方法研究
这是一篇关于对抗攻击,进化算法,自然语言处理,软件工程,深度学习的论文, 主要内容为随着大数据时代的来临以及人工智能领域技术的不断突破,深度学习理论与技术得到快速发展,并被广泛应用于自然语言处理以及软件工程领域。然而,研究发现现有的神经网络模型在面对对抗样本时很脆弱。研究者通过在自然生成的样本中加入不可感知的微小扰动生成对抗样本,达到攻击深度神经网络模型的目的。本文将编程语言视为一种特殊文本,研究了文本形式的对抗攻击。虽然在自然语言处理和软件工程领域现有工作已经提出了多种不同应用场景下的对抗攻击方法,但仍存在对抗攻击方法效率低以及生成的对抗样本质量差的问题,本文对现有基于进化算法的对抗攻击方法进行了改进,并提出多目标对抗攻击概念。全文研究内容总结如下:1.提出一种基于注意力机制和遗传算法的对抗攻击方法(命名为AGA)。受到基于重要性的攻击方式的启发,对基于种群的启发式攻击方法在黑盒攻击模式下需要访问被攻击神经网络模型大量次数的问题进行了改进。该方法主要利用了注意力机制能够捕获文本中的重要信息的能力,优先扰动对预测结果影响更大的单词。并且使用(μ+λ)选择算子,提高种群收敛能力。实验结果表明,AGA算法与对比算法相比,能够在减少近48%的计算资源的情况下获得更好的攻击成功率。2.提出一种基于多目标遗传算法的对抗攻击方法(命名为MOAA)。从编程语言作为中间语言的特征出发,分析了编程语言作为一种特殊的文本语言的特殊性,重新定义了在软件工程领域的对抗攻击问题。要求在对抗攻击过程中,对抗样本不能对编程人员的理解产生误导,同时在计算机上执行的结果要与原始样本的结果保持一致。然后,设计了基于多目标进化算法的攻击算法来解决上述问题。在实验设计中,对软件工程中常见的4种应用展开研究,结果证明MOAA能够获得更加符合现实的对抗样本。3.设计开发一个文本对抗攻击实验平台(命名为TAA)。该实验平台弥补了当前领域内缺少用户友好交互界面的实验平台的问题。基于现有文本对抗攻击算法,设计了一个文本对抗攻击系统框架,用户可以在此框架的基础上进行二次开发,设计符合自己需求的攻击方法。同时,提供了友好的交互界面,能够帮助初学者更好的理解和入门文本对抗攻击研究。
基于特征显著性感知的双流生成对抗网络攻击算法研究
这是一篇关于对抗攻击,对抗样本,双流生成对抗网络,显著性特征,卷积神经网络的论文, 主要内容为近年来,深度神经网络在图像识别、目标检测等计算机视觉任务中取得了突出表现。尽管如此,现有研究表明深度神经网络模型具有一定脆弱性,即在面对人眼难以察觉扰动的对抗样本时无法给出正确的预测输出。因此,研究对抗攻击过程有助于掌握对抗样本的特性,促进深度神经网络模型进行有针对性防御,从而为未来深度学习模型的安全防护提供指导。传统的对抗攻击方法通常基于梯度优化生成扰动,具有较大的时间复杂度,且生成的对抗样本图像质量不高。基于生成对抗网络的对抗攻击方法作为一种学习型方法,能够通过生成模型和对抗损失优化学习快速生成样本扰动。尽管如此,现有的对抗攻击方法仍需要对图像全局进行无差别扰动,没有考虑图片中目标的内在特性,仍然面临扰动量大、迁移性弱两个问题。为解决上述两个问题,提出一种基于特征显著性感知的双流生成对抗网络攻击算法Fads GAN。具体来说,为解决全局无差别扰动带来的扰动量大的问题,提出基于掩码的双流生成对抗网络,通过设计扰动生成器和掩码生成器,在快速完成对抗样本生成的同时,进一步约束扰动范围,优化对抗样本质量;为解决对图像目标内在特征关注度不足带来的迁移性弱的问题,提出基于聚合梯度的特征显著性感知方法,利用聚合梯度捕捉目标相关的重要性特征,通过特征显著性相关的损失优化扰动生成,增强对抗样本的迁移性和鲁棒性,提高对抗样本在黑盒攻击场景下的攻击成功率。在CIFAR-10和Image Net子集上进行了实验,结果表明提出的Fads GAN算法与目前主流的攻击方法相比取得了更优的性能,其中在Image Net子集上以Mobile Ne V2为源模型进行黑盒攻击时较基线算法攻击成功率分别提升了3.52%和28.8%。进一步的实验分析表明,Fads GAN能够捕捉目标相关的重要性特征,在保证攻击成功率的情况下快速生成高质量的对抗样本。
面相自动驾驶的边缘安全平台的设计与实现
这是一篇关于边缘云安全,访问控制,自动驾驶,对抗攻击的论文, 主要内容为边缘云计算充分结合云计算和边缘计算的优势,将传统云服务扩展到靠近用户侧的边缘端。微服务和容器技术的应用使得云服务、边缘服务能轻量化、高度独立地部署在边缘云,不受边缘计算设备的资源制约,同时提供低时延、高质量、高性能的服务。边缘云与云计算、边缘计算的协同,能极大满足如自动驾驶、智能制造等领域的高性能需求,然而这也使边缘云的服务及数据安全面临挑战。本论文针对边缘云安全需求,参考现有的云安全机制,基于微服务架构,设计了以边缘云安全管理平台为核心的边缘计算安全架构,并设计了边缘云安全管理平台的功能,重点增加了基于属性的安全管理能力。在此基础上,以自动驾驶为应用场景,设计了边缘云安全管理平台中业务相关的安全服务能力,并部署了面向自动驾驶的边缘安全平台,演示了安全服务功能。(1)所提出的边缘云计算安全架构主要从业务层、网络层和边缘云层分析安全需求并设计功能,并按远端云-边缘云-边缘设备三层架构进行功能部署设计。所设计的边缘云安全管理平台基于微服务架构,主要实现微服务容器安全隔离、业务流量监控、身份认证及访问控制等安全功能。特别是将基于属性的安全思想应用其中,实现了细粒度的访问控制,管理边缘云节点的服务安全与数据安全。(2)本文在自动驾驶场景中应用所提出的边缘安全架构,构建面向自动驾驶的边缘云安全平台。针对对抗攻击安全问题,本文设计了以边缘云辅助检测对抗样本为核心的自动驾驶对抗安全防御服务方案,服务按需部署在边缘云端,受边缘云安全管理平台的防护。本文设计四项对比实验验证了方案的有效性,边缘云辅助检测对抗样本有更好的检测能力,可应对更复杂的驾驶环境,分担车端设备的计算压力,同时还有利于对抗样本的数据共享。
基于Grad-CAM引导的对抗攻击算法研究
这是一篇关于对抗攻击,Grad-CAM,数据增强,自监督,迁移性的论文, 主要内容为图像分类技术因其优秀的性能而被广泛应用于自动驾驶、人脸识别等领域,但目前的图像分类技术很容易受到对抗攻击的影响,导致其分类功能近乎失效。然而现有对抗攻击算法过度依赖源模型的参数和梯度信息来进行攻击,忽略了泛化性更强的特征信息,从而导致其所制作的对抗样本的迁移性和隐蔽性较差,在黑盒测试模型上攻击成功率较低。针对此缺点,本文研究图像的黑盒攻击算法,主要的研究工作和创新如下:(1)在图像的经典对抗攻击算法中,通过分析引入动量手段、引入数据增强方法、引入注意力机制这三种经典攻击算法,得出基于迁移的对抗攻击算法的研究框架。通过实验结果与分析,发现:1)对抗攻击实质是基于特征的攻击;2)对抗攻击算法中引入随机数据增强方法,会存在效率低和隐蔽性差的缺点。因此,在充分考虑上述算法优点的基础上,提出针对泛化性更强的特征进行攻击的算法设计思路。(2)针对随机数据增强方法存在的不足,提出基于Grad-CAM区域的对抗攻击算法(Grad-CAM Guided Data Augmentation Attack Method,GCG-DAAM)。GCG-DAAM通过模型对于图片的加权梯度类激活映射图(Gradient-weighted Class Activation Map,Grad-CAM)来获取到模型在图片上的主要判决区域,再基于此特征区域进行攻击可以进一步提高所制作对抗样本的迁移性;并且设计平滑掩膜的损失函数来使对抗样本更加自然。实验结果表明,GCG-DAAM所制作的对抗样本的迁移性更好,所需要添加的平均扰动量更少。(3)为进一步获得泛化性更强的特征来进行攻击,且考虑到有监督学习的特征泛化性不足的问题,提出引入自监督特征的GCG-DAAM。基于自监督学习,设计改进后的Grad-CAM获取模块,将自监督模型的Grad-CAM与有监督模型的Grad-CAM进行加权融合,使最终结果兼顾判决性和全局性;同时,由于人眼对于物体的形状变化更加敏感,设计边缘损失函数来限制对物体边缘区域的扰动。实验结果表明,引入自监督特征的GCG-DAAM在对抗样本的迁移性和不同模型上的攻击成功率都有所提高,在Image Net数据集上的测试结果较基准方法提升了1%至3%。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码导航 ，原文地址：https://bishedaima.com/lunwen/46203.html
