医学影像分割CNN-Transformer混合网络的高效多目标神经架构搜索
这是一篇关于医学影像分割,神经架构搜索,多目标进化算法,权值共享,代理模型的论文, 主要内容为医学影像分割任务是近年来计算机视觉的一个关注热点和研究难点。医学影像分割任务的数据集通常存在样本数较少,数据质量不高等问题,而对于分割精度的要求又比较高。目前在医学影像分割任务上的主流网络依然是U-Net及其变种卷积神经网络(Convolutional Neural Network,CNN)。然而基于朴素3×3卷积的U-Net有着其固有的局限性,比如感受野有限等。此外针对一个特定的数据集,通常需要定制化设计网络,这不仅耗时耗力还对研究人员的特定经验知识提出很高要求。神经架构搜索(Neural Architecture Search,NAS)方法被提出用以实现自动地网络设计,然而通常的神经架构搜索算法只致力于提高网络的性能,并且每次只能搜索得到一个网络架构。而面对目前网络部署在场景和设备上日益多样化的趋势,网络本身的复杂程度或者参数量也成为了一个重要的考量因素。针对上述问题,本文首先设计了一个混合CNN与Transformer的医学影像分割网络CTU-Net来改善U-Net的全局特征提取能力与感受野,并进一步设计了CTU-Net网络的多目标神经架构搜索算法CTU-NAS,以便搜索具有高精度和低参数量的子网架构。本文的主要研究内容如下:(1)结合卷积网络与Transformer的各自优势,设计了混合CNN与Transformer的医学影像分割网络CTU-Net。首先,本文设计了残差菱形空洞卷积模块去替换朴素3×3卷积模块,可以用更少的参数量,获得更大的感受野。其次,在编码器和跳跃连接中加入有全局自注意力机制的Transformer模块,不仅能够加强特征的提取,而且能够帮助在不同阶段引入全局的感受野。(2)利用进化算法的强大多目标处理能力,设计了CTU-Net网络的多目标进化神经架构搜索算法CTU-NAS。CTU-NAS通过同时优化网络的参数量和精度,可以运行一次搜索得到一组参数量不一但精度尽可能高的网络架构。在CTU-NAS中设计了CNN和Transformer混合的搜索空间,并且针对卷积模块设计了特定的通道排序和选择策略来降低搜索空间的维度。(3)充分利用已学到的权重知识和宝贵的历史评价数据,设计了双重加速方法加速架构的搜索。权值共享的加速方法使得子网架构能够从超网中继承相应部分的权重进行增量训练,而无需从头开始训练。离线和在线混合的代理预测加速方法能够对架构性能进行廉价的近似评估,从而减少昂贵的真实评估次数。在ISIC2018和MoNuSeg两个医学影像分割数据集上的实验结果表明,本文设计的方法能够自动搜索出性能超越或者接近人工精细化设计的网络,还能在很大程度上压缩网络的参数量。并且设计的双重加速方法,极大地降低了搜索算法的时间成本。
面向调制信号识别的人工智能模型攻防系统设计与实现
这是一篇关于对抗样本,调制信号识别,对抗攻击,对抗防御,神经架构搜索的论文, 主要内容为深度学习模型的学习能力强并且可以自动提取特征,打破了诸多业务工程对专业知识的严格要求。其适应性强能够覆盖诸多业务领域,使得深度学习技术和电磁空间融合成为当前的研究热点,其中基于深度学习的调制信号识别模型研究极具代表性。但目前的深度神经网络容易受到对抗样本的欺骗,对抗样本是指攻击方通过在样本上精心添加微小扰动而生成的恶意样本。对抗样本揭示了深度神经网络存在安全隐患,但也为对抗攻击和对抗防御的实行带来新思路。目前,针对电磁空间的人工智能模型攻防的研究十分有限,对此本文开展了针对调制信号识别模型的攻击和防御技术研究,主要工作如下:(1)针对调制信号识别网络模型的攻击技术研究。假若攻击方掌握模型的内部信息,可进行白盒攻击。本文实现了三种基于梯度的白盒攻击技术,通过求解目标模型的梯度方向,沿此方向添加扰动,在网络传播过程中随着层层深入扰动特征将被放大,使模型决策错误达到攻击的目的。若攻击方未掌握任何目标模型的内部信息,可进行黑盒攻击。本文实现了一种通过局部搜索样本扰动敏感点并添加扰动的黑盒攻击技术,以及一种通过与目标模型进行交互,估计目标模型损失函数的梯度,沿梯度方向添加扰动生成对抗样本的黑盒攻击技术。(2)针对调制信号识别模型的防御技术研究。本文实现了两种对抗样本检测技术,通过筛选对抗样本对输入源头进行过滤。提出了一种基于梯度的鲁棒架构搜索技术,通过以准确度和鲁棒性为搜索目标,自行构建鲁棒的网络架构实现模型防御。采用对抗训练技术对识别网络重新训练,求解鲁棒的模型参数,以进一步提升模型的鲁棒性。基于以上结果,本文从针对调制信号识别模型的攻击和防御两方面出发,设计并实现了针对调制信号识别模型的攻击和防御系统。该系统能够为用户提供多种攻击深度学习模型的攻击方法,以便用户检验模型的脆弱性。从模型输入、架构和参数等方面,为用户提供对抗防御手段。
基于神经架构搜索的轻量级卷积神经网络研究
这是一篇关于神经架构搜索,轻量级卷积神经网络,自适应下采样,权重再分配,动态采样器的论文, 主要内容为近年来,随着深度学习在计算机视觉任务上的不断深入,卷积神经网络结构逐渐复杂化,因此对计算平台的计算能力和存储能力提出了更高的要求。当前,设计轻量级的卷积神经网络已成为解决问题的关键,在保证网络性能的同时降低模型参数量和计算量,并减少模型对硬件的依赖。另一方面,人工设计网络结构需要设计者具有丰富的经验,而神经架构搜索技术通过较少的先验知识自动搜索网络结构。但是,因神经架构搜索的过程需要评估大量的候选架构,对算力和时间的消耗仍是巨大的。本文针对传统的神经架构搜索算法显存占用大、搜索速度慢的问题,从搜索空间、搜索策略和性能评估策略出发,设计轻量级卷积神经网络。本文主要工作包括三部分:1.提出了可应用于密集连接型搜索空间的轻量级卷积神经网络DAS-Net(Dense Connection Network for Architecture Search)和自适应的密集连接型网络下采样搜索算法。基于密集连接,加深了可学习组卷积的深度并组成瓶颈结构,以提高分组信息的学习能力,降低网络复杂度。引入挤压-激励模块来学习通道间的信息,概括学习到的复杂特征。在此基础上,设计了轻量级卷积神经网络DAS-Net。为了降低DAS-Net的复杂度,提出了自适应的下采样搜索算法来稀疏化密集连接矩阵,在保证网络性能的前提下减少冗余的特征复用连接。与其它网络相比,DAS-Net具有更低的参数量和计算量,并且在CIFAR数据集和ILSVRC2012数据集上的分类表现较好。2.针对神经架构搜索在梯度优化过程中显存占用大、搜索速度慢的问题,提出了低缓存可微的神经架构搜索方法(Low Memory Dense Connection Differentiable Architecture Search,LMD-DARTS)。为了加快搜索过程中可选操作权重的更新速度,提出了基于权重再分配的改进连续化策略,将离散的搜索空间连续化以便利用梯度下降法更新网络架构,并弱化了低权重操作对分类结果的影响,减少了搜索的次数。另外,为了加快性能评估过程,设计了动态采样器,对搜索过程中表现逐渐变差的候选操作进行剪枝,降低显存消耗和单次搜索的复杂度。在此基础上,基于自适应采样的神经架构搜索空间,提出了低缓存可微的神经架构搜索方法LMD-DARTS。实验结果表明,LMD-DARTS减少了20%的搜索时间,降低了神经架构搜索算法的缓存消耗,搜索到的轻量级卷积神经网络具有较好的分类精度。3.以LMD-DARTS方法为基础,生活垃圾图像分类任务为研究对象,基于PyQt5设计了可以在PC端运行的神经架构搜索系统,并将搜索到的轻量级卷积神经网络部署到嵌入式开发版上,设计生活垃圾分类系统,验证了LMD-DARTS方法的有效性。本论文有图32幅,表17个,参考文献81篇。
基于神经架构搜索的人脸美感预测
这是一篇关于人脸美感预测,神经架构搜索,多任务学习,注意力机制的论文, 主要内容为人脸美感预测(Facial Beauty Prediction,FBP)在计算机视觉领域中是一个非常有趣且富有挑战性的任务,其模拟人类对于容貌图像的感知,捕捉图像中人脸的眼睛、鼻子、皮肤等各项特征,进而量化容貌图像的美感。虽然容颜不代表一切,但拥有一张美丽的脸庞是大多数人内心之中的渴求。容颜的重要性不仅仅体现在个人层面上,在企业层面上,它也能够产生商业价值。因此,研究人脸美感预测具有十分重要的意义。传统的人脸美感预测方法十分依赖于手工制造的特征或人为设计的规则,然而这些特征或规则缺乏深度和精准性。相比之下,基于深度学习的方法能够自动提取和挖掘图片中一些人类难以描述、难以量化的高级语义特征,更适合应用于人脸图像的美感分析。因此,深度学习方法逐步成为人脸美感预测的主流策略。大多数深度学习方法基于一些经典卷积神经网络来改进,但在人脸美感预测这一特定场景中,经典网络并不一定是最优的选择。鉴于重新设计一个高效网络充满挑战,本文基于神经网络架构搜索提出了NAS4FBP框架,该框架采用了多任务学习方案,不仅关注人脸美感的分数和层级,还关注性别和种族来筛选出一个高效的FBP网络。在多任务学习方案中,本文提出一种新的分类损失函数(HBLoss),用来更好地揭示美感层级关系的本质。不仅如此,本文还提出一种简单有效的数据增广方法(Align-Crop),用以丰富训练数据的多样性。在搜索网络架构之后,本文进一步提出了一种非局部卷积注意力模块(NCAM),该模块能够同时关注局部与全局特征信息,进一步提升模型拟合能力。本文使用SCUT-FBP5500基准数据集来展开网络架构的搜索,最终得到一个适用于人脸美感预测的高效网络架构——NAS4FBP Net。文中大量实验表明,NAS4FBP Net具有非常优秀的性能,经过优化后的相关性系数指标可达0.9387,超越其他所有相关研究中的模型表现。
基于智能计算的特征选择研究
这是一篇关于人工蜂群算法,特征选择,高维数据,神经架构搜索的论文, 主要内容为分类是机器学习领域的一个重要课题。随着数据获取技术的快速发展,高维数据集越来越普遍,但并不是所有的特征都与分类目标相关。不相关和冗余的特征甚至会降低分类性能。特征选择作为数据挖掘和机器学习中一种重要的数据预处理方法,旨在选择较少的相关和非冗余的特征,以获得与使用所有特征相似甚至更好的分类性能。特征选择本质上是一个NP难问题。随着维数的增长,搜索空间呈指数增长,因此进行穷举搜索是不切实际的,而元启发式搜索技术被认为是替代传统优化技术寻找最优解的有效手段。人工蜂群(Artificial Bee Colony,ABC)算法作为一种元启发式算法,因其鲁棒性强、结构简单、控制参数少、空间探索能力强等优点已被成功应用于众多领域,但在特征选择方面的潜力尚未得到充分研究。本文提出一种基于ABC算法的方法来进行分类问题的特征选择。针对ABC算法收敛速度缓慢,开发能力不足、内存浪费等缺点,本文引入了一种新颖的基于层次的学习机制,将种群划分为若干个层次,各蜜蜂须向更高层次的较优蜜蜂学习;为了在不同的搜索阶段动态地调整算法的探索和开发能力,进一步提出了一种基于种群多样性的自适应层数确定法。此外,采用了一种准确度优先的更新策略,以获得错误率最低且特征数最少的最优特征子集。在12个广泛使用的高维数据集上与8种最先进的特征选择技术进行比较,实验结果表明改进后的ABC算法在分类精度、特征子集大小和计算时间方面均表现出优越性。对于元启发式算法,探索和开发的良好比例是确保成功解决特定优化问题的最重要标志。本文采用了基于多样性测量的实验分析方法,对改进后的ABC算法的探索和开发能力进行定量评价;并进一步评估了基于层次的学习机制、自适应层数确定法以及准确度优先的更新策略对于平衡算法探索和开发的贡献。实验结果表明上述改进有效提升了ABC算法的开发能力,并在搜索过程中实现了全局探索和局部开发之间的动态平衡。现有的大多数CNN架构搜索都是基于CNN组件或构造良好的块,这两种方法通常会生成无效的CNN架构或泛化能力较差的复杂CNN架构。针对此问题,本文基于改进后的ABC算法,提出了一种自动卷积神经网络(Convolutional Neural Network,CNN)架构设计方法,以有效解决图像分类任务。主要通过为ABC算法设计一种新的编码策略来对任意深度的CNN进行编码,以解决架构搜索中无法预知最佳CNN深度并指定编码长度的难题。同时结合跳跃连接促进产生更深的CNN以提升模型的泛化能力。在广泛使用的基准图像分类数据集上对该模型的性能进行验证,实验结果表明,该模型在分类精度、参数数量和消耗的计算资源方面优于现有的自动CNN架构设计算法,甚至能够取得与自动设计+手动调整CNN方法非常相近的分类精度。
基于图和小样本学习的改进可微架构搜索方法
这是一篇关于神经架构搜索,图,CIFAR-10,参数共享,迁移学习的论文, 主要内容为深度学习在图像识别、语言建模、机器翻译等复杂任务中表现出非常大的优势。然而,手动设计神经网络的架构是一个耗时的过程,需要机器学习专家的知识。对于深度学习领域的初学者来说,很难手工设计给定任务最佳的神经架构。因此,越来越多的研究人员开始探索神经架构搜索(NAS)的方法。NAS算法已经能够在CIFAR-10、Image Net和Penn Treebank等数据集上自动生成合适的神经架构,并获得良好的效果。尽管NAS算法已经被深入研究,但它们中的大多数仍然依赖于额外的控制器或性能预测。当用于具有新数据集的新任务时,这可能需要适当的结构。DARTS,可微架构搜索使用连续松弛和梯度下降技术解决架构搜索问题。然而,它的主要问题是搜索的加速和优化中过拟合导致的崩溃。这对其性能有很大影响。在本论文中,我们通过解决这两个问题来改进原来的工作。基于DARTS,我们提出了两种算法:i-DARTS和i-DARTS+。一方面,i-DARTS解决了搜索加速的问题。它使用神经消息传递技术的三个子超网进行少样本学习,以加速搜索过程。另一方面,i-DARTS+为了避免崩溃而对i-DARTS进行了扩展,它使用七个子超网在满足标准时提前终止搜索过程,以避免崩溃,它还通过将节点的所有传入边视为一个softmax来解决softmax-local约束。通过进行参数共享和迁移学习技术,我们的方法提高了基于一次性DARTS系统的最终准确性。本论文的主要贡献包括:1)将图神经网络(GNN)添加到DARTS中,能够确保最终生成架构的准确性;2)能够确保所提出的架构有较低的计算复杂度。一方面,为了验证i-DARTS算法的有效性,我们在CIFAR10数据集合乳腺成像数据集DDSM上进行了测试,并比较了性能。另一方面,为了验证i-DARTS+的有效性,我们在pen treebank(PTB)和CIFAR10数据集上进行了测试。此外,我们还验证了它们最好的单元应用于Wikitext2和Image Net数据集的可迁移性。实验和结果表明,i-DARTS+算法比目前最先进的NAS算法更具竞争力。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码助手 ，原文地址：https://bishedaima.com/lunwen/54405.html
