高退化水平下的相位恢复问题研究
这是一篇关于相位恢复,双支网络架构,Plug-and-Play架构,可解释性,激活函数的论文, 主要内容为近年来,随着深度学习技术的蓬勃发展,神经网络模型在现实社会的各个方面都得到了广泛的运用。本文主要研究了将深度学习技术与相位恢复问题相结合的新的解决方案。相位恢复问题是指相干衍射成像技术所依赖的传感器器件在实际情况下仅仅只能捕获衍射图像的幅值信息,而会完全丢失捕获信号中的相位信息。这一现实中所面临的技术障碍大大限制了相干衍射技术的进一步发展,也给生成高质量的相位和幅值信息带来了极大的挑战。为了解决该问题,本文主要开展了如下的三个工作:随着神经网络模型的深入研究,研究者们逐步开辟了将神经网络模型与各个不同的子领域相结合的交叉研究方向。基于这一基本的思想,本文选择了相位恢复这一在光学和新材料领域所面临的重要的挑战作为研究的切入点,仔细地研究了该问题的产生背景和当前所面临的技术瓶颈。并且通过分析该问题的特性,本文设计出了一个新的可以同时分离并重建原始混杂信号中相位信息和幅值信息的神经网络架构,依据其网络结构命名为(47)-Net。由于(47)-Net网络架构的设计考虑了相位恢复问题的特性,数值实验也表明本文设计的网络架构不仅在单次衍射的情况下,而且在稀疏采样的情况下依旧能获得较为鲁棒的以及高质量的信号重建结果。神经网络模型目前直面的挑战之一就是在于神经网络模型的参数量巨大、模型内部的结构较为复杂,从而使得神经网络模型更像是一个“黑箱”,对其可解释性的研究较为困难。本文以激活函数和下采样层数为切入点,分析了不同类型的激活函数对于解决相位恢复问题的影响以及不同的下采样层数对于该问题的影响。因为相位恢复问题在实际的操作中会产生数量较多的负像素值,因此设计具有不完全负向抑制的神经网络模型对于解决该问题将会更加有利。并且由于混杂信号包含较多的信息,如果下采样层数过多,将会造成信息的丢失;而下采样层数过少又会造成信息的凝练不够,进而影响信号的重建效果。通过分析上述神经网络模型的两个特性以及相应的数值实验结果,本文为后续设计解决相位恢复问题的网络架构提供了一个新的设计思路。针对相位恢复问题所抽象出的数学模型,有大量的数学优化方法被提出并取得了一系列显著的成果。然而,基于模型的优化算法往往都面临耗时久,模型复杂度较高等问题。本文以Plug-and-Play架构为总体框架,结合神经网络模型和相位恢复问题的数学模型,提出了一个新的解决方案:即将神经网络模型作为正则项插入相位恢复模型之中,通过交替乘数法加以求解。本文提出的方案一方面通过对优化模型的求解,可以强化神经网络模型的可解释性;另一方面又借助神经网络模型数据驱动的特性,更好地重建相位信号和幅值信号。数值实验表明本文提出的算法框架具有较好的重建效果。通过对上述问题的研究,本文构建了新的网络架构和基于深度学习的算法架构,并对深度学习的可解释性也做了一定的探究,这对于后续该领域的研究有一定的基础性作用。
高退化水平下的相位恢复问题研究
这是一篇关于相位恢复,双支网络架构,Plug-and-Play架构,可解释性,激活函数的论文, 主要内容为近年来,随着深度学习技术的蓬勃发展,神经网络模型在现实社会的各个方面都得到了广泛的运用。本文主要研究了将深度学习技术与相位恢复问题相结合的新的解决方案。相位恢复问题是指相干衍射成像技术所依赖的传感器器件在实际情况下仅仅只能捕获衍射图像的幅值信息,而会完全丢失捕获信号中的相位信息。这一现实中所面临的技术障碍大大限制了相干衍射技术的进一步发展,也给生成高质量的相位和幅值信息带来了极大的挑战。为了解决该问题,本文主要开展了如下的三个工作:随着神经网络模型的深入研究,研究者们逐步开辟了将神经网络模型与各个不同的子领域相结合的交叉研究方向。基于这一基本的思想,本文选择了相位恢复这一在光学和新材料领域所面临的重要的挑战作为研究的切入点,仔细地研究了该问题的产生背景和当前所面临的技术瓶颈。并且通过分析该问题的特性,本文设计出了一个新的可以同时分离并重建原始混杂信号中相位信息和幅值信息的神经网络架构,依据其网络结构命名为(47)-Net。由于(47)-Net网络架构的设计考虑了相位恢复问题的特性,数值实验也表明本文设计的网络架构不仅在单次衍射的情况下,而且在稀疏采样的情况下依旧能获得较为鲁棒的以及高质量的信号重建结果。神经网络模型目前直面的挑战之一就是在于神经网络模型的参数量巨大、模型内部的结构较为复杂,从而使得神经网络模型更像是一个“黑箱”,对其可解释性的研究较为困难。本文以激活函数和下采样层数为切入点,分析了不同类型的激活函数对于解决相位恢复问题的影响以及不同的下采样层数对于该问题的影响。因为相位恢复问题在实际的操作中会产生数量较多的负像素值,因此设计具有不完全负向抑制的神经网络模型对于解决该问题将会更加有利。并且由于混杂信号包含较多的信息,如果下采样层数过多,将会造成信息的丢失;而下采样层数过少又会造成信息的凝练不够,进而影响信号的重建效果。通过分析上述神经网络模型的两个特性以及相应的数值实验结果,本文为后续设计解决相位恢复问题的网络架构提供了一个新的设计思路。针对相位恢复问题所抽象出的数学模型,有大量的数学优化方法被提出并取得了一系列显著的成果。然而,基于模型的优化算法往往都面临耗时久,模型复杂度较高等问题。本文以Plug-and-Play架构为总体框架,结合神经网络模型和相位恢复问题的数学模型,提出了一个新的解决方案:即将神经网络模型作为正则项插入相位恢复模型之中,通过交替乘数法加以求解。本文提出的方案一方面通过对优化模型的求解,可以强化神经网络模型的可解释性;另一方面又借助神经网络模型数据驱动的特性,更好地重建相位信号和幅值信号。数值实验表明本文提出的算法框架具有较好的重建效果。通过对上述问题的研究,本文构建了新的网络架构和基于深度学习的算法架构,并对深度学习的可解释性也做了一定的探究,这对于后续该领域的研究有一定的基础性作用。
基于Yolov5的猪只健康监测系统研究与设计
这是一篇关于深度学习,卷积神经网络,激活函数,损失函数,优化器的论文, 主要内容为猪肉向来是餐桌上的必需品。猪肉的品质与猪只的养殖方式有着直接的联系。目前,现有的猪只健康检测大多采用人工的方式检查,这样的方式不仅会增加人力物力成本,而且易于危害人体的身体健康。因此,本文提出基于Yolov5算法的猪只健康检测系统,旨在利用深度学习进行猪只跟踪,对猪只的运动量进行等效计算,通过猪只的运动量可以分析出不同猪只的活跃状况。猪只的健康状况与其本身的活跃状态密不可分,由此实现对猪只健康状况的监测。本文研究的是基于Yolov5算法的猪只健康监测系统。通过将Yolov5目标监测算法与DeepSort算法相结合作为基准网络,并在Yolov5算法上进行了一系列创新。创新成果如下:(1)针对猪舍环境复杂,猪只易于出现扎堆现象,难以将目标与背景以及目标与目标之间区分的问题,本文将空间金字塔池化网络与卷积注意力机制进行融合生成了空间卷积注意力模块,并嵌入到Yolov5网络中的残差块中。本文提出的注意力机制可以增强有效特征,抑制无效的特征,从而减少猪只检测中出现的错检和漏检现象。(2)由于本文检测目标猪只大小不一且不同猪只之间距离较近,因此对于目标回归的速度和稳定性有更高的要求。针对出现真实检测框与预测检测框完全重合的情况时,GIoU损失无法准确得出两者的位置关系导致回归速度变慢问题,在GIoU的基础上进行改进,提出了一种新增边界回归盒的回归损失。该回归损失函数加快了预测框的回归,提高检测准确率。(3)针对猪只检测训练阶段所使用的Adam优化器存在的不收敛问题,本文提出了基于高次指数平滑动态边界限制的优化器算法。该算法通过引入多个超参,并进行多次指数平滑,弥补一次指数平滑的不足。此外,对二阶动量计算加以修正,预防二阶动量数据发生不良的波动,从而达到平滑非预期的大学习率的效果。(4)由于采集的图片中猪只数量多且相互遮挡,导致图片数据集复杂度较高,易于出现欠拟合现象。因此,本文提出了一种基于分数指数平滑的线性单元。通过增加激活函数的函数特性,使得参数相互依存的关系增加,从而增加了网络的复杂度,缓解了欠拟合问题的发生。(5)本文通过对监控视频中猪只的像素点移动量进行记录和分析,来等效猪只运动量的计算,从而对猪只活跃情况进行评判。本文将所有创新嵌入到基准算法Yolov5中去,并与DeepSort相结合实现猪只运动量的实时监测。此外,将Vue与Flask相结合搭建了前后端分离的基础平台,从而实现了一个小型的猪只健康监测系统。
基于模拟IC架构实现类脑神经元的感知器设计研究
这是一篇关于模拟集成电路,人工神经元,乘法器,激活函数,差分放大器,BP神经网络,异或逻辑,标准数字识别的论文, 主要内容为随着近些年人工智能、机器学习和深度学习技术从兴起逐渐趋于成熟,以微芯片为载体的类脑神经网络技术也受益于集成电路新工艺和设计技术的发展,在硬件结构及其相应的加速算法上不断涌现崭新的技术,从而引领着人类社会向更为智能化的未来科技时代突飞猛进。基于电子硬件实现的基本神经元及其构建的大规模人工神经网络模型可追溯到上世纪60年代,近些年由于大数据分析、智能感知、动态图像和音频识别等技术的推动,用高性能的神经网络硬件加速信息的感知、识别、分类和聚类等研究逐渐成为热点。神经网络硬件依托于高效算法实现算力提升,因此早期的神经网络专用集成芯片往往表现为基于数字架构的信号处理系统如FPGA和DSP加速器等。直至近几年,与成熟通用的数字IC相比较,模拟集成电路因其灵活的定制化、多样化拓扑实现技术使得其应用又呈抬头趋势,信号实时快速处理、低功耗和小规模架构等优秀的硬件特性使得采用模拟IC实现人工神经网络硬件的研究已成为IC设计与自动化、智能化技术交叉领域的又一研究热点。本文对人工神经元的工作特性以及电信号传输方式进行了深入分析,提出采用电流型四象限乘法器和激活函数模块构建单个人工神经元电路。针对模拟神经元功能的乘法器模块设计,采用电压输入电流输出型四象限乘法器结构,使多路突触信号可以以电流形式直接相加,通过去除加法器实现降低设计复杂度,也减少了芯片设计资源的消耗。之后,考虑不同的算法应用场景,创新提出了独特的电路拓扑设计实现了Re Lu、Sigmoid和Tanh三种常用的激活函数功能电路并加以验证。一方面是基于传统电路结构进行的改进,另一方面保证所设计的激活函数能够易于整体算法建模,同时方便与片外训练相结合。在设计过程中,为减少深层神经网络构建时由规模增加导致的版图面积暴增,所设计的两个功能电路均采用全有源MOS晶体管式的结构。本文使用Cadence IC设计平台结合SMIC 180nm/1.8V标准CMOS工艺,完成了核心的四象限乘法器以及Re Lu、Sigmoid和Tanh三种激活函数电路的设计,并对每个模块的功能实现、动态性能,以及构成多层深度神经网络后的综合信息处理特性进行了详细的仿真分析和验证。首先,确认四象限乘法器可有效实现输入电压到输出电流信号的转换以及两组输入信号的累乘。之后,比较三种激活函数电路与理想激活函数曲线的平均误差分别为0.4m V、1.2m V和2.6m V,所提出的新拓扑展现了良好的准确度及应用特性,可有效用于所构建的神经网络对求解非线性问题的算法拟合。在此基础上,构建由多个神经元组合复用的多层神经网络(感知机)电路系统,使其能够通过片外学习和训练对硬件网络中的权值、偏置值(阈值)等参数以电信号形式灵活配置,实现与通用的神经网络学习算法兼容,高效率完成在硬件上的算法部署。算法部署方面,同步使用MATLASB平台模拟所设计的多层感知机网络系统完成理想建模、算法部署和仿真验证。具体构建多层前馈式(BP)神经网络拓扑模型,之后部署误差逆传播算法进行网络训练。将基于理想训练获取的权值、偏置值等参数进一步反馈配置到所设计的硬件感知机网络中,在有效运行异或逻辑完成初步功能验证的基础上,最终实现了对标准数字图形的分类识别,整体硬件与算法协同工作训练的效果良好,理想的完成了预期功能。
基于CNN的图像分类及在电商图片分类中的应用研究
这是一篇关于卷积神经网络,商品图片分类,激活函数,Dropout方法的论文, 主要内容为随着互联网的推进和发展,人们越来越倾向于通过网络购物方式购买商品。在过去几年里,商品种类急剧增加,如何在海量的商品信息中方便快捷地找到想要购买的商品是一个急需解决的难题。传统的基于文本关键字的商品分类方法虽然方便快捷,但由于文本标注信息的片面性,容易出现错误分类。而商品图像蕴含丰富的信息与数据,且能够直观地展现商品的大部分特征。基于卷积神经网络的商品图片自动分类能够给顾客和商家提供更好的商品查询和检索体验,并有助于电商平台推荐商品。本文的主要研究内容如下:(1)针对常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元“坏死”以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,设计并实现了一种新的组合激活函数relusoftsign。详细分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零。在MNIST、PI100、CIFAR-100和Caltech256数据集上的实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆“坏死”现象;同时,加快了模型收敛速度,且在复杂数据集上,该组合函数的收敛性能更好。(2)Dropout是防止过拟合的一种有效方法,其设置的丢弃概率对该层所有神经元均起作用,使得部分有用信息被抛弃,导致模型的平均训练精度降低。针对该问题,本文提出了Sep-Dropout方法。首先对神经元进行重要度划分,分别存放在两个矩阵中,然后对重要神经元矩阵以较低概率置零,对不重要神经元矩阵以较高概率置零,最后对两个矩阵进行整合,有效地减少了重要神经元被丢弃的可能,从而提高分类准确率。在MNIST、PI100、CIFAR-100和Caltech256数据集上的实验结果表明,使用Sep-Dropout方法在防止过拟合的同时,与Dropout方法相比,具有更高的分类准确率。(3)在电商图片数据集上应用本文提出的relu-softsign函数和Sep-Dropout方法进行综合实验。首先分析电商分类领域的权威数据集图片特点,仿照其结构分别建立常见商品分类自建数据集和商品精细分类自建数据集,并做图像预处理。然后在PI100和两个本文自建商品数据集上进行实验,实验结果表明,在电商图片数据集上,使用relu-softsign函数提高了模型在训练集和测试集上的分类准确率,使用Sep-Dropout方法在达到防止过拟合目的的同时保证了训练集精度,使用结合relu-softsign函数和Sep-Dropout方法的模型在训练集和测试集上都获得了更高的分类准确率。最后,在PI100数据集上将结合了relu-softsign函数和Sep-Dropout方法的最终模型与其他研究者的电商图片分类方法进行对比实验,实验结果表明,本文方法的分类准确率更高,分类效果更好。
基于CNN与注意力机制的网络入侵检测研究
这是一篇关于网络入侵检测,深度学习,卷积神经网络,注意力机制,激活函数的论文, 主要内容为随着互联网的不断发展,网络安全威胁也随之增多。网络入侵检测作为一种主动防御手段对于抵御网络攻击,保证系统安全有着重要的作用。面对不断增加的网络流量数据以及纷繁复杂的网络攻击方式,研究新型的更加可靠的网络入侵检测方法尤为重要。本文针对现有基于卷积神经网络的入侵检测方法层数大多不深,无法挖掘网络流量数据的深层特征的问题,提出一种融合Dense Net(CNN结构)与注意力机制的网络入侵检测方法。此外,针对基于Dense Net的建模对少数类样本识别不佳且检测时间长的问题,本文提出了一种基于改进Conformer的网络入侵检测方法。最后,本文结合辽宁工程技术大学葫芦岛校区网络架构,设计了一套校园网的网络入侵检测部署方案,并且为了网络安全管理员更加方便的对其进行管理,设计了一套入侵检测管理交互界面。融合Dense Net与注意力机制的网络入侵检测方法使用Dense Net进行特征提取,能使网络加深的同时抑制梯度消失。引入ECANet高效通道注意力机制,增加重要特征权重;其次引入Swish激活函数对Dense Net进一步改进,使得模型有更好的准确性。使用NSL-KDD、UNSW-NB15、CIC-IDS2017和CSE-CIC-IDS2018数据集进行对比验证实验。实验结果表明:该模型在NSL-KDD上的准确率为80.8%,在UNSW-NB15上准确率为78.7%。该模型在准确率和F1-score指标上比其他基于卷积神经网络的浅层入侵检测模型有所提高,在CIC-IDS2017和CSE-CIC-IDS2018的实验中相比基于其他方法的入侵检测模型也具有竞争力。基于改进Conformer的网络入侵检测方法借鉴Conformer的网络结构思路,将CNN与Vision Transformer结合,并且改进了结合方式。同时为了降低Vision Transformer带来的时间代价,该方法引入Ghost模块减少CNN的参数量,来减少检测时间。使用NSL-KDD、UNSW-NB15数据集进行实验,该模型对三个少数类类型识别比Dense Net方法平均高10.5%,检测时间在两个数据集上平均降低42%。相比融合Dense Net与注意力机制的入侵检测方法,基于改进Conformer的网络入侵检测方法在保持了的总体检测能力的同时能够加强对少数类样本的识别能力且具有更少的检测时间。该论文有图41幅,表13个,参考文献62篇。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设导航 ，原文地址：https://bishedaima.com/lunwen/46204.html
