基于模型压缩的棉花病害识别方法研究
这是一篇关于卷积神经网络,病害识别,模型压缩,剪枝,知识蒸馏,迁移学习,Android的论文, 主要内容为棉花是一种重要的经济作物,但其生长经常受到各种病害的影响。棉花病害是导致棉花产量和质量下降的主要原因之一,因此棉花病害的识别与防治尤为重要。目前,在田间的识别方式主要依靠人眼观察,其主观性强、效率低。近年来,深度神经网络在植物病害识别应用中表现出了极高的准确率,但其卓越的性能是以高存储和高计算成本为代价的,训练这些深度学习网络需要使用图形处理单元专用硬件。而随着深度学习和智能设备的发展,在移动/边缘设备上部署深度学习模型,实现田间病害的智能化识别已成为一种趋势。基于手机的移动应用程序将更方便农民在病害识别中使用,但是手机的计算资源和存储空间有限,难以部署这些庞大的深度学习网络。为了解决这个问题,本文提出使用剪枝和知识蒸馏两种算法压缩基于深度卷积神经网络的棉花病害识别模型,在确保模型准确率的前提下降低卷积神经网络的模型复杂度和参数量,以满足在移动/边缘设备上部署的条件,从而提高深度学习模型的实用性。本文完成的主要工作如下:(1)基于剪枝的简单背景图像的植物病害识别。针对植物病害识别模型参数量大和计算复杂的问题,本文利用BN层中的γ系数进行通道剪枝,实现对VGG16、Res Net164和Dense Net40三种病害识别网络的压缩。在Plant Village数据集上的实验结果表明,将剪枝率设为80%时压缩的三个模型中,Dense Net40-80%准确率最高,达到99.68%,且模型的参数量最少,仅为0.27M。VGG16-80%的压缩效果最明显,与其基准网络VGG16相比,剪掉了97.83%的参数和96.77%的FLOPs。以上实验结果证明了该算法在植物病害识别领域的有效性。(2)基于迁移学习和剪枝的自然场景图像的棉花病害识别。首先,针对棉花病害样本公开资源稀少的情况,本文收集了8种棉花病害图像,总计2151张。为了解决该数据集类别样本数量分布不平衡的问题,采用数据增强的方式扩充了数量较少的三类病害样本,扩充后总计2723张。然后,针对棉花数据集小、数据集品质差、剪枝会损失准确率等问题,结合迁移学习提出了两种基于棉花数据集的压缩策略。具体而言,第一种是迁移学习后的压缩。该方法首先使用原始模型在Plant Village数据集上进行训练,然后将训练好的模型作为预训练模型,通过迁移学习在棉花数据集上微调,最后通过通道剪枝来压缩棉花病害识别模型。第二种是压缩后的迁移学习。该方法是先在Plant Village数据集上对原始的三种网络进行模型剪枝,然后再将剪枝后的紧凑模型作为预训练模型在棉花数据集上进行微调,以得到棉花病害识别紧凑模型。实验结果表明,采用第二种策略压缩的三种模型的准确率分别为90.77%、96.31%和97.23%,参数量和FLOPs与第一种几乎一致。对比得出,应用第二种策略压缩的模型的准确率略好于第一种策略。此外,将压缩后的模型与一些著名的轻量级网络进行了对比实验,得出压缩模型更胜一筹。(3)基于知识蒸馏的自然场景图像的棉花病害识别。针对深度卷积神经网络规模大但准确率高,而轻量级网络结构精简但准确率较低的问题,提出了一种基于知识蒸馏的棉花病害识别方法。该方法采用添加了点自适应的知识蒸馏算法对三种深度卷积神经网络进行了压缩。具体而言,将VGG16、Res Net164和Dense Net40作为教师网络,Mobile Net V2和Shuffle Net V2轻量级网络以及与教师网络同结构的三种小网络作为学生网络进行知识蒸馏。实验结果表明,比较9种知识蒸馏算法下的蒸馏效果,添加了点自适应的NST算法在本文数据集和网络下表现出了更好的鲁棒性。综合分析,结合迁移学习和剪枝的压缩策略比知识蒸馏方法表现更优。(4)棉花病害识别模型的部署。本文选择准确率最高的Dense Net40-80%-T作为移动端的部署模型,并基于Android平台开发出一款棉花病害识别APP。该APP通过调用手机摄像头或相册获取待识别的图像,并将识别后结果返回到手机界面。在OPPO A5手机上的测试结果表明,识别一张图片的平均时间仅为87ms。
基于通道剪枝的神经网络压缩方法研究
这是一篇关于神经网络,模型压缩,通道剪枝的论文, 主要内容为近年来,深度卷积神经网络在各种计算机视觉上取得了突破性的进展,其应用范围也越来越广。然而,深度卷积神经网络需要强大计算能力、高存储空间和高内存占用的特性却严重阻碍着它的应用和发展,使得这些高性能的模型难以部署在一些资源受限的设备上,也无法部署在对实时性要求极高的系统中,如智能手机、树莓派、嵌入式AI系统等。通道剪枝是一个能够减小模型尺寸的研究领域,而为了更加有效地降低神经网络模型的资源占用,更小地影响模型的性能,本文分别从模型自身结构和结合数据集两个角度研究基于通道剪枝的神经网络压缩方法,并讨论这两种剪枝方法的特性。主要的研究内容和创新如下:(1)针对基于单层通道剪枝方法不足之处,提出联合多结构的通道剪枝方法(CCP)。基于单层权重参数的剪枝方法会误删除BN层中重要的缩放因子,或者当利用BN层的缩放因子评估通道重要性时,会误删除重要的卷积层通道。CCP分别对卷积层权重和BN层缩放因子进行L1正则化,联合卷积层权重和BN层缩放因子共同判断通道的重要性。在CIFAR-10数据集上,实验结果显示,CCP能够在仅仅轻微的影响精度的情况下降低VGG-19模型85.49%的FLOPs,也能够在不降低模型精度的情况下减少Res Net-50模型78.31%的FLOPs。(2)针对中间层输出特征图所携带信息量差异较大问题,提出基于特征图贡献的通道剪枝方法(FPC)。不同的输出特征图对于模型性能具有不同的贡献度,产生低贡献度输出特征图的过滤器对于模型的性能具有较低的贡献。基于此,FPC对输出特征图进行奇异值分解,并根据较大的奇异值携带更多的信息这一性质筛选出携带较多信息的输出特征图。在CIFAR-10数据集上,实验结果显示,FPC能够在减少VGG-16模型65.62%的FLOPs的情况下提升0.25%的精度,也能够在减少Res Net-110模型48.19%的FLOPs的情况下提升0.11%。
基于Hi3559A的机载地面目标检测实时系统软件设计与实现
这是一篇关于机载目标检测,深度神经网络,模型压缩,嵌入式系统软件,多线程并行的论文, 主要内容为基于嵌入式平台的机载地面目标检测在电力巡检、交通监控和战场侦察等军民领域有着重要的应用。随着以深度神经网络为代表的人工智能技术快速发展,机载地面目标检测深度学习方法取得了优于传统方法的性能。但是,深度神经网络参数量大、计算密度高,而机载嵌入式平台重量、体积、功耗等资源有限,难以满足目标检测高时效性要求。为此,本文研究了目标检测深度学习模型的轻量化与优化部署技术,设计开发了基于Hi3559A的机载地面目标检测实时系统软件,具体内容如下:首先,研究了目标检测轻量化算法及部署优化技术。针对YOLO V3网络参数量大、运算量高的特点,本文优化特征提取子网络与特征融合子网络结构设计,通过深度可分离卷积技术,实现了目标检测网络结构轻量化,相比于YOLO V3模型参数量减少了83%,计算量减少了64.04%,精度仅损失3.3%;针对网络模型浮点计算复杂度高、资源耗费多的问题,结合Hi3559A平台计算特点,通过指数型模型量化与算子合并技术优化嵌入式端网络模型,降低前向推理存储与访存资源需求,轻量化网络模型部署在基于Hi3559A的嵌入式平台,在精度损失小于2%的条件下,模型大小压缩了72%,卷积运算访存量减少了75%。其次,设计开发了嵌入式实时系统软件,完成算法的嵌入式部署。针对轻量化网络模型部署后推理时间长而难以满足实时性要求的问题,通过多线程并行结构设计提升系统处理性能,启用算法处理线程并行后,达到了2倍计算加速比;进一步,研究线程实时调度策略与内存池技术,优化软件运行效率与稳定性,完成了机载地面目标检测算法的全流程部署与实现,在640×640序列图像输入条件下,地面目标检测精确度83.3%,处理帧频达到30Hz,Hi3559A处理器平台功耗4.87W,满足系统应用要求。
基于SRN-YOLO算法的小包装中药袋检测及嵌入式实现
这是一篇关于小包装中药,YOLO算法,实时目标检测,模型压缩,嵌入式平台的论文, 主要内容为传统中药饮片小包装化是中药安全管理的发展趋势,尽管小包装中药饮片在逐渐推广普及,但由于柔性包装不易于抓取和识别,导致大部分中药房仍需要依赖人工完成药品调剂。实现小包装中药的自动化调剂,能够提升出药效率并降低配药错误率,既减轻了药剂师的负担,同时保障了患者的用药安全。而在此过程中,如何准确快速的进行药袋目标检测是关键一环。当前针对小包装中药袋的检测大多采用传统图像处理和机器视觉方法,这种方案在准确性和实时性上有所不足,而基于深度学习的目标检测技术以准确、快速见长,是解决这一问题的有效途径。因此,论文提出了一种基于YOLOv3的轻量型目标检测算法SRN-YOLO(Sparse Residual Network YOLO),用于精确高效地进行小包装中药袋检测,具有应用成本低和部署方便的优势。论文的主要工作如下:(1)针对主流深度学习算法在小样本数据集上易出现过拟合的问题,对YOLOv3算法的主干网络做了精简处理,降低模型的复杂度并提高实时性;同时通过重新设计损失函数和后处理模块以提高检测精度,并引入稀疏残差结构以改善残差网络中深层特征影响力过低的问题,使整体网络架构更适用于小包装中药袋检测。(2)针对深度网络参数规模较大的问题,采用基于网络剪枝的模型压缩方法,通过设计基于通道粒度的剪枝策略,实现了对SRN-YOLO网络模型的进一步压缩,压缩后总参数量为原始模型的10.36%。从而保证在没有过多性能损失的前提下,提高了算法轻量性和实时性,满足了后续嵌入式移植开发的基本需求。(3)针对主流深度学习硬件平台成本较高,功耗较大的问题,选择低成本的勘智K210开发板作为本系统硬件平台,并提出一种模型文件动态加载方法解决嵌入式平台内存不足的问题,实现了小包装中药袋检测系统的搭建。实验结果表明,在PC端,论文算法对小包装中药袋的检测精度达到了95.6%,相比传统算法提升了15%,相比YOLOv3也提高了3.3%,并且达到了75.6的FPS;而在嵌入式端,经过压缩后的模型在检测精度上损失较小,同时其实时性达到主流水准,可以满足小包装中药袋检测系统对各项性能指标的要求。
基于改进U-Net的钢材缺陷检测分割算法研究
这是一篇关于计算机视觉,缺陷检测,多尺度特征,语义分割,模型压缩的论文, 主要内容为当前国内钢铁工业面临着产能过剩的问题,提质增效的需求强烈,而表面缺陷检测作为保障产品质量的重要一环,仍旧依赖效率低、主观性强的人工检测方式。随着深度学习的不断发展,基于机器视觉的缺陷检测平台开始大规模应用,提升了工业产品的质量及生产效率,智能化发展成为新一轮工业革新的主题。为了实现钢材表面典型缺陷的自动检测,本文基于语义分割网络U-Net进行改进,设计了一个端到端的缺陷检测分割算法,并从多尺度特征提取、分割网络结构、模型压缩与加速、半监督学习等角度入手对算法进行改进、创新与优化。首先,对钢材数据集特点及任务需求进行分析,设计了缺陷分割算法的整体方案,并对其中包含的多阶段数据增强与预处理、特征提取网络、分割网络、加权损失函数等基本核心模块进行了详细的分析。其次,针对缺陷尺度跨度大、干扰严重的问题,提出了基于分组卷积和特征均匀重组的残差网络结构,实现了良好的多尺度特征提取。同时深入分析U-Net存在的问题,通过过渡特征与密集连接改进得到倒三角形的缺陷精细分割网络NablaNet,并在其中嵌入注意力机制,对特征通道和空间进行自适应调整,进一步提升模型准确率。本文基于深监督机制对模型参数过多的Nabla-Net进行网络剪枝,在有效压缩模型的同时也加速了网络收敛。最后,为了在硬件计算资源有限的情况下减小单张图片训练时的显存占用,在训练过程中混用了FP16和FP32两种数值精度,实现了训练的加速。针对有标签数据获取困难的问题,本文基于伪标签技术对模型训练进行半监督学习的算法优化,将原本无用的未标注数据用于提高模型的泛化能力。在实验验证中,对本文的若干项网络改进与算法优化设计了对比实验,并对结果进行了可视化与分析。实验结果证明,本文提出的钢材缺陷检测分割算法效果可以满足实际工业生产需求,兼具灵活性、实用性与有效性。
人脸识别研究及其化工智慧工地签到系统实现
这是一篇关于深度学习,联合损失函数,目标检测,模型压缩的论文, 主要内容为随着化工厂工业生产与科技的发展,化工工地安全愈加引起重视,智慧工地也已经成为现代化建设的重要组成部分。然而,如何实现对工地人员的精准管理和安全监管,一直是化工管理面临的重要问题。因此,研究如何利用新技术提高工地管理的效率和安全性,成为当前工地管理领域的热点问题之一。本文采用深度学习技术,对人脸识别和安全帽佩戴检测算法进行研究,并设计了化工智慧工地签到系统,具体如下:针对视频流人脸识别中的因计算量过大导致的延时问题,本文设计了基于Face Net改进的人脸识别算法,使用轻量化卷积神经网络代替了Face Net中的特征提取网络;同时又以Arc Face损失函数和三元组损失函数相结合,设计了联合损失函数,经过实验证明,改进后的人脸识别算法,降低了训练模型的计算复杂度,同时也提高了人脸识别的准确率。为了解决现有的目标检测算法因为参数多、存储空间大、在实际场景中部署难等问题,本文提出了一种改进后的RTMDet安全帽佩戴检测算法。本文使用剪枝的方法对网络进行模型压缩,采用稀疏化训练,减少了模型中的大量参数和浮点运算次数,优化后的RTMDet网络模型在精度和效率上都有了进一步的提升。最后本文基于人脸识别和安全帽佩戴检测模型的研究,设计了一个适用性较高的智慧工地签到系统。设计实现了系统基本功能的可视化,签到系统功能包括人脸识别、安全帽佩戴检测、人员信息管理,并将输出结果进行表格的可视化完成了签到信息的显示功能,同时将信息保存在本地便于后续查看。
深度神经网络模型压缩在种子分类中的研究
这是一篇关于种子分类,稀疏网络,模型压缩,剪枝,Vision Transformer的论文, 主要内容为种子的分级定等是农业再生产中的关键环节,直接影响来年的播种、育苗和深加工。传统的分级定等采用人工或光学成像法,分类品种少、效率低。利用机器学习算法的种子分类方法增加了品种,提高了分类精度。近年来,随着深度学习的快速发展,深度神经网络模型被逐渐应用于种子分类研究中。但深度神经网络存在结构复杂、参数量较大的问题。因此,如何有效压缩深度神经网络,实现低成本、高精度的种子分类模型,是当前农业生产所面临的实际问题,也是发展智慧农业的迫切需要。本文以葵花种子为研究对象,探索了基于深度神经网络的种子分类方法,并针对模型压缩和提高精度两个关键问题,提出了相应的压缩方法和注意力重建算法。本文主要研究内容如下:(1)构建数据集。根据实际生产环境条件,搭建种子分类场景模拟室,采集种子流动视频数据。利用YOLOv5目标检测算法,从多目标视频帧中提取单粒种子图像,分类构建训练数据集、验证数据集和测试数据集。(2)提出基于稀疏卷积神经网络的种子分类方法。该方法根据种子的外观差异,采用基于卷积神经网络的模型进行分类。卷积神经网络参数量大、存储要求高,为此引入基于彩票假设的幅值迭代剪枝算法,对种子分类模型进行压缩。实验研究了剪枝前后、剪枝程度和不同剪枝方式对模型性能的影响。结果表明,使用全局剪枝后的Res Net分类模型,其性能受剪枝影响较小,同时模型实现了深度神经网络的稀疏化。研究为不同场景下的种子分类提供了相应的模型算法。(3)提出基于Self-attention Focusing算法的种子分类方法。为进一步提高分类精度,研究利用当前计算机视觉领域热点模型Vision Transformer进行种子分类。该模型可以在有效提取图像上下文信息的基础上,提升模型的分类性能。但实验发现,模型注意力较为分散,不能有效集中于图像的类激活区域。同时,该方法存在计算成本高、模型规模较大等缺点。为此,提出Self-attention Focusing算法。该算法改进优化了Vision Transformer模型,通过不断迭代,逐渐将注意力聚焦到类激活区域。实验证明,Self-attention Focusing算法可以有效地重建模型注意力,提高准确率,压缩模型规模,增强模型抗背景噪声的能力。基于Self-attention Focusing算法的模型适用于计算资源受限、精度要求较高的种子分类场景。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头网 ，原文地址：https://bishedaima.com/lunwen/47888.html
