基于深度学习的服装检测算法研究
这是一篇关于深度学习,服装检测,YOLOv5s网络,模型剪枝的论文, 主要内容为在当今电子商务快速发展的时代下,服装产品不仅在人们日常生活中占据很大的比例,而且还与人们的生活息息相关,为提高用户的服装购物体验和舒适度,各个电商平台依托计算机视觉的相关技术与服装领域相结合,不断更新优化电商平台功能,推出了以图搜物、服装搭配、虚拟试穿等功能,这些功能背后基本的实现就是服装检测,服装检测的效果直接影响服装上游任务的结果呈现。本文基于现有服装检测模型的背景,将深度学习模型引用到服装类别中,对服装网络的速度和精度进行考量,在此基础上进一步进行模型轻量化的探索,并最终构建轻量高效的服装网络模型。具体研究工作如下:(1)探索与构建基于深度学习环境下的服装网络架构。针对大目标检测感受野不足的情况下,通过加深特征提取网络的深度,采用四特征层预测的方式,实现网络检测精度上的提升;通过对网络速度和精度综合考量,采用结构重参数化网络作为特征提取网络,在训练和推理阶段采用不同的结构,进行模型速度和精度之间的平衡;考虑位置信息对特征图的重要性,对特征图的空间位置信息进行建模,提出基于位置注意力机制模块去捕捉位置信息的长距离依赖;在特征金字塔融合过程中对于每个尺度的特征图设置一组自适应的特征融合参数,增强特征融合丰富度并引入基于距离控制的损失函数,避免反三角函数求导过程中计算量大的问题,从而加快模型的收敛速度。(2)服装检测模型的轻量化设计。针对现有的服装检测模型参数量大,其难以部署在移动端设备的情况下,采用模型剪枝的方法对特征图的通道进行裁剪:首先对服装检测模型进行迭代训练,然后对特征图每个通道引入一个缩放因子,并对其因子施加一个L1正则化来进行稀疏化训练,最后设置不同的剪枝率完成通道的裁剪,并微调剪枝后的网络。采用通道剪枝的方法实现对模型的压缩,相较于原YOLOv5s模型FPS有所提高,模型的参数量减少64.7%,m AP@0.5精度值提高2.16%,兼顾了模型的速度与精度,实现服装检测模型的轻量化的设计。
卷积神经网络结构化剪枝研究及应用
这是一篇关于深度学习模型压缩,卷积神经网络,模型剪枝,嵌入式设备的论文, 主要内容为在深度学习模型压缩领域,模型剪枝是一种流行且高效的算法,该算法能够在保证网络准确率的前提下,大大减少网络模型的计算量以及参数量,提高网络的推理速度,减少网络的内存占比。近些年,为了提高模型精度,卷积神经网络朝着更深更宽的方向演变,在特征提取的效率得到提升的同时,网络过于庞大的计算量和参数量都给网络的部署带来了困难,集中体现在一些硬件资源十分有限的嵌入式平台上。为了缓解网络越来越大,部署越来越难的压力,模型压缩领域在近些年得到飞速的发展。本论文以结构化剪枝作为出发点,为了使网络在保持精度不降的前提下实现更高的压缩率,本论文首先在流行的通道结构化剪枝算法上进行改良,裁剪掉更多冗余通道,随后,针对传统通道结构化剪枝算法的局限性,将剪枝重心从通道移向卷积核内部,在进行通道粗粒度剪枝的同时,进行规则化的细粒度结构化剪枝,使得剪枝算法变得更精准更高效。最后,在嵌入式平台上成功部署了加速后的车辆行人检测系统。主要的研究成果有:(1)针对传统通道剪枝仅仅考虑批标准层的方差因子进行剪枝的不完善性,综合考虑了网络批标准层的期望因子,方差因子以及激活层Re LU的影响,研究了一种基于批标准层以及激活层Re LU的通道剪枝方案。该方案利用高斯分布的特性,预测了部分通道经过激活层Re LU后参数会大部分置0。将这些通道剪枝,可以在保证不影响网络表达性能的前提下,减去冗余的特征通道,减小模型大小。通过对两种主流网络在不同的数据集上做了大量实验,验证了此方法的有效性以及通用性。例如,在CIFAR-10上,针对VGG-16,相比于基准网络,在计算量压缩了63.4%的情况下,准确率提高了0.04%,针对Res Net-56,在计算量压缩了71.2%的情况下,准确率只下降了0.14%。(2)针对网络结构中存在特征图维度匹配的硬性要求,如Res Net中的残差结构主干上最后一个卷积层的卷积核个数以及Inception网络中的级联操作前所有分支上最后一个卷积层的卷积核个数都不能改变,研究了一种正则化机制下的多粒度神经网络剪枝方法,设计从粗到细的多粒度剪枝策略,在稀疏化的同时维持了处于维度匹配位置的卷积层中卷积核的数量不变。并且,该方案提出一种自适应L1正则化的稀疏方式,可以使网络在更新参数的同时兼顾到网络结构的变化。稀疏化后的卷积核不仅有比原卷积核更少的参数和计算量,而且拥有更加优异的结构性质,使网络具有更高的表达能力。例如在CIFAR-10上,针对VGG-16,相比于基准网络,在计算量压缩了76.73%的情况下,准确率提高了0.19%,针对Res Net-56,在计算量压缩了82.54%的情况下,准确率只下降了0.14%。在Image Net上,针对Res Net-50,在计算量压缩了56.95%的情况下,准确率只下降了0.48%,优于现有先进剪枝方法。(3)在英伟达嵌入式设备Jetson NANO上搭建了剪枝后的车辆行人检测系统。首先,在服务器上,基于PASCAL VOC 2007数据集进行Yolov3网络剪枝前的训练,得到基准模型。然后运用同样的数据集和网络,加入多粒度神经网络结构化剪枝算法进行训练,得到剪枝后的模型。最后在嵌入式设备上搭建Qt系统,部署剪枝前后的网络,并分别在离线场景和现实场景下进行对比测试,验证了本论文研究方案在端侧部署的有效性。
移动边缘端疲劳驾驶检测方法研究
这是一篇关于疲劳驾驶检测,面部特征,移动边缘端,知识蒸馏,模型剪枝的论文, 主要内容为随着人们生活水平的不断提高,越来越多的人选择机动车出行,导致交通安全事故频繁发生,其中,疲劳驾驶是诱发交通事故的主要原因之一。大多数情况下驾驶员很难意识到自己处于疲劳驾驶状态,因此,实时监测驾驶员的疲劳情况,并在其处于疲劳状态时及时发出告警,对降低交通事故的发生率、保障人们的安全出行有着重要的意义。现有的疲劳驾驶检测方法大多都未考虑移动边缘端计算资源有限的问题,为了能在低算力的车载嵌入式设备上独立地完成疲劳检测任务,本文提出移动边缘端疲劳驾驶检测方法。主要研究内容如下:(1)驾驶员人脸检测及面部特征区域状态分类方法研究。多任务级联卷积神经网络(Multi-Task Cascaded Convolutional Networks,MTCNN)在人脸检测任务及人脸关键点定位任务上具有较高的精度,但其在低算力的移动边缘端设备上的检测耗时过长。针对此问题,提出一种参数自微调的MTCNN提速方法,使其能准确且高效地检测出驾驶员的人脸区域。采用高速的核相关滤波器(Kernel Correlation Filter,KCF)跟踪面部特征区域,针对KCF在目标丢失后继续跟踪错误目标的问题,提出基于交并比(Intersection over Union,IOU)的目标自更新的KCF跟踪方法。最后采用在图像分类任务上表现出优越性能的Res Net18网络对驾驶员面部特征区域的状态进行分类,为后续的疲劳检测做准备。(2)面向移动边缘端的面部特征区域状态分类模型轻量化方法研究。基于Res Net18的面部特征区域状态分类模型结构较复杂、参数量多、计算量大,在低算力的移动边缘端设备上推理速度较慢,无法满足疲劳检测任务的实时性需求。针对该问题,提出基于语义相似性知识蒸馏和基于线性可替换滤波器(Linearly Replaceable Filters,LRF)剪枝的组合模型轻量化方法对面部特征区域状态分类模型进行轻量化,使其保障高分类准确率的同时具有更小的体量,实现推理速度和精度的平衡。(3)基于面部多特征融合的疲劳驾驶检测方法研究。针对单一疲劳特征判别不准确的问题,提出眼睑闭合度(Percentage of Eyelid Closure over the Pupil over Time,PERCLOS)、张嘴时长比例(Percentage of Mouth Opening Time,PMOT)及点头频次疲劳评价指标来表征多种面部疲劳特征,利用层次分析法获得各评价指标相对于疲劳状态所占的权重,并提出依据权重将三种指标融合的联合评价指标F,最后根据联合评价指标F对驾驶员的疲劳状态进行检测,满足在计算及存储资源有限的移动边缘端设备上进行实时检测的前提下,提高疲劳检测方法的准确率及鲁棒性。
物流工业园区的异常行为检测系统的设计与实现
这是一篇关于异常行为检测,YOLO,目标检测,深度学习,模型剪枝的论文, 主要内容为随着互联网、电子商务的发展,目前我国的物流行业正处于蓬勃发展的阶段,但是在高速发展的同时又存在着许多容易被人们忽视的安全问题,如在工业园区违规使用手机、吸烟等的异常行为所产生的安全问题。采用实时监控与异常行为检测算法结合便是解决该问题的途径之一,即在不需要人力干预的前提下检测并记录物流园区所发生的异常行为。传统的基于数学方法的异常行为检测算法往往需要较大的时空复杂度,基于深度学习的异常行为检测算法可以简便地学习异常行为的特征以及较为快速地对异常行为进行识别。但是,目前已有的大多数据集只单独标注了一种异常行为,如果需要同时对多种异常行为进行识别则需要重新标注数据集,因而导致工作量以及模型识别时延的增加。因此本文提出基于YOLO的异常行为集成检测算法,该算法将YOLO的Backbone使用轻量级神经网络进行替换来提高速度,同时为增加普适性,将该Backbone进行结构调整并在所需要识别的异常行为开源数据集上进行训练来提高其特征提取能力,最后将该Backbone进行共享,将其提取到的特征输送到各自YOLO的Neck以及Head部分进行单独训练预测。为验证模型的性能,本文在四个开源数据集上与目前比较流行的异常行为检测算法进行比较。同时,本文设计并实现了一套前后端分离的异常行为检测系统。本系统将实时视频流传入检测模块,如果发生异常行为则会根据应用的异常行为检测算法进行标注并将该关键帧进行存储,便于后期进行责任划分,并且提供对所存储异常行为数据进行可视化分析的功能。本系统的前端是基于HTML的网页端应用,提供给用户简洁且易用的界面,后端采用Flask框架搭建Web服务,保证前端与后端数据的一致性。基于此完成了用户管理、实时检测、异常行为数据管理以及数据可视化功能模块的开发。
面向图像分类的零代码平台的设计与实现
这是一篇关于图像分类,零代码平台,迁移学习,模型剪枝的论文, 主要内容为随着计算机视觉和深度学习技术的快速发展,图像分类技术在多个领域得到了广泛的应用,例如安防监控领域的人脸识别、物体识别,医学影像领域的病灶识别,自动驾驶领域的交通标志识别等。尽管图像分类技术得到了广泛应用,但仍面临诸多问题和挑战。针对这些问题与挑战,本论文的主要工作和创新点可以分为如下部分:(1)对于初学者和非技术人员来说,想要使用图像分类技术,需要具备一定的数学、计算机科学和统计学知识,使用特定的编程语言和框架,这是一个难以逾越的障碍。为了解决这一难题,本文设计了一种面向图像分类的零代码平台,该平台基于目前流行的微服务架构,根据业务需求将系统分为了数据集管理、多人协作、在线标注、模型管理四大模块,各个模块相互独立,实现了系统各个模块间的充分解耦。通过该平台,用户无需编码和掌握相关理论,只需要通过图形化操作就可以上传数据集、标记数据集、创建模型、训练模型、校验模型和部署模型,开发出满足个性化需求的图像分类应用。(2)图像分类开发往往需要大量的数据,但获取大量标记数据的成本高昂,模型复杂或训练数据集不足又容易导致过拟合。为了解决这一问题,该平台内置多个预训练模型,这些模型已在大规模数据集上进行了训练并具有良好的泛化能力,可用于迁移到新任务中。具体的,该平台采用迁移学习技术,使用预训练模型参数初始化特征提取网络,用户只需设置分类网络部分,从而满足图像分类应用需要。在微调阶段,对于模型过于复杂或训练数据集过少的情况,特征提取网络可以被冻结,仅对分类层进行优化;对于用户数据与预训练数据集相似度不高或训练数据集较多的情况,可选择微调整个模型,优化所有模型参数,包括特征提取网络,以提高模型在新任务下的特征提取能力。(3)由于图像分类模型需要大量的计算资源和内存来进行模型训练和推理,所以难以在边缘设备上部署和运行。为了解决这一问题,该平台采用了一种模型剪枝方法对模型进行压缩,该方法在卷积神经网络中每个通道分配一个缩放因子γ,并将其与通道输出相乘,然后对这些缩放因子施加简单的L1稀疏性正则化。在优化训练时,该算法将神经网络权重和这些分配的缩放因子一起进行训练,同时对缩放因子施加稀疏性正则化,以促进通道的稀疏化。最终,对于缩放因子趋近于零的通道,平台根据用户设置的压缩率进行裁剪,减少图像分类模型所需的计算资源和内存,从而使其适用于边缘设备。
基于彩票假设的图推荐模型剪枝方法研究
这是一篇关于图推荐,网络轻量化,模型剪枝,彩票假设,表征矩阵,交互图的论文, 主要内容为推荐系统是一种信息过滤工具,其目标是为用户推荐感兴趣的物品,它能够有效解决大数据时代信息过载的问题,为信息生产方和信息消费方搭建起双赢的桥梁。在推荐系统领域,图推荐模型以其强大的表示能力得到了广泛应用。图模型通常将用户物品交互记录构建成用户物品二部图,然后通过图卷积操作来挖掘用户物品节点的交互关系,最终实现精准的个性化推荐服务。得益于近年来深度学习技术的迅速发展,图推荐模型的推荐效果得到不断的提升。但是本文发现,现有的图推荐模型在效率和效能方面存在不足:1)表征用户和物品的参数矩阵参数量庞大,且表征向量维度对所用用户和物品相同,难以充分表示不同用户物品之间的异质性。2)用户物品交互图的规模往往十分庞大,使得图卷积操作消耗大量的计算资源,且容易受到交互图中噪声边的影响。针对上述问题,本文研究面向图推荐模型的彩票假设理论,分别对图推荐模型的表征矩阵和交互图进行轻量化。本文针对图推荐模型的两大不足进行如下探索:1.本文针对图推荐模型的表征矩阵提出一种剪枝方法,通过迭代的方式对表征矩阵参数进行裁剪,在减少参数规模的同时突破表征维度一致的局限。此方法不仅可以寻找到与原始稠密表征矩阵表示能力相媲美的稀疏表征矩阵(中奖彩票),而且证明了中奖彩票广泛存在于图推荐模型的表征矩阵中。另外,相较于原表征矩阵,中奖彩票在时间、空间和推荐精准度上都有着明显的优势,在Yelp2018、TikTok和Kwai三个数据集上,中奖彩票分别只使用了 29%～48%,7%～10%,3%～17%的参数量,就能达到与原始稠密表征矩阵相近的测试表现。2.本文针对图推荐模型的交互图结构提出一种剪枝方法,通过迭代的方式对交互图进行裁剪,在减少图结构规模的同时缓解噪声边的影响。此方法基于1中方法进行改进,通过加入随机回退机制,克服了交互图剪枝过程的低容错性问题,提高了算法的稳定性和有效性。实验结果表明,此方法可稳定地找到与原交互图性能接近的稀疏子交互图(中奖彩票)。另外,相较于原交互图,中奖彩票可以大大降低模型的计算复杂度,在Yelp2018、TikTok和Kwai三个数据集上,中奖彩票在保证模型推荐精度的同时,分别为模型减少了 26.49%,58.23%,36.98%的计算量。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码港湾 ，原文地址：https://bishedaima.com/lunwen/54455.html
