基于YOLOv4的遥感图像目标检测算法研究与实现

这是一篇关于遥感,目标检测,YOLOv4,DenseNet,BiFPN,CDIoU损失的论文, 主要内容为遥感目标检测是利用遥感技术和计算机视觉技术对遥感图像中的目标进行识别和定位,在军事、安全、环境、资源管理等领域具有重要的应用价值。虽然当前的目标检测算法已经取得了很大的进步,但对于背景复杂、可用纹理信息少的遥感目标检测任务来说,仍面临着以下难点:首先,主干网络卷积层过深丢失遥感小目标语义信息,造成遥感小目标漏检;其次,不同分辨率特征层之间直接采用加和方式融合,导致特征冗余,利用不充分。因此,为提高遥感目标检测的精度和速度,本文改进YOLOv4模型的主干网络特征提取模块和颈部特征融合模块,使其更适合遥感目标检测。主要的研究内容及创新工作如下:首先,为了解决层数过深的主干网络易丢失遥感小目标语义信息的问题,本文提出以密集连接网络(DenseNet)改进YOLOv4主干网络,以提升特征提取能力。把模型主干网络的两个八层残差的后四层分别替换为改进的DenseNet,并删除Denseblock中最前面的ReLU激活函数,以此来保证后续的网络状态;再为Dense Block模块添加一个扩张卷积,来增大网络的感受野;并采用跳跃连接的方式部署网络,使得神经网络更容易训练。通过在DOTA数据集上的实验表明,该改进方法提高了遥感小目标的检测精度。其次,针对原YOLOv4的特征融合模块特征信息利用不充分、融合能力不足的问题,本文提出以改进的加权双向特征金字塔网络(Bidirectional Feature PyramidNetwork,Bi FPN)作为特征融合模块,提升YOLOv4网络的特征融合能力。改进的Bi FPN采用各层分辨率作为权重系数,融合时明确每层特征对网络的贡献率,保证网络在训练过程中逐渐学习到每个输入特征的重要信息。并在颈部和头部之间添加了通道注意机制(Convolutional Attention Module,CAM),以提高对图像纹理信息的敏感性,特别是对于有限特征信息的目标。此外,改用CDIoU和CDIoU损失来提升边界框回归效果。实验结果表明,上述改进方法可以提高模型对特征信息有限目标的检测能力,检测到的目标数量也有所增加。最后,本文设计并实现了基于PyQt5的遥感图像目标检测软件平台,以便更友好地展示遥感目标检测功能。

基于生成对抗网络的图像超分辨率重建算法研究

这是一篇关于DenseNet,批归一化,Earth-Mover,图像超分辨率,生成对抗网络的论文, 主要内容为图像超分辨率SR(Image Super-Resolution)算法可通过低分辨率图像重建出高分辨率图像,而基于深度学习的方法相比于传统方法,在重建效果上有巨大的提升。随着深度学习的快速发展,许多神经网络结构相继出现,而生成对抗网络GAN(Generative Adversarial Network)出现后,即开始应用于图像生成方向。本文分析了以往基于生成对抗网络的图像超分辨率重建方法的一些缺点,进行了改进。主要工作研究内容如下:(1)研究并介绍了深度学习的相关理论,对不同类别的图像超分辨率的经典算法进行探究,分析了其原理,并阐述了生成对抗网络的相关知识及其在超分辨率领域的经典应用SRGAN(Super-Resolution Using GAN)。(2)为了解决SRGAN中基于残差结构Res Net的生成网络不能很好的利用低维特征以及其参数量较大的问题,提出了一种基于Dense Net密集连接结构的GAN网络。首先生成网络由4个密连接模块构成,每个模块有4个密连接层,其有很强的特征复用能力,可以将低层次的特征很好的利用起来,且在参数量上也较少;其次在上采样过程引入了基于学习方式的子像素卷积替代以往Dense Net结构中常用的反卷积以求更好的重建效果;随后设计了基于Smooth L1的内容损失函数,通过Smooth L1函数来计算VGG网络提取到的特征图损失。模型在SET5、SET14和BSD100测试集上的PSNR和SSIM值相比与SRGAN均有提升。(3)为了解决BN(Batch Normalization)层在超分辨率中效果较差的问题和密集连接GAN网络中训练不稳定的问题,首先在生成网络中移除了冗余的BN层,并分析了GAN网络中存在的问题和基于Earth-Mover距离的WGAN,随后将Earth-Mover距离引入判别损失的设计中。其次,提出了一种优化型的密集连接GAN网络,该模型不仅能更好的通过观察判别损失来监测训练的进程,重建图像在SET5、SET14和BSD100测试集上的PSNR和SSIM值也优于优化前模型。在采用了Pytorch深度学习框架以及GPU并行加速的实验环境中,将本文模型与以往的经典算法对比。通过图像评价指标PSNR和SSIM进行评估。分析了各模型在SET5,SET14,BSD100三个测试集上的结果。最后优化的模型相比于SRGAN在三个测试集上的PSNR分别提高了0.375d B,0.269d B,0.196d B;SSIM分别提高了0.028,0.020,0.015。本文模型在图像重建速度上也优于SRGAN,证明了本文设计模型的可行性和有效性。

基于深度神经网络的唇语识别研究

这是一篇关于深度神经网络,唇语识别,DenseNet,长短时记忆网络,注意力机制的论文, 主要内容为唇语识别(Lip Reading)也被称为唇读,指从一组动态的嘴唇形状图像中提取有用的特征信息,用于识别嘴唇的动态变化,从而得到发音内容。近年来各类深度神经网络的引入给唇语识别研究带来了巨大的突破,其极大的研究应用价值也吸引了众多研究者投入该领域。然而在现实场景中,嘴唇区域容易受到背景噪声、姿态变化、运动模糊等因素的影响,传统的方法难以有效提取图像视觉特征以及时序特征,从而使得唇语识别的准确性较低,针对上述问题,本文对孤立单词和连续句子两类识别任务在深度神经网络领域展开了相关研究,最终达到提高唇语识别准确率的目的。本文的主要研究内容与贡献如下:(1)本文针对孤立单词级识别任务提出了一种融合3D-CBAM-DenseNet和Mogrifier LSTM的端到端单词级唇语识别模型。该模型由前端和后端两个模块组成,前端网络中使用3D CNN加DenseNet并结合通道注意力模块和空间注意力模块对嘴部区域视觉特征与潜在高层次抽象特征表示进行提取,后端网络中使用双层BiMogrifier LSTM结合全局信息捕获输入图像上下文之间的时序特征。在此基础上提出一种Mix Up与Fence Mask相结合的数据增强方法,从而进一步提高模型的鲁棒性。实验结果表明,该算法模型能够有效提高单词级唇语识别精度,在LRW数据集上达到了87.2%的单词识别准确率。(2)本文针对连续句子识别任务提出一种融合单词级唇读特征提取和改进Lip Net的端到端句子级唇语识别模型Lip Net++。本文在单词级唇语识别研究的基础上针对更加复杂与更加贴近真实需求的句子级唇语识别展开了进一步研究,Lip Net++使用级联时序分类器CTC进行端到端训练,并引入注意力机制模块对CTC提出改进,提出一种双分支3D CNN结构使用不同时间尺度对短时时空特征进行提取。在GRID数据集上,该模型CER和WER分别为1.1%和2.2%,性能优于其他方法。(3)为了将提出的唇语识别算法模型应用于实际场景中,本文实现了一个基于Web的唇语识别系统,该系统基于B/S架构,支持跨平台使用。用户可以通过浏览器进入系统,实现对输入视频的唇语识别。

BECT癫痫综合征脑电棘波检测算法研究

这是一篇关于伴中央-颞区棘波的儿童良性癫痫,DenseNet,典型相关分析特征融合,多通道加权融合,棘波检测的论文, 主要内容为伴中央-颞区棘波的儿童良性癫痫(BECT)是常见的一种儿童癫痫综合征,研究发现,BECT患者在发作间期的棘波放电现象集中在大脑中央-颞区,并且棘波放电频率与患者的醒觉程度有直接关联,非快速眼动睡眠期的棘波放电频率统计可以有效协助医生进行BECT患者的病情和用药评估。因此,开发一种快速、准确的BECT综合征棘波定位算法,可以有效地帮助医生对BECT患者进行临床诊断与治疗,这也是实现智慧医疗与BECT患者自动化诊断的重要途径。目前主流的棘波检测算法多为预处理后提取特征,再将所提特征输入先进分类算法中实现棘波检测,很少考虑个体差异性对检测造成的影响,并且单通道脑电信号的表征能力较差,导致在BECT综合征患者的脑电数据上的棘波检测效果较差。针对上述问题,本文开展了如下几个研究工作:1.提出了一种基于深度学习和典型相关分析的BECT单通道棘波检测方法,提取基于Dense Net深度网络的脑电频谱图深度迁移学习特征和基于平滑非线性能量算子滤波的传统手工特征,传统手工特征经过方差过滤式算法进行特征筛选后与深度迁移学习特征使用典型相关分析(CCA)进行特征融合,最后使用随机森林分类算法实现棘波检测。提出的棘波检测方法在浙江大学医学院附属儿童医院(CHZU)15例BECT综合征患者的脑电数据中进行了性能评估。实验结果表明所提出的棘波检测算法在所有数据集中平均检测性能可以达到98.72%的灵敏度、84.69%的精确度以及91.17%的F1分数,总体上优于几种先进的棘波检测方法。2.提出了一种基于多通道加权融合和典型相关性分析特征融合的BECT多通道棘波检测方法,多通道脑电数据存在复杂度高、实施困难等问题,因此在已有的一种针对BECT脑电信号的多通道数据加权融合的棘波检测算法的基础上进行改进。将多通道数据经过特征阈值筛选和数据融合构成候选的合成单通道棘波样本,在此基础上对原有方法中使用的堆叠双向长短时记忆神经网络(Bi-LSTM)中检测结果进行分析,对候选样本提取4种有效特征,并与堆叠Bi-LSTM的深度特征之间使用CCA算法进行特征融合,最终输入到随机森林分类器中实现多通道脑电数据的棘波检测。所提方法在CHZU棘波数据集中平均检测性能达到了97.75%的灵敏度、98.61%的精确度和98.17%的F1分数,相较于原方法平均检测性能提高了1.57%的灵敏度、2.78%的精确度和2.2%的F1分数,并且平均每名患者的模型训练耗时仅增加了3.97秒。同时在混合数据集中达到了95.49%的灵敏度、95.18%的精确度和95.33%的F1分数,所提方法相较于原方法提高了1.44%的灵敏度、0.95%的精确度和1.19%的F1分数。

基于深度学习的生产车间安全管控系统

这是一篇关于安全管控系统,安全帽佩戴检测算法,YOLOv5,SE-Net,DenseNet的论文, 主要内容为重工业是我国国民经济的脊梁,随着社会的发展、科技的进步,我国对重工业生产的安全管控有了更高的要求。目前,市场上的系统功能比较简单且偏向于业务管理,存在智能化低、安全性低的问题。基于深度学习的生产车间安全管控系统的开发一方面丰富了系统的功能模块,另一方面实现了安全帽佩戴检测算法,有利于提高系统的智能化和安全管控的能力,具有较强的现实意义。本文基于B/S架构构建生产车间安全管控系统,该系统采用Spring Boot和Vue对前后端进行分离式开发,使用My SQL、Redis构建分布式数据库。该系统包含六大功能模块,分别是人员管理模块、访客管理模块、告警管理模块、视频巡检模块、设备管理模块和危险作业管理模块。人员管理模块对员工、VIP、黑名单人员的信息进行管理。访客管理模块控制访客进出公司场地的申请、批准等流程。告警管理模块实现安全帽佩戴检测算法,通过设置分析任务和告警规则触发设备告警,实现实时告警。视频巡检模块可以制定巡检计划对生产过程进行巡检并上报巡检记录。设备管理模块管理公司设备。危险作业管理模块管理危险作业的申请、执行、变更、关闭等,在危险作业进行过程中,巡检人员可以在视频巡检模块对不同区域的工作情况进行巡查。在告警管理模块本文实现基于YOLOv5的安全帽佩戴检测算法,该算法对原始的Yolov5算法的CSP模块进行了两方面的改进,从而提高算法对小目标的检测能力。首先,将Dense Net和CSP相互融合,利用Dense Block紧密连接的特性,最大程度地提高网络对特征信息的提取能力以提高对小目标检测的能力。其次,在CSP的Conv后加入SE-Net注意力机制,使得网络更加关注小目标的特征信息,从而提高对小目标特征信息的提取能力。通过仿真试验,得出改进后的算法的准确性为96.2%。对比实验结果表明,在自制安全帽佩戴检测数据集或VOC2028公开数据集上,本文算法的m AP相比原始YOLOv5网络提高了。本文提出的基于YOLOv5的安全帽佩戴检测算法对安全帽检测的效果更好。本系统目前已经在多家公司投入使用,为公司提供了便捷的服务,节省了人力物力财力,有效减少了生产车间的安全事故发生率。

汽车生产线焊接机器人电机及减速器的故障检测系统

这是一篇关于RV减速器,FSST,DenseNet,迁移学习,WEB平台开发的论文, 主要内容为随着工业4.0的发展,焊接机器人支撑着众多高端产业,焊接机器人在工厂中的使用频率普遍增加,为避免其发生突发故障耽误生产,故对其进行状态监测和故障检测是极其必要的。目前基于大数据的故障检测是识别设备故障的主要途径。但由于不能获取到足够的故障数据标签,从而产生了严重的数据不平衡,进而影响了对故障类型的判断。本文特由此提出基于动力学仿真的数据集的获取方法,以此来对数据集进行扩充,因为仿真数据与实验数据存在一定差异,进而提出利用迁移学习实现对机器人主要部件的故障诊断。本文将针对RV减速器其运行状态和振动特性,采用集中质量法构建平移-扭转动力学模型,通过Jeffcott转子系统构建电机转子动力学模型,对于故障采用能量法求解RV减速器齿轮及摆线轮点蚀故障的时变啮合刚度,并利用四阶龙格库塔法对微分方程进行求解得到故障特征,而后利用试验台采集对照数据,验证了模型有效性,解决数据不平衡的问题。针对信号特征取采用一种可变窗短时傅里叶(FSST)的时频处理方法,并从数据的丰富度与清晰度上与短时傅里叶(STFT)以及连续小波变换(CWT)进行对比,发现增加数据信息量的同时不可避免的造成可读性下降,通过神经网络校验上述时频提取方法,证明信息量的提高会在模型训练上得到更好的表现。利用粘稠神经网络(DenseNet)和深度森林(DF),分别对仿真故障的二维数据和一维数据进行分类。同时利用随机森林与传统分类算法进行对比,证明深层网络对于表征学习有天然的优势。引入最大均值差异(MMD)来约束源域和目标域之间的距离,实现从仿真数据到实验数据的拟合和迁移。并通过DF实现数据过滤,进一步的提高模型的准确率。从B/S服务器的角度对于平台功能进行设计,使用SpringBoot框架快速开发,利用MVC架构组织平台内容,根据测试驱动开发(TDD)思想将功能细分为具体步骤,实现快速开发,同时实现了代码的,易测试、易扩展、易维护。

基于深度学习的甲状腺结节超声图像分割及分类方法研究

这是一篇关于甲状腺结节,图像分割,Mask R-CNN,图像分类,DenseNet的论文, 主要内容为近年来,甲状腺结节的发病率不断增长,且随着人们对碘摄入量的增加及环境中放射性污染的增多,其发生癌变的几率也越来越高,已对人类日常健康造成严重威胁。在甲状腺结节的实际临床诊断中,医生常通过超声图像进行检测。本文研究通过深度学习的方法,完成超声图像中的甲状腺结节部位的准确分割及良恶性识别,可以帮助医生提升诊断效率。为了准确地分割出结节部分,本文使用Mask R-CNN网络对超声图进行分割,并优化其中的主干网络,以强化其特征提取功能。首先在主干网络部分引入注意力机制,引入位置处于残差网络层处,能够提高网络收敛性;其次在原始主干网络的特征金字塔模型中添加一条支路;然后再融合所有输出特征图,以得到联合特征,最后再输出,最终实现多尺度特征融合并均衡各输出特征图中信息差异。使用6840张结节图像对改进后网络模型进行检测,最终得到的模型结果,平均分割的Dice系数是0.9562,平均分割的精确度是0.9601,平均分割召回率是0.9437,平均分割F1分数是0.9518。就平均Dice系数而言,改进后网络比原网络增加9.13%。结果显示,本文改进后Mask R-CNN的模型精度较高,能够在甲状腺结节疾病的临床诊断中使用,可以提高医生诊断效率。为了实现对甲状腺结节良恶性的准确识别,本文通过Dense Net网络对超声图像进行检测,并优化其网络结构。在原网络中添加了五条支路,来融合输入特征图与输出特征图,以传输大量底层纹理信息,同时在各Dense模块与相邻过渡层间加入注意力机制,以完整保留图像有效特征,以均衡融合特征图的特征比重,使网络能够更好地利用特征图的全局信息。使用4000张结节图像对改进后网络模型进行检测,改进后Dense Net的平均识别准确率是0.9671,平均识别精确度是0.9684,平均识别召回率是0.9711,平均识别F1分数是0.9697。就识别的准确率来讲,改进后模型比原网络上升了3.77%。结果表明,改进后Dense Net可以为甲状腺结节性疾病的临床诊断提供借鉴,提高医生诊断效率。

基于深度神经网络的唇语识别研究

这是一篇关于深度神经网络,唇语识别,DenseNet,长短时记忆网络,注意力机制的论文, 主要内容为唇语识别(Lip Reading)也被称为唇读,指从一组动态的嘴唇形状图像中提取有用的特征信息,用于识别嘴唇的动态变化,从而得到发音内容。近年来各类深度神经网络的引入给唇语识别研究带来了巨大的突破,其极大的研究应用价值也吸引了众多研究者投入该领域。然而在现实场景中,嘴唇区域容易受到背景噪声、姿态变化、运动模糊等因素的影响,传统的方法难以有效提取图像视觉特征以及时序特征,从而使得唇语识别的准确性较低,针对上述问题,本文对孤立单词和连续句子两类识别任务在深度神经网络领域展开了相关研究,最终达到提高唇语识别准确率的目的。本文的主要研究内容与贡献如下:(1)本文针对孤立单词级识别任务提出了一种融合3D-CBAM-DenseNet和Mogrifier LSTM的端到端单词级唇语识别模型。该模型由前端和后端两个模块组成,前端网络中使用3D CNN加DenseNet并结合通道注意力模块和空间注意力模块对嘴部区域视觉特征与潜在高层次抽象特征表示进行提取,后端网络中使用双层BiMogrifier LSTM结合全局信息捕获输入图像上下文之间的时序特征。在此基础上提出一种Mix Up与Fence Mask相结合的数据增强方法,从而进一步提高模型的鲁棒性。实验结果表明,该算法模型能够有效提高单词级唇语识别精度,在LRW数据集上达到了87.2%的单词识别准确率。(2)本文针对连续句子识别任务提出一种融合单词级唇读特征提取和改进Lip Net的端到端句子级唇语识别模型Lip Net++。本文在单词级唇语识别研究的基础上针对更加复杂与更加贴近真实需求的句子级唇语识别展开了进一步研究,Lip Net++使用级联时序分类器CTC进行端到端训练,并引入注意力机制模块对CTC提出改进,提出一种双分支3D CNN结构使用不同时间尺度对短时时空特征进行提取。在GRID数据集上,该模型CER和WER分别为1.1%和2.2%,性能优于其他方法。(3)为了将提出的唇语识别算法模型应用于实际场景中,本文实现了一个基于Web的唇语识别系统,该系统基于B/S架构,支持跨平台使用。用户可以通过浏览器进入系统,实现对输入视频的唇语识别。

基于改进DenseNet的重型数控机床热误差建模及轻量化方法研究

这是一篇关于重型数控机床,热误差,数据预处理,DenseNet,模型轻量化的论文, 主要内容为随着步入“工业4.0”时代,重型数控机床作为现代制造业的关键设备受到越来越多的关注。在“中国制造2025”中就强调重型数控机床的重要价值和地位。重型数控机床正朝着高精度、高效率、高质量的方向不断发展。影响重型数控机床加工精度的主要原因之一就是机床热误差,而对重型数控机床的热误差进行建模并补偿能够有效缓解热误差带来的问题。本文致力于研究如何建立热误差预测模型,并对其进行轻量化,提高模型预测效率。本文主要研究内容如下:(1)重型数控机床数据感知及数据预处理。针对采集的感知数据存在数据质量低和数据不均衡的问题,提出基于长短期记忆网络(Long Short-Term Memory,LSTM),Savitzky-Golay和三次样条插值的数据预处理方法。为了更好地监测重型数控机床的温度场,本文首先对重型数控机床的结构特点进行分析,并建立数据监测系统采集感知数据。为了提高感知数据的数据质量,采用LSTM对异常值进行剔除,之后通过Savitzky-Golay方法在保留数据细节信息的同时滤除数据中夹杂的噪声。为避免数据不均衡对模型预测精度产生负面影响,采用三次样条插值对不均衡数据进行数据增强。(2)基于改进Dense Net的重型数控机床热误差建模。针对数据驱动热误差模型在面对不同加工工况时存在预测精度和泛化能力不足的问题,提出基于改进Dense Net的重型数控机床热误差建模方法。Dense Net能够通过卷积层自动提取温度数据特征,可以更加充分地利用数据隐藏信息。Dense Net利用网络间的密集连接实现特征复用,有效避免训练过程中出现梯度消失,能够在建立较深网络模型的同时避免出现过拟合现象。(3)改进Dense Net的热误差模型轻量化方法研究。针对深度学习模型部署在离线边缘端设备存在存储和计算资源不足的问题,提出基于Hint的知识蒸馏和权重量化的模型轻量化方法。首先对基于改进Dense Net的热误差模型进行知识蒸馏,在确保模型精度的同时大幅缩减模型规模,减少模型冗余参数。之后通过权重量化进一步压缩轻量级模型。