基于深度学习的3D点云场景识别方法研究
这是一篇关于3D点云,场景识别,深度学习,自注意力,特征金字塔的论文, 主要内容为随着自动驾驶技术的不断发展和应用,基于激光雷达传感器的3D点云数据已成为自动驾驶领域中不可或缺的一部分。与传统的图像数据相比,3D点云数据更加直接、真实,具有更丰富的信息量。同时,随着3D激光雷达技术和数据处理能力的不断提升,获取和处理场景的3D点云数据已成为可能,因此对3D点云场景进行有效的识别成为自动驾驶领域的研究热点。对此本文针对基于深度学习的3D点云场景识别方法进行研究。现有的基于3D点云场景识别算法存在以下两个问题:问题一是场景数据中不同元素之间的相互干扰、重叠和遮挡使得场景中的3D点云数据具有很高的噪声和冗余。问题二是场景数据中由于路灯、树木等数据的尺寸相对较小,其对应的3D点云密度较低,因此容易被忽略或误分类。而在真实场景中路灯、树木的数量通常比较多,对于自动驾驶来说,忽略或误分类这些物体可能会对决策产生重大影响。针对问题一中的场景数据中3D点云数据具有很高噪声和冗余的问题,本文提出一种基于自注意力和Net VLAD(Net for Vector of Locally Aggregated Descriptors)模块的3D点云场景识别网络模型。该网络首先对3D点云进行预处理,减少在后续自注意力模块中计算涉及的点的数量,同时获得含有丰富领域信息的点集群,过滤冗余噪声。其次,使用自注意力模块从而适应不同的、相似度高的场景特征。最后,为了获得具有显著区分度和代表能力的全局场景描述向量,使用Net VLAD模块将高维的局部特征向量映射到固定长度的向量中,最终得到全局描述符向量并用于场景识别中的匹配任务。针对问题二中的场景数据中,路灯、树木等尺寸相对较小物体的3D点云密度较低,容易被忽略或误分类的问题,本文提出一种基于多层次特征融合的3D点云场景识别网络模型。该网络首先对输入3D点云数据进行稀疏量化处理,为适应后续网络处理得到稀疏量化的3D点云数据。之后通过特征金字塔模块提取不同层次的特征信息,从而更好地捕捉尺寸相对较小的物体的特征,同时在特征金字塔模块中的横向连接操作中间加入ECA(Effective Channel Attention)模块,通过在不同尺度上自适应地加权通道特征图从而提高网络的鲁棒性。最后,在特征金字塔模块中不同层次拼接后的信息通过后处理模块中的全连接层过滤冗余信息,之后再经过广义平均池化生成最终的全局描述符向量。本文使用深度学习框架实现所提出的网络模型,并在公开的场景数据集上进行实验和测试。实验结果表明本文所提出的基于自注意力和Net VLAD模块的3D点云场景识别网络模型在场景数据中能够在过滤冗余噪声的同时获得丰富的场景信息,相较于现有的方法,本文提出的方法能够达到更高的场景识别准确率。同时本文所提出的基于多层次特征融合的3D点云场景识别网络模型能够捕获到不同层次的特征,减少路灯、树木等尺寸相对较小物体信息的丢失和重复提取,从而提高识别的准确性和鲁棒性,与现有方法相比该模型在3D点云场景识别方面表现出一定的竞争优势。
基于深度学习的带钢表面缺陷检测
这是一篇关于表面缺陷检测,残差网络,特征金字塔,锚窗,数据扩充的论文, 主要内容为在当今的钢铁工业中,带钢是其中一种广泛应用于各个行业的产品。在生产时,带钢轧制过程中容易出现表面缺陷,如何对带钢表面缺陷进行有效的检测显得尤为重要。现有的常规检测方法难以满足准确高效的检测要求。卷积神经网络的优势在于能够自动地学习样本的特征,因此,本文将它作为带钢表面缺陷分类和检测的基础网络并进行后续的改进和实验分析。本文主要研究工作包括:(1)针对现有的带钢表面缺陷分类方法存在结构复杂、特征泛化能力差、参数多、识别精度低等问题,在残差网络的基础上,本文提出一种带钢表面缺陷分类方法I-Res Net34。该方法简化了网络结构:减小卷积核尺寸、池化层换成Inception结构、减少网络层数;更换了激活函数:将Re LU替换为Leaky Re LU,加快网络收敛速度;优化了损失函数:在交叉熵损失函数的基础上加了一个中心损失函数,解决数据集类别间距的难题。三者结合,最终的残差网络分类模型I-Res Net34的识别精度高达95.40%,时间为48s/e,参数量和计算量都比原始的残差网络更优,改善了带钢表面缺陷分类的效果。(2)为解决分类样本不足的问题,使用数据增强库imgaug对NEU数据集进行扩充。用于带钢表面缺陷分类的NEU数据集有6个类别,每个类别只有300个样本。不同类别的图像相似,同类别的图像差异不明显。将NEU中的图片进行平移、镜像、水平翻转、改变亮度等操作,得到新的数据集,增强了网络的泛化能力,分类精度也明显改善。(3)本文设计了带钢表面缺陷检测总体实验系统,然后根据带钢表面中小型缺陷较多、特征提取过程中中小目标易丢失、池化过程特征偏移的特点,在Faster RCNN网络模型的基础上,对其各个组成部分进行改进。改进backbone网络:选择Resnet50的前4个卷积模块加上特征金字塔网络作为特征提取网络;改变RPN层的锚窗尺寸:重新设置了15种anchor;改变池化方法:用ROI Align替代ROI Pooling。改进后的模型对中小型缺陷识别率有提升,特征不发生偏移,总体性能也有改善。(4)针对缺陷检测数据集样本不平衡,标注信息有很多错误的情况,对样本图片进行筛选删减再进行扩充,之后用Label Img逐张进行人工标注,得到新的缺陷检测数据集。将改进后的骨干网络、RPN层和池化层融合成一个带钢表面缺陷检测新模型,在新的缺陷检测数据集上进行实验,最终缺陷检测模型的m AP值由原来的69.2%提升到73.2%,FPS由原来的21变为23,在速度和精度上都有极大改善,证明本文的改进方法切实可行。
基于深度学习的3D点云场景识别方法研究
这是一篇关于3D点云,场景识别,深度学习,自注意力,特征金字塔的论文, 主要内容为随着自动驾驶技术的不断发展和应用,基于激光雷达传感器的3D点云数据已成为自动驾驶领域中不可或缺的一部分。与传统的图像数据相比,3D点云数据更加直接、真实,具有更丰富的信息量。同时,随着3D激光雷达技术和数据处理能力的不断提升,获取和处理场景的3D点云数据已成为可能,因此对3D点云场景进行有效的识别成为自动驾驶领域的研究热点。对此本文针对基于深度学习的3D点云场景识别方法进行研究。现有的基于3D点云场景识别算法存在以下两个问题:问题一是场景数据中不同元素之间的相互干扰、重叠和遮挡使得场景中的3D点云数据具有很高的噪声和冗余。问题二是场景数据中由于路灯、树木等数据的尺寸相对较小,其对应的3D点云密度较低,因此容易被忽略或误分类。而在真实场景中路灯、树木的数量通常比较多,对于自动驾驶来说,忽略或误分类这些物体可能会对决策产生重大影响。针对问题一中的场景数据中3D点云数据具有很高噪声和冗余的问题,本文提出一种基于自注意力和Net VLAD(Net for Vector of Locally Aggregated Descriptors)模块的3D点云场景识别网络模型。该网络首先对3D点云进行预处理,减少在后续自注意力模块中计算涉及的点的数量,同时获得含有丰富领域信息的点集群,过滤冗余噪声。其次,使用自注意力模块从而适应不同的、相似度高的场景特征。最后,为了获得具有显著区分度和代表能力的全局场景描述向量,使用Net VLAD模块将高维的局部特征向量映射到固定长度的向量中,最终得到全局描述符向量并用于场景识别中的匹配任务。针对问题二中的场景数据中,路灯、树木等尺寸相对较小物体的3D点云密度较低,容易被忽略或误分类的问题,本文提出一种基于多层次特征融合的3D点云场景识别网络模型。该网络首先对输入3D点云数据进行稀疏量化处理,为适应后续网络处理得到稀疏量化的3D点云数据。之后通过特征金字塔模块提取不同层次的特征信息,从而更好地捕捉尺寸相对较小的物体的特征,同时在特征金字塔模块中的横向连接操作中间加入ECA(Effective Channel Attention)模块,通过在不同尺度上自适应地加权通道特征图从而提高网络的鲁棒性。最后,在特征金字塔模块中不同层次拼接后的信息通过后处理模块中的全连接层过滤冗余信息,之后再经过广义平均池化生成最终的全局描述符向量。本文使用深度学习框架实现所提出的网络模型,并在公开的场景数据集上进行实验和测试。实验结果表明本文所提出的基于自注意力和Net VLAD模块的3D点云场景识别网络模型在场景数据中能够在过滤冗余噪声的同时获得丰富的场景信息,相较于现有的方法,本文提出的方法能够达到更高的场景识别准确率。同时本文所提出的基于多层次特征融合的3D点云场景识别网络模型能够捕获到不同层次的特征,减少路灯、树木等尺寸相对较小物体信息的丢失和重复提取,从而提高识别的准确性和鲁棒性,与现有方法相比该模型在3D点云场景识别方面表现出一定的竞争优势。
电力巡检中无人机航拍图片的鸟窝检测方法研究及应用
这是一篇关于电力巡检,鸟窝目标,目标检测,特征金字塔,注意力机制,智能检测系统的论文, 主要内容为电力系统的稳定运转是确保国家正常运作的必要条件,电力巡检则承担着保障电力系统正常工作的重要任务。将目标检测算法应用于电力巡检任务中,实现智能巡检,可以显著提高巡检效率。本文以电力巡检中鸟窝检测作业为背景,采用基于深度学习的目标检测算法,对无人机航拍电力铁塔图片中鸟窝目标检测方法展开研究,并设计与开发了电力巡检鸟窝智能检测系统,相关工作内容如下:第一,电力线路及其相关设施属于国家能源基础资源,难以从互联网中获取到足够的无人机巡检数据,为了顺利的开展相关算法研究,本文自制了电力巡检鸟窝目标数据集。首先通过无人机巡航电力线路采集数据,筛选出其中带有鸟窝目标的图片,通过数据增强算法扩充数据集,并完成图像标注操作,最终构建了包含4100余张图片的电力巡检鸟窝目标数据集。第二,针对无人机航拍获取的数据中存在待检测目标的尺寸较小、纹理特征与自然背景相似和局部被塔身遮挡的问题,本文基于现有目标检测算法中性能较好的Sparse R-CNN算法进行研究,提出了基于低尺度特征融合的航拍图片鸟窝检测算法L-FPNet。设计了“ex-grid”提案框初始化方法,提高定位精度;将原始网络动态实例交互头的Re LU激活函数替换为Si LU函数,使网络模型具有更强的收敛能力;设计了融合低层特征的特征金字塔网络“L-FPN”,提高特征图的纹理、位置信息丰富度。实验结果表明,L-FPNet在航拍图片鸟窝检测作业中表现出较高的检测精度。第三,为了实现智能巡检,需要一种模型轻量、易于集成部署的算法,同时该算法应具有较高的检测精度和较快的检测速度。针对上述问题,提出了融合全局注意力的航拍图片鸟窝检测算法GA-YOLOv5。该算法以网络模型较为轻量、检测速度较快的YOLOv5算法为基础,引入K-means++锚框聚类算法,提高目标定位精度;在网络的Neck层融合GAM全局注意力机制,放大全局维度交互特征,减少信息损失,提高了网络模型的预测分类精度。经实验表明,GA-YOLOv5与目前较为先进的算法相对比,在航拍图片鸟窝检测作业中表现出较好的检测性能,且训练生成的权重预测文件较小,易于在软件系统中集成调用。第四,设计与开发了电力巡检鸟窝智能检测系统,实现了鸟窝智能检测、结果展示和生成检测报告等功能,并将该系统集成于具有图形计算能力的轻便式一体机中,经实际场景应用与测试,体现出本系统具备高效完成电力巡检鸟窝检测作业的能力。
基于深度神经网络的车型识别设计与实现
这是一篇关于特征金字塔,目标检测,车型识别,特征融合,车辆监控,深度学习的论文, 主要内容为随着目前我国汽车保有量飞速增加,智慧交通系统也日益普及。车型信息作为一种车辆的一种基本属性,对其进行准确的识别和统计对智慧交通系统的建设有着重要意义。本文阐述了车型识别的研究意义和发展现状,概述了深度神经网络的基本理论。简要介绍了硬件识别法和基于计算机视觉识别方法,重点研究了基于计算机视觉的深度神经网络算法,它具有部署成本低,准确率高,学习能力强等优势。对目前已有的分类模型存在分类粒度过大,准确率不高等问题,提出了将整体特征与局部特征相融合的分类模型。研究的数据集主要针对监控摄像头拍摄的车辆前脸图片。为了充分利用车辆前脸图像进行车型识别任务,本文进行了以下工作:1.为了建立适合本文的车型数据库,本文融合了PKU VehicleID,BIT Vehicle以及使用网络爬虫从网上爬取的各类车型图片建立的车型数据集,这保证了本文中采用的数据来源丰富。为了进一步提升较暗图像的对比度,对数据集中亮度低于阈值的图像进行直方图均衡化处理。在最终建立的车型数据库包含了jeep-指南者,宝马-X1,比亚迪F3-2007-2011款等228类车型样本图像共计10432张图像。并针对车辆前脸图片中语义信息较强的部分定义了后视镜,车灯,车牌,车标,前挡风玻璃五个关键部件,并制作了相应的检测数据集。2.针对原版单发多框检测器(Single Shot MultiBox Detector,SSD)模型对网络各层次特征图利用不充分的问题,导致其在对较小目标进行检测时准确度不高的问题,提出了一种改进的基于SSD网络的车脸关键部件检测模型。该模型利用了特征金字塔网络(Feature Pyramid Networks,FPN)作为基底网络提取特征图,较好的融合了神经网络中的底层与高层特征,提升了SSD算法对车辆部件这类较小目标的检测能力,相较于原版SSD模型对车辆部件的检测率提升了5%。3.对目前常用的图像分类网络进行分析,例如AlexNet,VGGNet,ResNet。并用他们以及传统图像分类方法在本文中的数据集中进行训练测试。实验结果表明,基于深度神经网络的方法准确率远远优于传统图像分类算法,ResNet的分类准确度最高,达到86.8%。并在此基础上分析了AlexNet准确率较低的原因,并作出改进后,在车型分类任务上的准确率提升5.1%。接着利用改进后的AlexNet与修改后的LeNet分别在整张车辆图片与关键部件区域进行特征提取,最终形成联合特征。利用生成的联合特征进行分类,最终较之前ResNet的分类准确率提升2%。依据以上对车型识别的研究成果,设计了基于Vue.js和flask开源框架的车型识别平台,利用Caffe开源深度学习库,在Linux环境中对该平台进行了开发,形成了一套界面美观,易用的软件。
采用特征金字塔网络的三维重建技术研究
这是一篇关于特征金字塔,注意力机制,多层U-Net,代价体正则化,多视图立体重建的论文, 主要内容为从图像中进行三维重建一直以来都是一个经典的计算机视觉问题,基于深度像机的三维重建和传统的三维重建都有其优劣势,基于深度相机的三维重建在有遮挡和阴影的情况下重建效果较差,且难以应用在实时场景的三维重建中;传统的三维重建由于在非朗伯体曲面上会受到弱纹理,镜面反射等因素的影响,结果往往也不是很理想。近年来随着深度学习的迅速发展,利用深度学习进行三维重建的研究得到了越来越多人的关注,多视图立体(Multi-view Stereo,MVS)在最近几十年来也已经取得了巨大的成功,并广泛用于各种应用中,例如自动驾驶、机器人导航、遥感和可移动文物等,在创建智慧城市、VR旅游、古建筑遗产保护和机器导航等方面也有着不可忽视的理论研究意义和不可估量的应用价值。本文针对多视图立体(MVS)重建效果整体性不太理想的问题,对多视图立体重建流程中的特征提取模块和代价体正则化模块进行研究,首先利用特征金字塔网络对输入的源图像和参考图像进行深度特征提取,在每一级特征提取模块中均加入注意力层,以捕获深度推理任务的远程依赖关系;然后通过可微分单应性变换构建参考视锥平面的特征量,以用于进行代价体的构建;最后使用多层U-Net网络体系架构对代价体进行正则化操作,通过回归操作并融合参考图像的边缘信息以生成最终的细化深度图。测试是在DTU(Technical University of Denmark)数据集上进行,相较于MVSNet*方法,本文的整体性、准确性指标和完整性指标分别提高了2.9%、5.4%和0.4%,实验结果证明本文提出的网络架构在整体性指标上得到了以MVSNet为止目前最优的结果,完整性和准确性指标均得到较大提升,还得到了更优的3D重建效果图,以此证明了本文方法的有效性。(1)网络以经典的MVSNet模型框架为基础,提出一种结合注意力机制的特征金字塔网络结构用于特征提取模块。该算法同时使用了图像中低层特征丰富的空间位置信息和顶层特征强烈的语义信息,然后再进行横向链接,并通过融合这些不同层次的特征获得了预测结果,预测结果是在每个融合后的特征层上分别实现的,然后在每层预测后均加入注意力层以进行深度推理。(2)在代价体正则化模块,提出一种多层U-Net(即MU-Net)网络,对代价体进行降采样操作,并同时提取不同尺度的上下文信息和邻近像素信息以便于对代价体进行过滤,通过回归操作再同时结合参考图像的边缘信息以生成最终的细化估计深度图。(3)Blended MVS数据集和自采数据集上的可视化结果证明了本文网络的泛化能力。
电力巡检中无人机航拍图片的鸟窝检测方法研究及应用
这是一篇关于电力巡检,鸟窝目标,目标检测,特征金字塔,注意力机制,智能检测系统的论文, 主要内容为电力系统的稳定运转是确保国家正常运作的必要条件,电力巡检则承担着保障电力系统正常工作的重要任务。将目标检测算法应用于电力巡检任务中,实现智能巡检,可以显著提高巡检效率。本文以电力巡检中鸟窝检测作业为背景,采用基于深度学习的目标检测算法,对无人机航拍电力铁塔图片中鸟窝目标检测方法展开研究,并设计与开发了电力巡检鸟窝智能检测系统,相关工作内容如下:第一,电力线路及其相关设施属于国家能源基础资源,难以从互联网中获取到足够的无人机巡检数据,为了顺利的开展相关算法研究,本文自制了电力巡检鸟窝目标数据集。首先通过无人机巡航电力线路采集数据,筛选出其中带有鸟窝目标的图片,通过数据增强算法扩充数据集,并完成图像标注操作,最终构建了包含4100余张图片的电力巡检鸟窝目标数据集。第二,针对无人机航拍获取的数据中存在待检测目标的尺寸较小、纹理特征与自然背景相似和局部被塔身遮挡的问题,本文基于现有目标检测算法中性能较好的Sparse R-CNN算法进行研究,提出了基于低尺度特征融合的航拍图片鸟窝检测算法L-FPNet。设计了“ex-grid”提案框初始化方法,提高定位精度;将原始网络动态实例交互头的Re LU激活函数替换为Si LU函数,使网络模型具有更强的收敛能力;设计了融合低层特征的特征金字塔网络“L-FPN”,提高特征图的纹理、位置信息丰富度。实验结果表明,L-FPNet在航拍图片鸟窝检测作业中表现出较高的检测精度。第三,为了实现智能巡检,需要一种模型轻量、易于集成部署的算法,同时该算法应具有较高的检测精度和较快的检测速度。针对上述问题,提出了融合全局注意力的航拍图片鸟窝检测算法GA-YOLOv5。该算法以网络模型较为轻量、检测速度较快的YOLOv5算法为基础,引入K-means++锚框聚类算法,提高目标定位精度;在网络的Neck层融合GAM全局注意力机制,放大全局维度交互特征,减少信息损失,提高了网络模型的预测分类精度。经实验表明,GA-YOLOv5与目前较为先进的算法相对比,在航拍图片鸟窝检测作业中表现出较好的检测性能,且训练生成的权重预测文件较小,易于在软件系统中集成调用。第四,设计与开发了电力巡检鸟窝智能检测系统,实现了鸟窝智能检测、结果展示和生成检测报告等功能,并将该系统集成于具有图形计算能力的轻便式一体机中,经实际场景应用与测试,体现出本系统具备高效完成电力巡检鸟窝检测作业的能力。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设工厂 ,原文地址:https://bishedaima.com/lunwen/48093.html