自动驾驶环境感知中的多目标分割算法研究
这是一篇关于自动驾驶,环境感知,深度学习,语义分割,实例分割的论文, 主要内容为环境感知是自动驾驶中要解决的重要问题之一,基于视觉的环境感知技术已经在自动驾驶领域得到了广泛的应用,其主要应用目标检测与分割等算法对车辆周围的场景信息感知理解。传统目标检测与分割算法因其需要人工设计特征,导致准确率较低且步骤繁杂,而基于深度学习的图像检测与分割算法在自动驾驶环境感知领域能完美的解决以上问题。因此,本文基于语义分割算法与实例分割算法,研究复杂交通场景中的多目标检测与分割,以提高自动驾驶中环境感知技术的准确率,主要研究内容如下:(1)提出了一种用于常规道路自动驾驶环境感知的轻量型多目标语义分割算法M2-PSPNet。算法以PSPNet(Pyramid Scene Parsing Network)语义分割模型为基础,替换主干网络为更轻量化的Mobile Net V2并对其进行重构,在减少模型参数量的同时扩大感受野以捕捉更全面得上下文信息。采用双线性插值(Bilinear Interpolation)与转置卷积组合的上采样方式对金字塔池化模块(Pyramid Pooling Module,PPM)进行改进,以使得输出的特征图保留更多的空间特征信息。最后引入Focal Loss函数作为模型的分类损失函数,有效优化由数据集样本不平衡导致的目标识别准确率低的问题。经实验分析,本文所提出的模型表现出良好的性能,在City Scapes数据集上的MIo U达73.58%,MPA可达86.23%,相较于原PSPNet模型分别提高了3.43%、1.92%。在实验平台上检测速度为每秒82帧。(2)提出了基于改进Mask R-CNN的自动驾驶环境感知多目标检测与实例分割模型,对Mask R-CNN算法进行改进以适用于更复杂的交通场景中。首先,将Res Net主干网络替换为特征提取能力更强的Res Ne Xt网络,并在特征金字塔结构(Feature Pyramid Network,FPN)的基础上添加自底向上的路径增强策略来实现特征融合;其次,在网络中融入高效通道注意力模块(Effificient Channel Attention,ECA)来优化高层低分辨率语义信息图,并将边框损失函数smooth L1 Loss替换为CIo U Loss以加快模型收敛速度,最小化网络误差。实验结果表明,改进的Mask R-CNN算法在公开的City Scapes自动驾驶数据集上的目标检测m AP为62.62%,分割精度m AP为57.58%,相较于原Mask R-CNN算法分别提升了4.73%与3.96%。
基于Transformer的奶山羊图像实例分割方法研究与实现
这是一篇关于实例分割,Transformer,注意力机制,奶山羊的论文, 主要内容为图像分割质量的优劣对于畜禽图像的分析和理解起着决定性作用。通过高质量的奶山羊图像实例分割,能够实现奶山羊图像信息的精准监测,促进奶山羊养殖业的精准化和智能化发展。本文以西北农林科技大学畜牧教学试验基地采集的奶山羊图像为研究对象,实现了基于Transformer的奶山羊图像实例分割。本文的主要研究内容与结论有:(1)奶山羊图像实例分割数据集的构建。针对目前网络上缺乏易于获取的奶山羊图像公共数据集的问题,在奶山羊养殖场采集不同时间段内奶山羊活动的监控视频。采集完成后,使用FFmpeg软件提取视频关键帧并进行预处理,获得质量较高且尺寸统一的奶山羊图像。然后使用Label Me软件对图像进行标注,并采用几何变换和颜色变换两类增强方法扩增数据,最终获得一套高质量奶山羊图像实例分割数据集。(2)基于Transformer的奶山羊图像实例分割。以DETR为基本框架,提出一种基于Transformer查询向量的实例分割方法,将目标对象的类别、位置和掩码以查询向量统一表示,从而能够同时进行分类、边界框回归和掩码预测任务。由此构建一种统一查询表示模块,用以取代DETR网络结构中的预测头部分,实现端到端的奶山羊图像实例分割。(3)基于可变形注意力的Transformer模块改进。针对Transformer在处理图像数据时计算复杂度高、训练耗时、无法充分利用特征信息的问题,提出一种可变形注意力机制,以提升Transformer的计算效率。此外,引入多尺度特征构建多尺度可变形注意力模块,同时将主干网络替换为Res2Net,两者共同改善网络的多尺度特征提取能力,从而提升奶山羊图像实例分割的准确性。经实验表明,本方法的平均分割精度达到69.20%,具有较好的分割性能。(4)奶山羊图像实例分割系统的设计与实现。为方便奶山羊图像监测技术的改进研究等下游任务和奶山羊精准养殖的实践,本文在先前研究成果的基础上,设计并实现了一种基于B/S架构的奶山羊图像实例分割系统。经过测试证明,系统的各项指标均符合需求分析中的要求,运行稳定且分割效果良好,具备一定的实用价值。
基于深度学习的商品图像精细化分割算法研究
这是一篇关于深度学习,商品图像分割,实例分割,主动学习,抠图的论文, 主要内容为近年来,深度学习图像分割算法和抠图算法已经得到了深入的研究。然而,在电商场景下,商品图像的分割需求依然无法得到满足。究其原因,一方面,业内没有专门用于商品图像分割的数据集。由于商品种类繁多,现有分割数据集的规模远无法覆盖1万多类目的商品。另一方面,业内缺少专门用于商品图像分割的算法,现有分割算法无法满足商品图像精细化分割的需求。在实际生产环境中,商品图像分割算法面临以下挑战:(1)分割的精细化程度要求极高,分割结果的边缘不容许存在细微破损。现有分割算法在处理高光、透明材质、毛发等物品上的精准度无法满足商品图像分割的需求。(2)需解决非主体物易被误检测问题。商品图像分割任务需要在语义上区分当前关注商品、搭配物品、赠品,并提取特定商品主体。因此,设计一个适用于全类目的全自动商品精细化分割算法是相关工作中亟须解决的问题。首先,本文提出了基于前景蒙版生成的样本构造方法和基于主动学习的困难样本挖掘方法。要支持全部品类商品图像的精细化分割,难点在于构造覆盖1万多种类商品的样本数据。本文设计了商品主体对齐算法来生成复杂背景图像的前景蒙版数据,并通过算法模型来筛选出高质量的蒙版数据,有效提升了样板构造的效率,快速完成了大规模商品分割数据集的构建。针对样本空间和实际生产中待分割商品图像数据空间不一致的问题,本文提出通过主动学习挖掘高价值困难样本,对抠图数据集进行扩充完善。最终完成200多万样本数据的构造,有效覆盖1万多品类的商品。通过对比实验,未使用对齐数据和主动学习数据的分割结果m IOU为84.2%,而使用了对齐数据和主动学习数据的分割结果m IOU为98.5%,模型指标提升17%,有效提升了精细化分割的成功率。其次,本文提出了适用于全类目商品图像的精细化分割网络。同时,为了进一步提升精细化分割的精准度,本文提出并设计了双层实例特征金字塔网络,有效解决商品主体边缘破损的问题。整体网络分为两个阶段:(1)商品主体分割阶段。针对商品主体破损的问题,本文在商品主体检测模块中引入了基于置信度的均衡采样,并采用了基于BIOU的边界框损失,有效提升了商品主体的完整召回率,商品主体的完整召回率由70%提升至98.5%。针对抠图结果中细节被丢失的问题,本文创新性地提出实例金字塔结构,有效提升分割精度,使得模型的m IOU指标从89.4%提升至97.7%。针对抠图审核成本高的问题,本文提出了蒙版判别网络,对抠图结果进行自动筛选,同时通过对抗训练使得分割网络和判别网络获得一定增益,使得网络m IOU指标进一步提升至98.5%。(2)精细化抠图网络融合阶段。通过分割任务得到精细化的三分图,进入到抠图融合网络,将原图、三分图和分割阶段输出的特征作为抠图融合网络的输入,进行迭代细化,最终得到精细化的商品图像分割结果。最终,我们提出的方法,在无需三分图的情况下,在商品抠图数据集上超过了现有的Deep Image Matting和SHM抠图算法,取得了当前最优结果。在实际生产中,本文所提出的方法日均处理商品图像200万张以上,满足了电商平台大规模商品图像精细化分割的需求,提升了商家商品发布的效率。
基于无人机航拍输电线路的弧垂测量研究
这是一篇关于无人机航拍,深度学习,实例分割,弧垂测量,注意力机制的论文, 主要内容为弧垂是输电线路设计、运行及维护中的重要指标之一,反映了架空线路的松紧程度。弧垂过大,将导致线路对地安全距离不足,易引发触电事故;弧垂过小,将导致导线内部产生较大的应力,易引发导线断裂和杆塔倒塌事故。由于线路老化、运行负荷以及输电通道环境变化均能造成弧垂变化,因此需要进行定期的弧垂测量。目前的弧垂测量方法主要基于安装弧垂监测装置或是基于机载点云三维重建输电线来测量弧垂值。这些方法无一例外成本昂贵,性价比较低,无法应用于大范围的周期性电力快速巡检。鉴于此,本研究提出一种基于无人机航拍输电线路的弧垂测量方法,该方法采用廉价的小型无人机采集输电线路视频数据,基于该数据利用深度学习算法结合光束法平差、空间前方交会等经典摄影测量算法实现输电线的模型重建并测量弧垂参数值。本文的主要研究内容如下:1)实例分割算法改进。本文引入深度学习经典算法Mask-RCNN,基于该模型融合Coordinate Attention Block注意力机制与Multi-Head Self-Attention注意力机制得到改进模型CM-Mask-RCNN。该模型较Mask-RCNN相比有更强的目标聚焦能力,对小目标的分割性能更强。通过实验验证,CM-Mask-RCNN在自建的间隔棒数据集上AP指标达到了73.40%左右,优于Yolact++、U-Net与Mask-RCNN等经典算法。在消融实验中也验证了CAB注意力机制与MHSA的组合使用的有效性。2)输电线路间隔棒与电力线的智能提取。基于本文提出的实例分割改进算法CM-Mask-RCNN初步提取间隔棒与电力线,通过连通域分组拟合算法对电力线提取结果中存在的断裂、误检等问题进一步处理,最后利用电力线与间隔棒的联合特征剔除误检的间隔棒目标。3)输电线路弧垂测量方法。基于CM-Mask-RCNN算法自动提取间隔棒并计算中心坐标,结合光束法平差、空间前方交会等算法恢复间隔棒中心三维信息,最后利用间隔棒中心三维坐标点作为输电线中特征点建立输电线模型并测量弧垂值。选择10个不同输电线档距进行弧垂测量实验,测量结果中除了一组数据误差偏大,其他组误差率均在±2.5%以内,满足工程需求,证明了本文提出的无人机航拍输电线路的弧垂测量方法的有效性。该论文有图35幅,表8个,参考文献98篇。
基于无人机航拍输电线路的弧垂测量研究
这是一篇关于无人机航拍,深度学习,实例分割,弧垂测量,注意力机制的论文, 主要内容为弧垂是输电线路设计、运行及维护中的重要指标之一,反映了架空线路的松紧程度。弧垂过大,将导致线路对地安全距离不足,易引发触电事故;弧垂过小,将导致导线内部产生较大的应力,易引发导线断裂和杆塔倒塌事故。由于线路老化、运行负荷以及输电通道环境变化均能造成弧垂变化,因此需要进行定期的弧垂测量。目前的弧垂测量方法主要基于安装弧垂监测装置或是基于机载点云三维重建输电线来测量弧垂值。这些方法无一例外成本昂贵,性价比较低,无法应用于大范围的周期性电力快速巡检。鉴于此,本研究提出一种基于无人机航拍输电线路的弧垂测量方法,该方法采用廉价的小型无人机采集输电线路视频数据,基于该数据利用深度学习算法结合光束法平差、空间前方交会等经典摄影测量算法实现输电线的模型重建并测量弧垂参数值。本文的主要研究内容如下:1)实例分割算法改进。本文引入深度学习经典算法Mask-RCNN,基于该模型融合Coordinate Attention Block注意力机制与Multi-Head Self-Attention注意力机制得到改进模型CM-Mask-RCNN。该模型较Mask-RCNN相比有更强的目标聚焦能力,对小目标的分割性能更强。通过实验验证,CM-Mask-RCNN在自建的间隔棒数据集上AP指标达到了73.40%左右,优于Yolact++、U-Net与Mask-RCNN等经典算法。在消融实验中也验证了CAB注意力机制与MHSA的组合使用的有效性。2)输电线路间隔棒与电力线的智能提取。基于本文提出的实例分割改进算法CM-Mask-RCNN初步提取间隔棒与电力线,通过连通域分组拟合算法对电力线提取结果中存在的断裂、误检等问题进一步处理,最后利用电力线与间隔棒的联合特征剔除误检的间隔棒目标。3)输电线路弧垂测量方法。基于CM-Mask-RCNN算法自动提取间隔棒并计算中心坐标,结合光束法平差、空间前方交会等算法恢复间隔棒中心三维信息,最后利用间隔棒中心三维坐标点作为输电线中特征点建立输电线模型并测量弧垂值。选择10个不同输电线档距进行弧垂测量实验,测量结果中除了一组数据误差偏大,其他组误差率均在±2.5%以内,满足工程需求,证明了本文提出的无人机航拍输电线路的弧垂测量方法的有效性。该论文有图35幅,表8个,参考文献98篇。
基于视觉的单件分离系统设计与实现
这是一篇关于工业自动化,单件分离系统,实例分割,TensorRT,AGX-Xavier的论文, 主要内容为随着我国电商产业的迅猛发展,网络购物逐渐成为人们主要的购物方式。面对每天数以亿计的快递订单,如何提高快递包裹分拣与配送的效率,成为所有快递物流公司亟待解决的问题。本文聚焦全自动化快递包裹分拣生产线上的包裹单件分离问题,设计并实现了一种基于视觉的单件分离系统;设计并实现了两种快递包裹分割算法,有效地解决了快递包裹难以分割的问题;优化了快递包裹分割算法的推理方案,使该系统成功地部署在嵌入式开发板中。本文的主要工作包括:1.设计并实现了一种基于视觉的单件分离系统。对该系统的整体方案进行详细设计,介绍了该系统的各个组成部分及其功能,设计了图像采集、图像预处理、快递包裹分割和分离控制四个软件模块,并设计了界面简洁、操作简单的前端用户界面。该系统已经在某快递公司分拣中心的全自动化快递包裹分拣生产线上使用,其分离区由4×8个长宽分别为500mm和150mm的小型传输带组成,在控制包裹间距为1000mm的条件下,该系统每小时可以分离4500件左右形状和大小各异的包裹,处于行业同类产品的先进水平。2.设计并实现了基于连通区域标记的深度图像快递包裹分割算法和基于YOLACT的RGB图像快递包裹分割算法。从算法的推理时间、检测框的平均精度和分割掩码的平均精度三个方面,在自制的快递包裹数据集上对这两种算法做了对比实验,分析了两种分割算法的适用场景,为实际系统中的应用提供指导和依据。3.设计并实现了一种优化快递包裹分割算法网络模型结构并加速其推理过程的方案。本文使用Tensor RT框架对快递包裹分割算法网络模型结构进行了优化,并使用低精度数据校准其网络模型权重参数以加速网络推理过程。在NVIDIA AGX-Xavier嵌入式开发板上,使用自制的快递包裹数据集对优化前后的网络模型进行评估。未优化的网络模型的分割掩码类别平均精度为88.80 m AP,推理速度为8.93FPS;优化之后的网络模型的分割掩码类别平均精度为88.27 m AP,推理速度为31.57FPS。实验结果表明,该方案可以在网络模型损失较低精度的同时大幅提高其推理速度。本文设计并实现的基于视觉的单件分离系统已经在某快递公司的分拣中心成功应用,该系统提高了快递包裹分拣的自动化和智能化程度,为提高快递包裹的配送效率提供了有效的保障。
基于模型剪枝的轻量化实例分割网络设计
这是一篇关于实例分割,边缘部署,模型剪枝,感知的论文, 主要内容为移动机器人常借助实例分割网络完成对周围环境的感知。然而现有的实例分割网络存在运算量大、实时性差等系列问题,无法在低算力的移动机器人平台上实时运行。本文首先提出了基于网络连接灵敏性的结构化剪枝方法(SPCS)。基于门变量连接灵敏性的神经元重要性评估模型能够更加准确地反应神经元的重要程度,实现高效准确的裁减。设计内循环算法,在动态剪枝过程中将剪除的重要的神经元恢复,减少了误剪除的可能性。同时融合知识迁移算法,将裁剪之前的大型网络习得的信息便捷地转移到裁剪后的结构紧凑的子网络之中,进一步提升剪枝后的网络性能。SPCS方法针对Res Net-101网络,实现削减40%浮点运算量的同时,精度反而拥有0.03%的提升,在解除网络过拟合方面有突出表现,其为大型网络的边缘部署提供了一种高效且通用性强的压缩与加速方法。其次构建高性能的单阶段实例分割网络(MADYNet)。构建基于多通道注意力分散机制的深度残差网络,并将其作为主干网络。采用步长为2的池化层以及步长为1的卷积层组建跨越连接,减少了3/4的空间语义信息损失。预测输出网络由基于FPN的实例掩膜生成网络以及基于双并行卷积网络的预测分类网络构成。所构建的单阶段实例分割网络在1080Ti硬件平台上实现了18.4的运行帧率,同时实现了33.36的分割精度,对比与YOLACT网络有51%的精度提升。最后运用SPCS算法对单阶段实例分割网络进行进一步的加速处理,并在移动平台进行部署测试其运行帧率及分割精度。本文所构建的轻量化网络MADYNet(tiny40%),在低算力的移动机器人平台TX2上首次实现了16.67 FPS的运行帧率,同时保留了29.57 m AP的分割精度。同YOLACT相比有304%的速度提升,以及38.4%的精度提升。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工厂 ，原文地址：https://bishedaima.com/lunwen/47734.html
