基于深度学习的三维目标检测方法研究
这是一篇关于三维目标检测,点云,频域图像信号处理,决策级多模态融合的论文, 主要内容为三维目标检测作为自动驾驶、智能安防、夜间辅助驾驶等领域的基础任务,可以协助机器人、电动汽车等人工智能产品更好地了解周边自然环境,为它们带来更加准确的决策依据。传统的三维目标检测算法依靠人为手动设计提取特征的方法,检测精度较低且适用范围存在局限性,而深度学习技术的快速发展为三维目标检测提供了全新的研究思路和方向,基于多模态的三维目标检测算法能够提取到更具有鲁棒性的特征,整体检测水平得到了极大的提升。本文面向点云和RGB图像开展基于深度学习的三维目标检测方法的改进与优化研究,对于提高三维目标检测精度和模型泛化能力具有积极的意义。具体研究工作如下:(1)针对RGB图像以及点云数据中地面的信噪比低、点云本身特有的稀疏性问题,研究了相关的图像和点云去噪以及点云补全算法,首先利用滤波算法对RGB图像以及点云数据进行去噪预处理,其次提出一种两阶段式的点云RGB序列融合算法(DBRF)对点云进行细粒度补全,最后采用不同的语义分割网络策略,证明了其分割分数向量有效提高三维目标检测精度。(2)针对现有的三维目标检测方法只考虑了卷积和池化等高频信息提取以及忽略了其他频率特征和结构化关系的现象,如何有效采用点柱间的多频率信息是提升三维目标检测性能的关键,因此提出了将多频率协作网络(MFC)用于三维目标检测任务。首先,基于离散余弦变换的多频率特征聚合子模块通过细化不同频率特征图,以解决密集型多目标检测问题。其次,引入基于可学习变量符的频率响应子模块,从多频率中选择响应较好的频率,提高检测目标的重要特征,并抑制周围环境的干扰。最后,提出了一个单阶段三维目标检测算法DPRF-MFC,通过嵌入MFC进行三维目标检测。(3)在以上研究的基础上,提出了一种基于决策级融合的多模态3D目标检测算法,将RGB图像与LIDAR点云进行融合可以实现不同模态信息互补,首先,针对点云和RGB图像数据特性造成精确度提升局限性的问题,考虑对点云与RGB图像进行融合检测研究,故采用晚期融合中决策级的融合方式,提出采用基于决策级融合的3D目标检测算法。其次,针对决策级融合的策略需要输入的2D和3D目标检测器跳过NMS阶段以获得大量的检测框的情况,引入Res2Net改进特征提取网络,在检测网络获得多尺度特征学习能力时并降低阈值,增强检测网络的召回率。最后,针对基于几何性一致的方法中采用Io U只考虑了2D和3D检测框的重叠面积这一判断条件,当3D检测网络召回率高时,存在投影至图像平面时出现偏差现象,对基于几何一致性的Io U进行改进,进而采用CIo U作为判断正样本依据,将其作为进一步判断检测框真阳性标准。本文实验表明:改进的三维目标检测算法在KITTI数据集中有效提高Car、Pedestrian和Cyclist三个类别目标的全部场景下的3D检测精度;将点云和RGB图像进行决策级融合后在检测精度上进一步得到了提升。
基于三维点云的轨道扣件关键几何参数测量技术研究
这是一篇关于一枕一档,点云,PointNet,部件分割,关键几何参数的论文, 主要内容为中国铁路技术经过多年的快速发展,整体技术状态已处于国际领先水平,铁路维修也改变了粗放、原始的管理模式,数字化、信息化和综合维修生产的一体化的趋势日益明显。为了更好地科学配置资源、实施精准作业,实现轨枕相关工作的精细化管理,研发和建立“一枕一档信息库”也开始受到行业的重视,哈尔滨铁路局率先提出为每一轨枕的状态信息、生命周期、超限问题、病害数据、养修过程、成本消耗等建档立卡,实施数字台账管理,以方便轨枕信息的维护与跟踪,其中一类重要的科目是轨道扣件类型、规格等关键几何参数尺寸。“一枕一档信息库”能够显著改善轨道几何状态检测和平顺性控制的作业模式,改变目前只能提供扣件调整量而不能直接给出待更换扣件的规格参数的局面,从而方便备料、减少现场作业的换算工作量和降低差错率、提高作业效率。但是,由于在铁路建设及运营过程中,铁路部门没有可信赖的相关统计资料,也缺乏数字化的自动检测手段,建档初期的信息采集和未来轨枕档案的持续维护都需要人工逐枕检查和手工录入,这将是一项工作量巨大的任务,成为推进“一枕一档信息库”研究与应用的巨大障碍。本文采用线激光轮廓传感器,以轨道检查仪为平台开发了一套轨道扣件关键几何参数测量系统,能快速获取轨道扣件的类型与关键几何参数的尺寸。考虑到扣件种类繁多,为了更加专注于基础技术与算法的研究和实验,选择了国内最常用的三种扣件即WJ-8、WJ-7、福斯罗300-1型扣件作为研究和实验测试对象。在分析和研究基于线激光轮廓传感器的非接触测量方法适用性的基础上,提出了轨道扣件关键几何参数测量系统总体方案,完成了三维线激光传感器扫描装置的设计与制作,包括测量系统的总体结构、线激光轮廓传感器型号选择、机械结构设计、测量系统硬件设计、数据采集与处理和分析、测量系统应用软件及其界面设计等。该系统能够与轨道检查仪协同工作,并可方便地进行拆卸和组装。为了全面去除非目标点云干扰,精确提取单个扣件点云,提出了基于扣件高度和基于单帧点云高度最大值的提取方法。分析了Point Net算法,并针对该算法在局部特征提取方面的劣势,提出了将多维特征与Point Net相结合,用于轨道扣件点云分类的方法。为了进行扣件的部件分割,针对传统欧式聚类分割效果不理想的情况,提出了改进的欧式聚类分割算法,具有更好的鲁棒性,可以提高分割结果的准确性。在分析不同类型扣件的结构特征的基础上,提出了轨道扣件关键几何参数测量的方法,并针对该方法的检测精度和效率展开了测试和实验,结果表明,研究成果能够满足预期的测量需要。
基于堆叠宽度学习的三维点云物体识别及其超参数优化研究
这是一篇关于堆叠宽度学习系统,点云,多元自适应回归样条,超参数优化,三维点云物体识别的论文, 主要内容为随着深度学习的不断发展,基于点云和多视角的三维点云识别模型不断被提出,一些研究通过融合点云和多视角数据进行识别,取得了显著成果。现有的方法通过复杂的深度学习结构融合两种模态的数据以学习统一的3D形状描述符,这增加了多模态特征融合的计算复杂性。因此在本文中,一种基于多视图和点云数据融合的三维点云物体识别算法被提出。堆叠宽度学习系统被证明对一维数据有效,因此该算法通过直接将拼接的多模态特征作为堆叠宽度学习系统的输入来快速执行三维点云物体识别。针对堆叠宽度学习系统超参数的设置问题,本文提出了一种参数区间自适应调整的基于多元自适应回归样条的超参数优化算法,该算法可以确定堆叠宽度学习系统中宽度学习块的最优超参数。本文的主要贡献如下:1、提出了一种基于数据驱动的自适应区间超参数优化算法。针对现有的基于多元自适应回归样条的超参数优化算法的不足,为堆叠宽度学习中的宽度学习块进行自适应区间超参数调优。通过将对超参数优化的昂贵黑盒函数优化问题的求解转化为对多元自适应回归样条回归模型的求解,减少进化算法的计算资源的消耗。为了验证算法的有效性,本文在NORB分类数据集和10个UCI回归数据集上与现有的算法比较。实验证明,该算法能取得更优的超参数。2、提出了一种基于多视图和点云数据的三维点云物体识别算法。首先,用Res Net提取多视图分支的多视图特征,然后与Point MLP提取的点云特征进行融合,最后输入到堆叠宽度学习系统之中。为了验证该算法的有效性,在公共点云数据集Model Net40和Scan Object NN上与最先进的方法进行比较。PVSBLS在Model Net40测试集上达到了95.5%的准确率,超越了已有的算法。PVSBLS在Scan Object NN测试集上达到了87.0%的准确率,在Point MLP准确率的基础上提升了1.6%。在最后与现有的基于多视图和点云数据的方法在时间效率上进行对比,实验证明本文提出的方法能有效的增加训练效率。3、本文基于三维点云物体识别的算法研究,开发了基于多视图数据和点云数据的物体识别系统。该系统采用了开源编程库Point Cloud Library(PCL)和C++图形用户界面库QT进行开发,实现了点云数据的读取与可视化、点云去噪、多视图生成和三维点云物体识别等功能。通过该系统,开发人员可以对三维点云物体识别进行相关研究工作,并使用其提供的基础测试工具对相关技术进行验证和优化。
矿用电机车无人驾驶环境感知系统研究
这是一篇关于矿用电机车,环境感知,点云,障碍物检测,目标跟踪的论文, 主要内容为煤矿行业和国家能源安全息息相关,国家开始大力推进煤矿智能化建设。煤矿辅助运输向无人化、智能化方向发展的时代已到来。无人化煤矿辅助运输电机车可以更加安全高效的运输物料和人员,电机车环境感知系统对周围环境进行实时感知和分析,以识别出道路、障碍物、行人等各种元素的位置和状态。作为电机车无人驾驶的重要组成部分,稳定、可靠的环境感知系统是电机车无人驾驶技术实现的重要保障。针对上述情况,本论文设计矿用电机车环境感知系统,主要的研究内容如下:(1)研究激光雷达和相机进行联合标定和数据融合方法,目的是提高激光雷达和相机数据的准确性和一致性,从而提供更精确的三维环境感知信息。首先利用相机参数和角点点对来实现传感器空间的联合标定,并使用时间戳数据帧来同步数据。然后将三维空间点云数据投影到二维空间下,建立二维空间点和相机像素坐标的对应关系。(2)研究障碍物的检测方法。首先对激光雷达获取的数据进行预处理,包括点云去畸变和去噪点,利用极坐标栅格算法对激光雷达点云进行地面分割。随后利用图像和点云信息融合的方法,对地面上的点云提取铁轨信息,通过铁轨过滤井巷直道以及弯道的两边侧壁点云,确定行驶区域。采用优化后的密度间距的动态阈值欧式聚类算法对障碍物点云聚类,并用最小包围盒框选出来,进而获得障碍物的几何特征和位置坐标。(3)研究基于障碍物检测的目标追踪算法。介绍JPDAF(Joint Probabilistic Data Association Filter)算法工作原理,通过数据关联和状态估计相结合的方法对障碍物进行追踪。针对原算法的不足,筛选掉关联概率小的互联事件并重构确认矩阵来提高算法的实时性;通过加入遗忘因子,使滤波器具有更好的自适应性能。设计符合场景的跟踪管理器方案,实时维护更新目标状态。(4)使用真实环境数据集,对所提出的方法进行实验验证。实验数据集是基于电机车实验平台在学校矿井实验环境中采集的数据,在实验中,对点云进行聚类分割算法验证,采用所研究算法对障碍物进行检测和跟踪实验。对比分析所得到的实验效果,验证其在实际应用中的可行性和有效性。
基于点云的场景流预测模型研究
这是一篇关于点云,场景流,Transformer,半监督的论文, 主要内容为场景流是描述三维空间运动的矢量场,快速准确地估计场景流可以刻画连续场景中的运动信息,因此受到自动驾驶、动作识别等领域的广泛关注。目前,基于点云的场景流估计网络主要存在两个问题:1)现有网络普遍采用的点云特征提取结构缺少适用于场景流估计的点云特征,导致网络特征表达能力不足的问题。2)真实场景的有标签数据稀缺,现有场景流估计网络训练数据均来自合成数据集。这导致现有网络在真实场景下预测精度普遍降低的问题。针对网络特征表达能力不足的问题,本文提出了基于Transformer的多粒度特征提取场景流估计网络。场景流估计任务是时序的点云配准问题,需要大量的全局信息。由于大量网络在原尺度点云空间采用类Point Net++结构,导致匹配信息中缺少全局信息,限制了网络性能的表达。因此本文提出新的基于Transformer的网络框架,通过结合类Point Net++和Transformer的新的编码结合模式,将局部特征和全局特征相结合,生成更适用于匹配任务的新特征。通过多粒度特征构建更精确的相关矩阵,并基于相关矩阵通过体素搜索和点搜索迭代估计场景流。大量实验表明,该网络在Flyingthings3D和KITTI上能有效地估计高精度场景流,并在真实场景下的精度上有11.7~13.6%的提升。对于真实场景有标签数据不足导致真实场景预测精度降低的问题,本文提出了基于双学生网络的半监督场景流估计网络。网络通过结构相同初始化不同的场景流估计网络,构建了基于不同特征空间的双学生网络。随后通过本文提出的缺陷评估网络结构对双学生网络的缺陷值评估,生成了精度较高的基于真实场景的伪标签,弥补了有标签数据不足的问题。大量试验结果表明本文提出策略提高了场景流估计网络在真实场景中的预测精度,其远高于在合成数据集上训练,真实数据集微调的训练结果。
基于堆叠宽度学习的三维点云物体识别及其超参数优化研究
这是一篇关于堆叠宽度学习系统,点云,多元自适应回归样条,超参数优化,三维点云物体识别的论文, 主要内容为随着深度学习的不断发展,基于点云和多视角的三维点云识别模型不断被提出,一些研究通过融合点云和多视角数据进行识别,取得了显著成果。现有的方法通过复杂的深度学习结构融合两种模态的数据以学习统一的3D形状描述符,这增加了多模态特征融合的计算复杂性。因此在本文中,一种基于多视图和点云数据融合的三维点云物体识别算法被提出。堆叠宽度学习系统被证明对一维数据有效,因此该算法通过直接将拼接的多模态特征作为堆叠宽度学习系统的输入来快速执行三维点云物体识别。针对堆叠宽度学习系统超参数的设置问题,本文提出了一种参数区间自适应调整的基于多元自适应回归样条的超参数优化算法,该算法可以确定堆叠宽度学习系统中宽度学习块的最优超参数。本文的主要贡献如下:1、提出了一种基于数据驱动的自适应区间超参数优化算法。针对现有的基于多元自适应回归样条的超参数优化算法的不足,为堆叠宽度学习中的宽度学习块进行自适应区间超参数调优。通过将对超参数优化的昂贵黑盒函数优化问题的求解转化为对多元自适应回归样条回归模型的求解,减少进化算法的计算资源的消耗。为了验证算法的有效性,本文在NORB分类数据集和10个UCI回归数据集上与现有的算法比较。实验证明,该算法能取得更优的超参数。2、提出了一种基于多视图和点云数据的三维点云物体识别算法。首先,用Res Net提取多视图分支的多视图特征,然后与Point MLP提取的点云特征进行融合,最后输入到堆叠宽度学习系统之中。为了验证该算法的有效性,在公共点云数据集Model Net40和Scan Object NN上与最先进的方法进行比较。PVSBLS在Model Net40测试集上达到了95.5%的准确率,超越了已有的算法。PVSBLS在Scan Object NN测试集上达到了87.0%的准确率,在Point MLP准确率的基础上提升了1.6%。在最后与现有的基于多视图和点云数据的方法在时间效率上进行对比,实验证明本文提出的方法能有效的增加训练效率。3、本文基于三维点云物体识别的算法研究,开发了基于多视图数据和点云数据的物体识别系统。该系统采用了开源编程库Point Cloud Library(PCL)和C++图形用户界面库QT进行开发,实现了点云数据的读取与可视化、点云去噪、多视图生成和三维点云物体识别等功能。通过该系统,开发人员可以对三维点云物体识别进行相关研究工作,并使用其提供的基础测试工具对相关技术进行验证和优化。
矿用电机车无人驾驶环境感知系统研究
这是一篇关于矿用电机车,环境感知,点云,障碍物检测,目标跟踪的论文, 主要内容为煤矿行业和国家能源安全息息相关,国家开始大力推进煤矿智能化建设。煤矿辅助运输向无人化、智能化方向发展的时代已到来。无人化煤矿辅助运输电机车可以更加安全高效的运输物料和人员,电机车环境感知系统对周围环境进行实时感知和分析,以识别出道路、障碍物、行人等各种元素的位置和状态。作为电机车无人驾驶的重要组成部分,稳定、可靠的环境感知系统是电机车无人驾驶技术实现的重要保障。针对上述情况,本论文设计矿用电机车环境感知系统,主要的研究内容如下:(1)研究激光雷达和相机进行联合标定和数据融合方法,目的是提高激光雷达和相机数据的准确性和一致性,从而提供更精确的三维环境感知信息。首先利用相机参数和角点点对来实现传感器空间的联合标定,并使用时间戳数据帧来同步数据。然后将三维空间点云数据投影到二维空间下,建立二维空间点和相机像素坐标的对应关系。(2)研究障碍物的检测方法。首先对激光雷达获取的数据进行预处理,包括点云去畸变和去噪点,利用极坐标栅格算法对激光雷达点云进行地面分割。随后利用图像和点云信息融合的方法,对地面上的点云提取铁轨信息,通过铁轨过滤井巷直道以及弯道的两边侧壁点云,确定行驶区域。采用优化后的密度间距的动态阈值欧式聚类算法对障碍物点云聚类,并用最小包围盒框选出来,进而获得障碍物的几何特征和位置坐标。(3)研究基于障碍物检测的目标追踪算法。介绍JPDAF(Joint Probabilistic Data Association Filter)算法工作原理,通过数据关联和状态估计相结合的方法对障碍物进行追踪。针对原算法的不足,筛选掉关联概率小的互联事件并重构确认矩阵来提高算法的实时性;通过加入遗忘因子,使滤波器具有更好的自适应性能。设计符合场景的跟踪管理器方案,实时维护更新目标状态。(4)使用真实环境数据集,对所提出的方法进行实验验证。实验数据集是基于电机车实验平台在学校矿井实验环境中采集的数据,在实验中,对点云进行聚类分割算法验证,采用所研究算法对障碍物进行检测和跟踪实验。对比分析所得到的实验效果,验证其在实际应用中的可行性和有效性。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码工坊 ,原文地址:https://bishedaima.com/lunwen/47941.html