融合注意力机制的多尺度特征点云补全方法
这是一篇关于三维点云,深度学习,点云补全,多尺度特征,残差网络,注意力机制的论文, 主要内容为由于传感器限制、自身遮挡等原因导致采集的三维点云数据变得稀疏或者残缺,进而影响点云后续研究任务,因此,将扫描的点云数据补全完整是至关重要的。随着人工智能技术的不断发展,人们开始采用基于深度学习的方法完成点云补全任务,然而,现有点云补全方法只聚焦于原始点云的全局特征而忽略空间几何结构特征,针对这一问题,提出一种融合注意力机制的多尺度特征点云补全方法。首先,为关注更具代表性的特征点,利用迭代下采样方法获取三种不同分辨率点云;其次,针对主流补全方法缺乏点云空间几何结构信息问题,采用级联方式递进融合不同方法提取的全局特征和空间几何结构特征,形成特征向量并输入全连接网络,实现粗点云的预测;再次,为过滤无效特征,提高点云补全质量,将拼接后的原始点云和粗点云送入精细重构单元细化,再在细化过程融合注意力机制的同时采用残差网络的连接方式进行由粗略到精细的补全;最后,通过计算粗点云、稠密点云与真实点云之间的联合损失函数以优化补全模型。在Shape Net数据集和KITTI数据集上与5种方法进行比较,使用倒角距离(Chamfer distance,CD)、F分数(F-Score)、搬土距离(Earth Mover’s Distance,EMD)和一致性(Consistency)作为评价指标。在Shape Net数据集上,所提方法的CD平均值降低了6.4%,EMD平均值降低了8.6%,F-Score平均值提高了8.5%;在KITTI数据集上,所提方法的Consistency平均值提高了4.4%。实验证明,提出的方法对残缺点云具有更好的补全效果,同时也体现其具有泛化能力。该论文有图39幅,表7个,参考文献57篇。
融合双注意力机制和残差边卷积的多模态点云补全方法研究
这是一篇关于点云补全,注意力机制,多模态,深度学习的论文, 主要内容为三维物体的数字化表现形式一般有点云、体素、网格等,其中点云由于其保留原始采集数据且方便存储和使用,是使用最广泛的三维物体的数字表现形式。现实中由于遮挡、光照、设备等问题容易导致采集到的三维点云数据存在较大缺陷和不完整,随着三维计算机视觉的发展,针对缺失点云的补全工作已经成为虚拟现实、数字孪生、智慧城市的基础核心工作。点云补全任务从输入的残缺、低分辨率点云开始,通过贴合三维点云特点的方法提取点云数据的特征,预测缺失的点云,从而形成完整的、高分辨率的点云。该任务对于虚拟现实、自动驾驶等领域的发展有巨大的推动作用。目前点云补全方法主要是使用深度学习的方法,包括大部分基于点云的方法和小部分基于体素的方法,然而现有的工作大都不能很好地还原三维物体的细节特征。本文提出了一种端到端的三维点云补全网络模型,该模型得益于双注意力机制和动态图卷积神经网络,对于三维点云的局部细节恢复得较好。另外,针对三维点云往往存在较高缺失率、特征信息不足,本文还尝试了将图像信息作为点云信息的补充,并由此提出了一种基于多模态信息融合的点云补全方法,具体而言,本文的工作分为以下两个部分:(1)设计了一个融合双注意力机制和动态图卷积神经网络的点云补全模型。该模型首先通过残差边卷积块对点云构建边缘特征,然后将中心点和领域点代入计算得到增强后的边缘特征,加强中心点和领域点的关联信息。其次,引入空间注意力机制来加强领域点之间的关系,在提取局部特征时尽可能多保留其他邻域内有用的信息。最后,在聚合局部特征部分引入通道注意力机制,使用最大池化和平均池化相结合的方式取代单一的最大池化,通过给予不同通道不同权重的方式以达到强调有用通道抑制无用通道的目的。解码器部分则是将聚合得到的点云特征在稀疏点云的约束下使用折叠操作解码得到完整点云。本方法在斯坦福大学提供的公开数据集Shape Net数据集的子数据集PCN数据集上的对比实验和消融实验的实验结果表明,这里所提出的融合双注意力机制和残差边卷积的点云补全方法与现有的主流点云补全方法相比,在大部分类别的三维物体上,CD值指标和机器学习指标上都有所提升,这个实验充分证明了本文方法的有效性。(2)针对点云的稀疏性,提出了一个融合图像信息的多模态点云补全模型,该模型首先使用(1)中的编码器提取点云的特征,然后将单视图图像,通过一系列尺度不同的卷积块和反卷积块映射成点云模态得到重构点云,使用重构点云和残缺点云作为生成点云的约束,最后用折叠操作将聚合的点云特征在约束中重新解码得到完整点云。在Shape Net数据集子数据集Shape Net-Vi PC上的消融实验和对比实验证明了本方法所提出的基于点云和单视图模态信息融合的点云补全模型,相比之前基于学习的单一模态点云补全模型,补全效果在结构上更加均匀,在评价指标上更加先进。同时实验结果也证明了用图像信息作为点云信息的补充可以更好地完成点云补全任务;
一种基于点偏移的点云补全神经网络
这是一篇关于3D计算机视觉,深度学习,点云补全,特征提取,多特征融合的论文, 主要内容为如今,点云被广泛应用于3D物体描述,然而,受限于扫描设备和扫描环境的影响,使得通过扫描得到的点云数据存在疏密不均、点云外形缺失的问题,因此点云补全的目的是通过不完整的点云外形推测生成完整点云所具有的外形,这些完整的点云将有助于诸多下游任务例如:3D重建,3D打印,自动驾驶等取得更加优秀的效果。深度学习的不断发展和进步,使其在计算机视觉领域取得了巨大的成功,将深度学习应用于点云数据,成为了实现点云补全的主流方式,然而,大多数基于深度学习的现有点云补全方法不能精准生成缺失部分的结构细节,因此,本文提出了一种基于点偏移的点云补全神经网络(PS-Net)用于生成更加细致的点云外形。本文的主要贡献在三方面:首先,本文提出了一种多分辨率编码器,该编码器分层提取并融合多分辨率的点云特征,从而避免了单一的全局特征导致信息损失的问题。其次,本文设计了与编码器适配的多分辨率点云生成结构,多分辨率点云生成结构能够与多分辨率编码器相结合,逐层生成逐渐密集的点云,避免了单层解码器密度不均的问题。最后,本文设计了偏移网络,偏移网络被用于生成偏移向量来偏移每一个点云的坐标,从而进一步微调点云坐标位置,实现更为精确的预测。本文在Shape Net、KITTI、Scan Object NN数据集中进行了全面的点云补全实验,通过与最新方法的对比,在性能评价指标和可视化两方面证明了本文所提方法的有效性。此外,为了证明PS-Net各结构的有效性,本文设计了针对各结构的定量评估、消融实验和鲁棒性实验,实验结果证明了各结构的有效性。本文为点云补全提供了一种新的方法,实现了更为精细的点云形状生成,为自动驾驶、点云重建等研究带来了新的可能性。
基于边缘信息的道路点云数据补全技术研究
这是一篇关于高精度地图,三维点云,点云分割,点云补全,边界提取的论文, 主要内容为高精度地图在自动驾驶技术中发挥着至关重要的作用。具有完整道路信息的高精度地图对自动驾驶导航非常重要。利用车载激光雷达(Li DAR)获取的高精度地图道路数据是以点云的形式进行存储和计算的。在实际点云数据采集过程中,由于采集设备参数不同和物体遮挡等因素,导致测得的道路点云存在缺失问题,影响数据的完整性。本文通过研究道路点云数据的补全,提高道路信息的完整性。本课题在详细研究了近几年点云数据补全算法的基础上,针对道路场景中散乱的、无序的点云数据缺失问题展开研究。首先,对道路场景数据进行语义分割、采样、信息融合预处理。其次,基于OSM(Open Street Map)地图地理要素信息定位缺失区域、提取道路边界曲线。最终,依据道路场景语义信息和道路边界曲线先验知识,对缺失区域进行数据补全。具体研究工作内容如下。(1)研究道路场景点云语义分割。针对点云数据缺乏语义信息、数据规模大、结构散乱现象,提出了Gran LA-Net语义分割网络模型。该模型主要包括道路场景分段模块、道路特征感知模块、随机采样模块和扩展特征聚合模块。道路分段模块基于OSM地图Nodes信息将原始的道路大场景数据分成道路片段输入网络模型,以便提升网络运行速率,减少场景信息损失。道路特征感知模块主要提取道路边缘特征信息和高程特征信息,增强网络对边缘和高程特征的感知能力。扩展特征聚合模块基于点位置、边缘和高程特征,对道路场景进行分割,获取准确的数据语义信息。为验证Gran LA-Net模型性能,将其与RANSAC(随机采样一致,Random Sample Consensus)、Point Net和Rand LA-Net模型进行对比实验。(2)研究道路缺失区域边界提取。在散乱点云数据的修复过程中,补全算法缺乏先验知识、对线形和面形数据不敏感成为道路场景补全的瓶颈问题。针对以上问题,提出了基于OSM先验的道路边界提取算法。该算法先基于OSM地图定位道路场景缺失区域,再基于边缘点信息和OSM地图中心线信息提取缺失区域道路边界曲线。该算法为补全提供道路边界曲线先验知识。为验证算法的性能,将其与软件标注的边界曲线进行精准度对比实验。(3)研究道路点云数据补全。为精准修复道路场景,提出了基于边缘信息的道路点云数据补全算法。该算法基于道路场景语义信息和道路边界曲线先验知识,对缺失区域进行曲面重建和冗余数据处理,获得完整的道路数据。为了验证算法的性能,将其与孔洞填补法、多边形点填补法、PCN和PF-Net模型进行对比实验。
基于深度学习的点云补全算法研究
这是一篇关于点云补全,特征融合,多重损失,鲁棒性,自适应采样的非局部神经网络的论文, 主要内容为随着深度相机和激光雷达等低成本传感器的日益普及,其捕获的点云作为一种比二维图像更能描述场景的表示形式,广泛的应用在3D视觉领域。然而,由于分辨率的限制和相互遮挡,传感器获取的点云经常是不完整和稀疏的,往往会出现几何信息的丢失。这种不完整的场景信息对于许多下游应用是不够的,例如三维检测和自动驾驶。因此,从残缺点云中恢复细粒度的完整点云,一直是一项重要而具有挑战性的任务。由于计算机算力的增强以及大型合成形状数据集的出现,从大型数据集中学习数据驱动先验知识已成为目前最主要的研究方向。一些基于深度学习的模型采用端到端的方法直接将原始残缺点云数据作为输入推断出一个完整的3D形状,这些方法存在的共性问题是无法生成精细的目标形状。因此如何从残缺点云中重建出密集、均匀和细粒度的完整点云是一个难点。传感器扫描的原始点云不可避免的包含异常值或噪声,因此如何降低它们对点云补全任务的影响也是一个难点。针对上述两个问题,本文分别构建了基于特征融合的级联细化点云补全网络和基于自适应采样的非局部点云补全网络。主要研究内容如下:(1)由于遮挡、传感器分辨率有限和视角小,通过扫描设备采集的原始点云通常是稀疏、不规则和不完整的,严重影响了基于点云的下游视觉任务的效果。本文提出了基于特征融合的级联细化点云补全网络(CFF-Net),它具有两个分支网络。上分支网络用于生成粗略点云,以提取具有丰富信息的全局特征。下分支网络利用编码器提取了不同分辨率的点特征,将其与上分支的全局特征进行融合,通过注意力机制将融合后的点特征传递到解码器并引入多重损失函数,以生成均匀、密集和细粒度的完整点云。定量结果表明,CFF-Net相较于Top Net倒角距离减少了20.47%。定性结果表明,本文提出的CFF-Net取得更好的视觉效果。(2)点云在三维空间保留了原始几何信息,因此,它是许多场景理解相关应用的首选。然而,三维传感器采集到的点云通常是带有噪声或异常值的。本文提出的新补全方法,虽然生成了均匀、密集和细粒度的完整点云,但是它对噪声或异常值较为敏感。为了进一步提高网络的鲁棒性和重建质量,本文提出了基于自适应采样的非局部点云补全网络(PASF-Net)。将自适应采样的非局部神经网络作为PASF-Net的编码器,它能够降低噪声或异常点的影响和增强网络的特征提取能力。定量结果表明,PASF-Net相较于CFF-Net倒角距离减少了3.62%。定性结果表明,本文提出的PASF-Net输出了高质量的点云补全模型。
一种基于点偏移的点云补全神经网络
这是一篇关于3D计算机视觉,深度学习,点云补全,特征提取,多特征融合的论文, 主要内容为如今,点云被广泛应用于3D物体描述,然而,受限于扫描设备和扫描环境的影响,使得通过扫描得到的点云数据存在疏密不均、点云外形缺失的问题,因此点云补全的目的是通过不完整的点云外形推测生成完整点云所具有的外形,这些完整的点云将有助于诸多下游任务例如:3D重建,3D打印,自动驾驶等取得更加优秀的效果。深度学习的不断发展和进步,使其在计算机视觉领域取得了巨大的成功,将深度学习应用于点云数据,成为了实现点云补全的主流方式,然而,大多数基于深度学习的现有点云补全方法不能精准生成缺失部分的结构细节,因此,本文提出了一种基于点偏移的点云补全神经网络(PS-Net)用于生成更加细致的点云外形。本文的主要贡献在三方面:首先,本文提出了一种多分辨率编码器,该编码器分层提取并融合多分辨率的点云特征,从而避免了单一的全局特征导致信息损失的问题。其次,本文设计了与编码器适配的多分辨率点云生成结构,多分辨率点云生成结构能够与多分辨率编码器相结合,逐层生成逐渐密集的点云,避免了单层解码器密度不均的问题。最后,本文设计了偏移网络,偏移网络被用于生成偏移向量来偏移每一个点云的坐标,从而进一步微调点云坐标位置,实现更为精确的预测。本文在Shape Net、KITTI、Scan Object NN数据集中进行了全面的点云补全实验,通过与最新方法的对比,在性能评价指标和可视化两方面证明了本文所提方法的有效性。此外,为了证明PS-Net各结构的有效性,本文设计了针对各结构的定量评估、消融实验和鲁棒性实验,实验结果证明了各结构的有效性。本文为点云补全提供了一种新的方法,实现了更为精细的点云形状生成,为自动驾驶、点云重建等研究带来了新的可能性。
基于三维视觉的农业机器人系统设计与实现
这是一篇关于点云补全,植物,三维视觉,远程控制,深度学习的论文, 主要内容为随着计算机视觉技术以及传感器技术的不断发展,智慧农业已经成为农业现代化的重要方向。植物表型是基因的表达结果,高通量的植物表型数据对于植物基因分析以及推进植物培育和种植具有重要的作用。本文设计并实现基于三维视觉的农业机器人系统,旨在构建植物三维生长模型库,为植物表型参数测量与分析提供数据支持,推动机器人在农业生产和种植中的应用。重建准确的植物三维模型是构建农业机器人系统中的一个关键技术点,然而,由于传感器分辨率以及遮挡等原因,基于通用的三维重建方法得到的植物模型存在缺失现象,影响植物表型测量的准确性。因此,本文开展了点云补全算法的研究工作,基于深度学习技术,设计了基于骨架引导的点云补全网络,能够对缺失的植物点云模型进行精细化重建,进而提高植物表型测量的准确性。针对机器人自动化和远程控制,本文重点研究了基于Redis消息队列的分布式远程控制架构,并完成了协议以及接口的设计与实现。最后,基于分层架构设计并实现基于三维视觉的农业机器人系统,重点完成了多机器人管理与控制、人机交互、机器人轨迹绘制以及视觉数据的自动化获取与传输等功能的开发工作,旨在提高高通量植物数据获取效率,为农业机器人系统的设计提供解决方案。总之,本文的主要工作如下:(1)针对由于遮挡以及传感器自身分辨率等原因,造成三维重建后的模型存在缺失问题,进而影响表型参数测量准确性问题,开展点云补全算法研究工作,以植物具有很强的骨架特征为切入点,提出一种基于骨架引导的点云补全方法,能够以全局骨架特征为指导,以局部几何特征为增强特征来进行点云补全,实现缺失点云的精细化重建,提高植物表型测量的准确性,为植物生长信息库构建以及育种栽培等提供强有力的数据;(2)针对机器人的远程控制,本文重点研究了基于Redis消息队列的分布式远程控制架构,设计并实现了通信协议和接口,可以为多机器人的协同作业提供通信环境和控制规则,满足机器人分布式控制和实时控制的需求;(3)设计并实现基于三维视觉的农业机器人系统,重点完成多机器人管理、前端人机交互、机器人轨迹绘制、自动化视觉数据采集与传输等功能的开发,并完成SLAM路径规划、三维重建以及精细化三维重建等算法的集成,并基于分层架构完成自动化农业机器人系统的开发工作。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计驿站 ，原文地址：https://bishedaima.com/lunwen/48637.html
