基于深度估计网络的视觉SLAM算法研究
这是一篇关于机器人,视觉SLAM,深度估计,点云匹配,特征提取的论文, 主要内容为近年来随着人工智能技术的发展,移动机器人在社会各行各业得到了广泛的应用,如交通、医疗、家庭、教育等领域。同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术是移动机器人的关键技术。在视觉SLAM技术的研究中,单目相机传感器成本低、易用性强,利用单目相机实现SLAM算法的研究受到了广泛的关注。虽然视觉SLAM取得了显著的成就,但是依然存在很多挑战。如当机器人在运动过程中相机丢失的情况,如何实现高效又准确的定位问题是本文的研究重点。针对这样的问题本文的研究思路如下:首先,通过使用单目相机拍摄一张图片,利用设计的深度估计网络预测图像中每一个像素点的深度信息,进而构建局部点云;然后将该局部点云与构建的稀疏点云进行匹配;最后通过匹配的结果来确定当前的位置。在研究的过程中主要涉及两大核心问题:单目图像深度估计问题以及点云匹配问题。本文针对目前单目图像在深度估计中依然存在边缘以及深度最大区域预测不准确性的问题,提出一种基于金字塔分割注意力网络的单目深度估计方法(PS-Net)。首先,PS-Net以边界引导和场景聚合网络为基础,引入金字塔分割注意力模块(PSA),处理多尺度特征的空间信息,提取出深度梯度变化剧烈的边界和深度最大的区域;然后,使用Mish函数作为解码器中的激活函数,进一步提升网络的性能;最后,在NYUD v2和i Bims-1数据集上进行训练评估。i Bims-1数据集上的实验结果显示该网络在衡量定向深度误差方面与边界引导和场景聚合网络(BS-Net)相比提高了1.42个百分点,正确预测深度像素的比例达到81.69%。实验结果证明本网络在深度预测上具有较高的准确性。针对目前点云匹配中由于传感器的运动或者采集点云的角度问题,造成提取的点特征不具有旋转不变性和较好的表征性的问题,本文提出一种基于强表征能力的特征描述子的点云匹配算法。该算法引入空间点变换策略将三维曲面转换成圆柱体来消除X,Y,Z轴上的旋转自由度;然后使用神经层特征提取模块来学习圆柱形体素内点的特征,此时提取到的特征具有很好的鲁棒性和旋转不变性;最后通过在3DMatch数据集上进行实验,召回率达到92.1%,验证了本文算法在点云匹配中具有很好的效果。通过以上两个主要的研究任务则可以确定迷失环境中机器人所处的位置,从而实现视觉SLAM中的定位问题。
基于聚焦型光场的场景深度估计方法研究
这是一篇关于光场成像,聚焦型光场,几何参数标定,焦点堆栈,聚焦评价函数,深度估计的论文, 主要内容为深度估计是机器视觉中的一个关键问题,其在诸多领域中均有广泛的应用,如人脸识别、自动驾驶、三维重建等。然而传统相机无法记录光线的角度信息,限制了机器视觉的进一步发展与应用。光场成像技术作为一种计算成像技术,其通过对光学系统的改进,能够同时记录包含光线的位置和方向的四维信息。凭借丰富的信息,其能够实现重聚焦、多视角提取等功能,为实现场景的深度估计提供了更多的线索。其中,光场相机具有便于携带、操作方便、成像稳定等优点,因此其在基于光场的深度估计研究中得到了广泛的应用。本文从光场成像基本原理出发,通过聚焦型光场成像系统的设计与搭建及其所得光场图像的后处理,对聚焦型光场成像技术进行了探讨与研究。此外还从聚焦型光场相机的几何参数标定及聚焦评价函数两个方面对基于聚焦型光场图像的深度估计方法进行了研究。论文的主要研究内容如下:(1)从光场基本理论出发,对基于微透镜阵列型光场相机的成像原理进行理论分析与公式推导,并系统地分析不同结构光场相机的优缺点及其渲染方法,为后续光场成像系统的设计及算法研究奠定理论基础。(2)分析并设计聚焦型光场成像系统中的主要参数,通过Zemax光学软件结合设计参数对系统进行仿真建模验证。根据设计的参数对系统的主要元件进行选型,搭建实际系统并对系统进行暗电流校正及微透镜中心标定等预处理。开展重聚焦与多视角提取实验,验证系统设计的可行性及其三维信息采集能力。(3)研究了聚焦型光场成像系统几何参数标定方法。首先,通过分析系统的成像投影关系,建立了基于相同像点与几何参数数学关系的标定模型。其次,针对标定模型的需求,设计了三级标定板,以实现单次拍摄完成标定,提高标定效率。然后,分析了标定模型求解的误差来源,通过多方向求解角点距离的方法来减小标定误差。最后,通过仿真和实际系统开展了实验验证,在仿真实验中各参数的最大标定误差为2.76%,平均误差为1.5%。实际系统标定实验中以渲染图像的主观质量评价作为依据,结果表明利用标定参数渲染得到的图像边缘更连续,伪影更少。验证了标定方法的可行性与鲁棒性。(4)研究了基于聚焦型光场焦点堆栈的深度估计方法。针对传统聚焦评价函数无法适用于聚焦型光场重聚焦图像的问题,通过对重聚焦原理及其离焦模糊原理的分析,提出了一种适用于聚焦型光场重聚焦图像的聚焦评价函数,并以此为基础,实现了基于聚焦型光场焦点堆栈的深度估计。利用公共数据集及实际系统开展了实验研究,在公共数据集实验中,本文提出的聚焦评价函数在聚焦响应深度估计实验中检测正确率为100%,而传统聚焦评价函数的检测正确率为5.56%。实际系统实验中,深度测量的最大误差为4.85%,平均误差为4.25%。实验结果验证了该算法的有效性。
基于混合方法的单目视觉里程计算法研究
这是一篇关于视觉里程计,深度估计,位姿估计,FAST算法,混合方法的论文, 主要内容为单目视觉里程计是通过单目相机拍摄连续幅图像,并利用深度学习方法或几何方法等估计相机的运动。其中,基于几何方法的单目视觉里程计无法直接获取场景的深度,且容易出现累积误差;基于深度学习方法的单目视觉里程计可端到端的获取相机的运动,但其泛化能力不足,同时也忽略了一些重要的几何约束。因此,本文提出了一种基于混合方法的单目视觉里程计算法框架。该框架将基于深度学习方法的图像深度估计网络与基于几何方法的视觉里程计算法相融合,利用深度估计网络对提取的特征点进行深度恢复,以提升视觉里程计的精确度。本文视觉里程计算法在实现位姿估计的同时,还可实现对图像的深度估计。在深度估计部分,针对单目视觉里程计缺少图像深度信息的问题,提出了一种基于编码器-解码器网络的图像深度估计网络。首先,考虑实时性问题,编码器选用Mobile Net网络利用深度可分离卷积提取特征信息。其次,提出将拉普拉斯金字塔结合到解码器架构中,通过不同尺度空间逐步恢复深度边界,从粗尺度到细尺度重建最终深度图。在位姿估计部分,首先针对FAST角点提取算法判断逻辑复杂的问题,提出了一种改进的FAST角点提取算法。该算法对角点判断逻辑进行了优化,以提升角点提取速度;并剔除了在周围邻域像素内未取得响应极大值的伪角点,以提高角点质量。其次,对提取的角点基于LK光流法进行跟踪。然后,利用深度估计网络对特征点的深度信息进行恢复。最后,针对运动退化发生时通过对极几何约束并不能良好地估计运动的问题,提出了基于几何鲁棒信息准则根据不同的运动情况从对极几何约束方法和PnP方法中选择合适的方法进行运动估计。本文对深度估计和位姿估计分别设计了实验。结果表明,本文基于混合方法的单目视觉里程计算法是可行且有效的。深度估计性能在Eigen Split数据集上各项指标都较优,且在不同光照条件和不同场景下都能良好工作。位姿估计性能在Odometry Split数据集的00、02、05、06、08、09和10序列上各项指标都优于对比的几何方法和深度学习方法的视觉里程计。
单目深度估计与NeRF新视图生成算法的设计及油菜表型重构试验
这是一篇关于深度学习,深度估计,神经辐射场,新视图生成,油菜表型重建的论文, 主要内容为油菜是中国最大的油料播种作物,具有极高的应用价值和潜力,对油菜作物进行准确的三维重构有利于油菜的育种研究和田间生产管理。本文针对油菜三维重构中存在的价格昂贵、精度较低等问题,提出了一种有限视角情况下的油菜表型重构方法,设计了一种用于油菜深度估计与新视图生成的算法,并将其应用到三维重构领域。解决了在有限视角图像下的三维重构精度不高的问题。本文所设计的算法首先在公共数据集上进行训练与测试,以此验证其有效性,而后应用在油菜数据上,并进一步延伸至油菜植株的三维重构。研究的主要内容及结论如下:(1)总结分析了国内外植株的表型重构方法。对比方法的优劣,确定将单目RGB图像作为研究对象,有利于减少成本;介绍了以单目RGB图像为研究对象进行三维重建的方式,并确定了本文的研究路线,即首先设计两种算法对RGB图像进行处理,两种算法分别为无监督深度估计算法、基于神经辐射场的新视图生成算法,改进后的算法在公共数据集上的结果优于现有算法;然后将其结果应用到油菜植株的三维重建之中,实现了有限视角情况下的高质量三维重建。(2)设计了一种基于单目视频的无监督深度估计算法。其网络结构由深度估计网络与位姿估计网络共同组成,在深度估计网络中,针对部分图像特征点较少的情况,设计了一种基于Transformer和CNN的特征提取网络TC-Net,可以提取更为丰富的图像特征;并提出了一种特征增强模块,使得网络特征提取能力进一步丰富;网络采用光度重建误差作为主要损失函数,此外,为了进一步提高深度预测的准确率,在损失函数部分添加了多尺度特征损失(Multi-Scale loss function)、峰值信噪比(Peak Signal-to-Noise Ratio)等损失函数。在常用数据集上进行了实验,其结果如下:在KITTI数据集上的实验结果为为4.872,7)2)为0.179,(70)7)为0.116,0)7)为0.918,准确率为0.907。在特征较少的SCALED数据集上的实验结果为:为14.673,7)2)为0.194,(70)7)为0.146,0)7)为2.895,准确率为0.957。并进一步进行消融实验,验证各模块对算法的影响。实验结果表明本章提出的算法在预测深度图时精度更高,从而为第四章新视图生成算法的设计奠定了基础。(3)设计了一种基于深度图的神经辐射场(Neural Radiance Fields,NeRF)新视图生成算法。本算法基于传统的NeRF网络结构,针对NeRF网络模型在视角较少的情况下预测精度较差、新视图渲染较差等情况,将深度信息融入到NeRF网络之中。其意义在于可以在训练视角较少的情况下生成高精度的新视角图像,在精度方面,本算法取得了较好的结果。在Scan Net数据集上,将本算法与NeRF方法进行对比,生成了更为清晰的新视图,以、、为定量评价指标,本算法的精度为:为31.68,为0.956,为0.194,三项指标均优于NeRF算法。同时为了验证算法的有效性,在多个数据集上进行实验,结果表现较好。为实现有限视角下的油菜植株的三维表型重建打下了基础。(4)将两种算法应用到油菜植株的三维重构之中,实现了有限视角情况下的三维重构。采集油菜视频数据,并对其进行预处理形成油菜序列图像,制作数据集。将无监督深度估计网络应用在所制作的数据集上,对其进行深度估计,并与传统方法进行对比,试验结果表明,本文所提出的无监督深度估计算法预测的深度图要好于传统算法;将基于神经辐射场的新视角图像生成算法应用到油菜植株数据集中,并将无监督深度估计算法所预测的深度图加入到本算法的训练之中,深度信息的加入使得算法训练更快,且生成了高质量的新视角图像;对油菜植株进行三维重构,给定有限视角的油菜植株图像,结合生成的新视角图像进行三维重建,实验结果表明,与直接使用有限视角的图像的重建结果对比,本文提出的方法三维重建效果更好,实现了有限视角情况下的高质量三维重建,其应用更加广泛。在三维重建的基础上对油菜的表型参数进行测量分析,分别对叶宽、株高、根茎粗三个表型参数进行三维测量和人工测量,并以决定系数2和均方根误差RMSE作为评价标准。实验结果为:叶宽测量中的相关系数2=0.993,均方根误差=0.53(88);株高测量中的相关系数2=0.996,均方根误差=0.95(88);根茎粗测量中的相关系数2=0.931,均方根误差=0.25(88)。实验结果表明,三维重建测量的表型参数与人工测量结果较为接近,达到了较好的结果。综上,本文设计了一种深度估计算法和一种新视图生成算法,并为油菜作物在有限视角下的三维重构和表型监测提供了一套低成本、高效率的方法。
基于聚焦型光场的场景深度估计方法研究
这是一篇关于光场成像,聚焦型光场,几何参数标定,焦点堆栈,聚焦评价函数,深度估计的论文, 主要内容为深度估计是机器视觉中的一个关键问题,其在诸多领域中均有广泛的应用,如人脸识别、自动驾驶、三维重建等。然而传统相机无法记录光线的角度信息,限制了机器视觉的进一步发展与应用。光场成像技术作为一种计算成像技术,其通过对光学系统的改进,能够同时记录包含光线的位置和方向的四维信息。凭借丰富的信息,其能够实现重聚焦、多视角提取等功能,为实现场景的深度估计提供了更多的线索。其中,光场相机具有便于携带、操作方便、成像稳定等优点,因此其在基于光场的深度估计研究中得到了广泛的应用。本文从光场成像基本原理出发,通过聚焦型光场成像系统的设计与搭建及其所得光场图像的后处理,对聚焦型光场成像技术进行了探讨与研究。此外还从聚焦型光场相机的几何参数标定及聚焦评价函数两个方面对基于聚焦型光场图像的深度估计方法进行了研究。论文的主要研究内容如下:(1)从光场基本理论出发,对基于微透镜阵列型光场相机的成像原理进行理论分析与公式推导,并系统地分析不同结构光场相机的优缺点及其渲染方法,为后续光场成像系统的设计及算法研究奠定理论基础。(2)分析并设计聚焦型光场成像系统中的主要参数,通过Zemax光学软件结合设计参数对系统进行仿真建模验证。根据设计的参数对系统的主要元件进行选型,搭建实际系统并对系统进行暗电流校正及微透镜中心标定等预处理。开展重聚焦与多视角提取实验,验证系统设计的可行性及其三维信息采集能力。(3)研究了聚焦型光场成像系统几何参数标定方法。首先,通过分析系统的成像投影关系,建立了基于相同像点与几何参数数学关系的标定模型。其次,针对标定模型的需求,设计了三级标定板,以实现单次拍摄完成标定,提高标定效率。然后,分析了标定模型求解的误差来源,通过多方向求解角点距离的方法来减小标定误差。最后,通过仿真和实际系统开展了实验验证,在仿真实验中各参数的最大标定误差为2.76%,平均误差为1.5%。实际系统标定实验中以渲染图像的主观质量评价作为依据,结果表明利用标定参数渲染得到的图像边缘更连续,伪影更少。验证了标定方法的可行性与鲁棒性。(4)研究了基于聚焦型光场焦点堆栈的深度估计方法。针对传统聚焦评价函数无法适用于聚焦型光场重聚焦图像的问题,通过对重聚焦原理及其离焦模糊原理的分析,提出了一种适用于聚焦型光场重聚焦图像的聚焦评价函数,并以此为基础,实现了基于聚焦型光场焦点堆栈的深度估计。利用公共数据集及实际系统开展了实验研究,在公共数据集实验中,本文提出的聚焦评价函数在聚焦响应深度估计实验中检测正确率为100%,而传统聚焦评价函数的检测正确率为5.56%。实际系统实验中,深度测量的最大误差为4.85%,平均误差为4.25%。实验结果验证了该算法的有效性。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码客栈 ,原文地址:https://bishedaima.com/lunwen/54342.html