基于立体视觉及深度学习的油茶果目标检测及定位研究
这是一篇关于嵌入式开发,立体视觉,卷积神经网络,油茶果检测,YOLOv7的论文, 主要内容为现有的油茶果采摘方式难以满足目前油茶果产业规模化发展的生产需求,亟需实现油茶果的机械化智能化采收,提高生产效率。而快速准确的识别出冠层油茶果的分布位置对于油茶果采摘机器高效低损作业起到关键作用,但目前的果实检测定位仍易受光线干扰,难以满足现场快速定位的需求,因此本文以冠层油茶果为研究对象,基于双目结构光视觉建立了油茶果视觉定位系统,设计并开发了基于嵌入式平台的油茶果定位装置,利用该装置对田间环境下冠层油茶果的图像进行目标油茶果的三维定位,结合油茶果视觉定位系统研发了嵌入式装置的检测软件。最后进行田间试验对油茶果定位装置的功能进行验证。本文的主要研究工作内容如下:(1)以冠层油茶果为研究对象构建冠层油茶果的数据集,建立油茶果深度学习识别模型。采集了果园复杂环境下的油茶果的图像,利用YOLOv7、YOLOv5、YOLOv3-spp和Faster R-CNN目标检测网络建立了油茶果检测模型,对比各项性能指标得到最佳目标检测网络为YOLOv7,模型的平均精度为95.74%,F1得分为93.67%,准确率为94.21%,召回率为93.13%,并且每幅图像的平均检测时间为0.025s;进一步利用多元数据增强方法对数据集进行扩充,优化该模型的泛化能力,建立DA-YOLOv7检测模型,模型的平均精度为96.03%,F1得分为95.15%,准确率为94.76%,召回率为95.54%,模型对不同的光照和遮挡情况下的油茶果取得了最多的正确识别数,可以有效的避免误检和漏检,鲁棒性较强。(2)确定基于油茶果识别模型的油茶果视觉定位系统总体方案和整体架构。基于深度相机OAK-D-Pro结合摄像机标定及立体匹配构建双目结构光立体视觉系统,对摄像机进行张正友标定获取摄像机内外参数,对获取的定位点进行坐标系转换。结合DA-YOLOv7检测模型输出检测框,完成双目结构光果实图像的质心立体匹配。立体匹配后进行油茶果三维空间点定位试验,进行多组试验并获取深度坐标及深度误差。试验表明,立体视觉在设定范围内平均误差值为20.9 mm,平均相对误差为1.82%,该误差范围内能够满足油茶果实的识别定位要求。(3)基于嵌入式技术开发油茶果检测定位装置。根据田间环境下的检测需求对油茶果嵌入式定位装置的软硬件选型,完成硬件的各部件连接,在边缘计算模块上部署Ubuntu操作系统,利用Qt Creator开发工具完成了定位装置的程序设计和图形化界面开发。(4)基于嵌入式油茶果定位装置进行田间冠层油茶果的检测定位试验。对开发的油茶果检测定位装置进行了稳定性验证测试,设计并开展了田间环境下的油茶果检测定位试验。统计油茶果定位坐标并计算得出装置在不同识别距离下的平均识别准确率为88.39%,田间环境下定位的平均误差为30.33mm,平均相对误差为2.26%。
基于立体视觉的飞机舵面角测量系统设计及实现
这是一篇关于立体视觉,标记点检测,舵面法向量计算,舵面角测量的论文, 主要内容为飞机舵面角是考核飞机方向舵和升降舵性能的一个重要指标,它直接关系到飞机的飞行安全,是飞机生产、使用和维护中的重要检查事项。传统的飞机舵面角测量方法在测量时会对飞机结构做改动,并且传统方法存在安装调试困难、操作复杂、测量精度低和需要接触测量的问题。现有的基于立体视觉的飞机舵面角测量方法测量精度低、自动化程度低,不能够满足飞机舵面角测量的需求。针对上述问题,本文对飞机舵面角测量系统进行深入研究,主要工作内容如下:(1)设计了一套基于立体视觉的飞机舵面角测量系统。首先,对舵面角测量系统进行了需求分析;其次,对硬件子系统进行了总体设计,包括:双目立体视觉模块、照明模块、图像采集数据处理模块和同步模块;然后,对软件子系统进行了总体设计,包括:相机控制模块、图像采集模块、立体视觉标定模块、三维信息测量模块和飞机舵面角测量模块;最后,对硬件子系统和软件子系统进行联调,验证了测量系统的有效性。(2)提出了一种基于立体视觉的飞机舵面角测量方法。首先,在散焦位置完成单目标定,在测量位置完成立体视觉标定,通过立体视觉系统,在测量位置采集飞机舵面角测量图像,利用立体视觉标定结果,对采集的飞机舵面图像进行畸变校正和立体校正;其次,研究了舵面圆形标记点检测方法,对比分析了基于改进型EDCircles和基于CIC(Circularity,Inertia,Convexity)的舵面圆形标记点检测方法,完成标记点检测后,测量舵面圆形标记点三维信息;然后,研究了飞机舵面法向量计算方法,对比分析了基于RANSAC和基于最小二乘法的飞机舵面法向量计算方法,完成法向量计算后,通过法向量夹角计算飞机舵面角;最后,通过实验室模拟实验,证明了本文方法具有较高的测量精度。(3)分析了影响飞机舵面角测量精度的因素。首先,从理论上分析了测量现场光照强度、标记点个数和标记点大小这3个因素对飞机舵面角测量精度的影响;然后,在1.8m的测量距离,1.8m×0.9m的测量视场,进行了影响飞机舵面角测量精度的因素验证实验;最后,通过对模拟实验结果进行了误差分析,得出:1)舵面角测量现场光照强度对测量精度的影响较大,正常光条件下测量精度最高;2)舵面圆形标记点个数对测量精度的影响较大,8个标记点测量精度最高;3)舵面圆形标记点大小对测量精度的影响较大,直径为60mm的标记点测量精度最高。
基于结构光和立体视觉的三维重建系统研究
这是一篇关于三维重建,立体视觉,立体标定,立体匹配,SGM算法的论文, 主要内容为随着生产生活的智能化提高,三维重建技术在众多领域的需求增大,在机器视觉、医疗卫生、航空航天、工业生产、自动驾驶等方面起着越来越重要的作用。几十年来,三维重建技术发展迅速,衍生了几十上百种三维重建方法。其中,基于结构光和立体视觉的三维重建技术具有成本低廉、测量精度高以及适应高速三维重建而逐渐成为热点。本文对基于结构光和立体视觉的三维重建系统进行研究,对立体标定算法以及立体匹配算法进行研究,并完成了三维重建系统的设计与实现及测试分析。本文的主要工作分为以下三个方面:(1)针对传统标定法标定精度不高及SGM立体匹配算法的效果和性能不足问题。首先,改进了“张氏”标定法,在标定方式上提出了以“九宫格”方式进行全方位充分标定,在畸变模型中加入切向畸变和误差因子进一步提升标定精度;其次,改进了SGM立体匹配算法,在代价计算的步骤中以Census变换替代互信息计算的方式,在路径聚合中以四路径聚合的方式对立体匹配算法进行改进;最后,通过实验,改进立体标定算法比“张氏”标定法在重投影误差上降低了6.6%,提升了标定精度,改进立体匹配算法比SGM算法降低了1.1%误匹配率、提升了6.8%匹配效率,验证了本文改进立体标定算法和改进立体匹配算法的有效性。(2)对基于双目结构光的三维重建系统进行设计与实现,包括系统的需求分析、架构设计、功能模块设计及系统详细设计。硬件系统上通过计算确定硬件系统中相机、投影仪的各项参数设置值,为相机的设置及各硬件的角度、距离设置提供了依据。其次,本文开发了基于C++以及Open CV图形库的三维重建系统,具备图像采集、图像处理、立体匹配及三维重建等功能。软硬件结合的三维重建系统为数据获取和三维重建计算提供了平台基础。(3)对本文的三维重建系统进行测试及分析,按照需求分析和系统设计的指标,测试系统各项功能的完备性。经过测试,本文三维重建系统符合设计要求,可以实现各项功能,完成最终三维重建的目标。
条纹投影三维彩色舌诊系统研究
这是一篇关于三维舌诊仪,三维测量,条纹投影,立体视觉的论文, 主要内容为舌诊是中医望诊的重要组成部分,在中医临床诊断上发挥了重要作用,目前中医舌诊客观化的研究主要针对二维的舌诊系统,对于舌的齿痕深度、形态轮廓等三维信息无法进行获取。本文针对舌表面彩色三维数据的获取,设计并研制了一套基于条纹投影的彩色三维舌诊仪系统,并实现了舌面的自动分割。本文研究内容主要有:1.设计了双摄像机-单投影仪的条纹投影彩色三维舌诊系统。利用投影仪分别和左右相机构成两个伪双目系统补充了传统双目系统无法获取的三维信息,实现了舌面彩色点云的完整获取。对彩色三维舌诊仪进行了合理的器材选型和系统硬件设计。设计了上位机软件,实现了系统标定、颜色标定、图像采集、三维计算及点云显示等功能。2.提出了极线与级次混合约束立体匹配的流程优化方法,实现了真伪混合双目系统点云的同时获取。从理想光栅图像出发,分别获取左右相机的匹配点,同时获取三个双目系统立体匹配点集并实现三维重建。研究了多项式颜色校正算法,比较了多种项数组合的多项式颜色校正算法,选择9项多项式对舌图片进行颜色校正。最后,使用分通道三次插值将二维图像的颜色信息映射至三维点云中,实现了三维彩色舌面点云的完整获取。3.提出了一种二维掩膜图与三维空间几何特征相结合自动分割舌面的算法。利用颜色色相约束以及形态学孔洞填充算法实现二维的舌面图像粗分割,建立掩膜图,实现舌面的粗定位,提高了三维重建效率。分析三维测量获取的粗分割舌面点云的特点,比较不同的分割识别算法,构建了法向量和曲率共同约束的区域增长的舌面分割算法,最终实现了舌面点云的自动分割。
基于立体视觉的飞机舵面角测量系统设计及实现
这是一篇关于立体视觉,标记点检测,舵面法向量计算,舵面角测量的论文, 主要内容为飞机舵面角是考核飞机方向舵和升降舵性能的一个重要指标,它直接关系到飞机的飞行安全,是飞机生产、使用和维护中的重要检查事项。传统的飞机舵面角测量方法在测量时会对飞机结构做改动,并且传统方法存在安装调试困难、操作复杂、测量精度低和需要接触测量的问题。现有的基于立体视觉的飞机舵面角测量方法测量精度低、自动化程度低,不能够满足飞机舵面角测量的需求。针对上述问题,本文对飞机舵面角测量系统进行深入研究,主要工作内容如下:(1)设计了一套基于立体视觉的飞机舵面角测量系统。首先,对舵面角测量系统进行了需求分析;其次,对硬件子系统进行了总体设计,包括:双目立体视觉模块、照明模块、图像采集数据处理模块和同步模块;然后,对软件子系统进行了总体设计,包括:相机控制模块、图像采集模块、立体视觉标定模块、三维信息测量模块和飞机舵面角测量模块;最后,对硬件子系统和软件子系统进行联调,验证了测量系统的有效性。(2)提出了一种基于立体视觉的飞机舵面角测量方法。首先,在散焦位置完成单目标定,在测量位置完成立体视觉标定,通过立体视觉系统,在测量位置采集飞机舵面角测量图像,利用立体视觉标定结果,对采集的飞机舵面图像进行畸变校正和立体校正;其次,研究了舵面圆形标记点检测方法,对比分析了基于改进型EDCircles和基于CIC(Circularity,Inertia,Convexity)的舵面圆形标记点检测方法,完成标记点检测后,测量舵面圆形标记点三维信息;然后,研究了飞机舵面法向量计算方法,对比分析了基于RANSAC和基于最小二乘法的飞机舵面法向量计算方法,完成法向量计算后,通过法向量夹角计算飞机舵面角;最后,通过实验室模拟实验,证明了本文方法具有较高的测量精度。(3)分析了影响飞机舵面角测量精度的因素。首先,从理论上分析了测量现场光照强度、标记点个数和标记点大小这3个因素对飞机舵面角测量精度的影响;然后,在1.8m的测量距离,1.8m×0.9m的测量视场,进行了影响飞机舵面角测量精度的因素验证实验;最后,通过对模拟实验结果进行了误差分析,得出:1)舵面角测量现场光照强度对测量精度的影响较大,正常光条件下测量精度最高;2)舵面圆形标记点个数对测量精度的影响较大,8个标记点测量精度最高;3)舵面圆形标记点大小对测量精度的影响较大,直径为60mm的标记点测量精度最高。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码海岸 ,原文地址:https://bishedaima.com/lunwen/54484.html