基于深度学习的双目视觉立体匹配算法研究

这是一篇关于双目视觉,深度估计,立体匹配,卷积神经网络,注意力机制,Transformer的论文, 主要内容为自深度学习被应用到立体匹配领域以来,立体匹配算法的精度得以大幅提升但仍存在运行速度慢、显存消耗较多、脱离实际应用场景、快速算法匹配精度较低等问题。针对上述问题,本文在捕获特征图显著特征,增强左、右图信息交互和减少计算成本三个方面开展了深入研究,主要内容如下:(1)针对运行速度慢、显存消耗较多和为降低计算量预设视差搜索范围导致脱离实际应用场景等问题,提出了一种结合多重注意力和迭代优化的立体匹配算法(Multiple Attention and Iterate Residual Net,MAIRNet)。该算法包含的交叉注意力模块可以更有效聚合左、右图之间的全局特征信息,并生成无视差范围限制的视差图;迭代残差优化模块只在最小尺度上生成稠密视差图,通过迭代方式逐步恢复视差分辨率,减少了计算成本和显存消耗;上下文注意力模块能捕获动、静态上下文特征信息,减少了浮点运算数量和参数量。(2)针对由粗到细的迭代算法匹配误差累积和左、右图匹配缺乏足够特征信息等问题,提出了一种多层视差残差优化的快速立体匹配算法(Adaptive Iterate Residual optimization Fast Net,AIRFNet)。该算法包含的的双重注意力引导的特征聚合模块可对多尺度特征映射进行自适应聚合;自适应交叉十字匹配模块可以在不同阶段以匹配点为中心设计不同大小的交叉十字,提高了算法的匹配精度和鲁棒性;自适应视差范围估计模块可在多层残差优化模块中根据本阶段的错误视差自适应调整下一阶段的视差搜索空间,在提高视差图分辨率的同时减少了计算量。本文分别在Scene Flow、KITTI2012和KITTI2015三个数据集上对所提算法进行了评估。实验结果表明,MAIRNet算法与AANet算法、LEAStereo算法和STTR等算法相比,精度平均提高了0.02%,同时运行速度平均提高了42%,生成了无视差范围限制的特征图;AIRFNet算法与AAFS算法、RLStereo算法和BGNet等算法相比精度提高了0.2%,同时运行速度提高了49%,实现了在边缘设备上的快速运行。

基于结构光视觉的焊缝检测系统设计与实现

这是一篇关于结构光视觉,焊缝检测,系统标定,焊点提取,立体匹配,点云分割的论文, 主要内容为焊接在工业中发挥着举足轻重的作用,国内很多焊接工作仍采用手工焊接或示教型机器人焊接的方式完成,效率低下。作为第三代焊接设备,自主焊接机器人借助机器视觉技术获取焊缝位置信息,提高了焊接机器人的智能性以及工作效率。本文将结构光视觉技术应用于焊缝检测系统,通过图像处理算法,实现焊缝位置的实时检测。本文主要研究内容如下:(1)简要介绍相机成像模型,在此基础上设计了线结构光视觉系统,并采用张正友标定法完成了相机标定,以及利用直接标定法进行线激光平面方程标定。同时,设计了双目结构光视觉系统,并采用张正友标定法完成了系统标定。(2)针对工业生产对焊缝检测的需求,本文基于线结构光视觉系统设计了焊缝检测算法。首先,采用中值滤波去除焊缝图像中的噪声,并利用OTSU法将激光条纹与图像背景分离。为去除图像中的孤岛噪声,本文提出了一种基于连通域分析去除孤岛噪声法。接着,采用几何中心法提取激光条纹中心线,减少了图像中的冗余信息。最后,根据焊缝类型,提出了一种基于夹角余弦值的焊缝特征点提取算法,完成了焊点坐标的提取。(3)针对线结构光视觉系统实时性较低的问题,本文基于双目结构光视觉系统设计了焊缝检测算法。将网格结构光引入双目视觉系统中,并利用自适应阈值法以及面积滤波提取网格条纹。接着,通过对Zhang-Suen算法进行优化,可以在去除毛刺的同时细化网格条纹。并提出了一种基于模板搜索的节点提取算法,将提取到的网格节点作为特征点,并建立网格节点的拓扑结构,完成了立体匹配工作,生成工件表面的稀疏点云。然后,通过对点云求取法向量和曲率,并以此为特征向量,结合区域生长算法完成了点云分割。最后,对同一区域的点云利用最小二乘法求出拟合平面方程,并求出两个平面的交线以及端点,最终完成了焊缝位置的检测工作。(4)为了评估两套系统的焊缝检测性能,本文搭建了线结构光视觉系统和双目结构光视觉系统的实验平台,并以V型焊缝为对象,设计了焊缝检测实验。经实验验证,线结构光视觉系统和双目结构光视觉系统均可以满足对焊缝检测精度的要求,并且,双目结构光视觉系统具有更高的实时性。

基于FPGA的双目视觉系统设计及立体匹配算法研究

这是一篇关于双目视觉,立体匹配,现场可编程门阵列,卷积神经网络的论文, 主要内容为物体的深度信息在三维重建、机器人导航和自动驾驶等计算机视觉任务中发挥着重要的作用。近年来,双目立体视觉作为一种从立体图像对中获取深度信息的技术,被广泛地应用到各个领域。然而双目立体视觉仍存在一些技术难题,例如难以在资源有限的硬件平台上实现实时的立体视觉系统、现有的系统算法在病态区域匹配精度较低等,使得双目立体视觉在实际场景中的应用受到了限制,本文围绕着上述问题进行了研究,主要工作如下:本文基于FPGA硬件平台搭建了一个完整的双目立体视觉系统,该系统在基于动态规划的全局立体匹配算法的基础上,利用高层次综合工具对立体匹配核心IP进行了设计与优化。实验结果表明:系统中立体匹配模块的吞吐率为690×480/75.5fps,每一千个查找表单元每秒产生的百万视差为90.7,所设计的立体匹配IP核在计算速度和硬件成本间取得了较好的平衡。随后,鉴于传统几何立体匹配算法在病态区域匹配性能较差,影响了系统的整体精度。本文提出了一种基于卷积神经网络的算法MDA-Net,引入了双路径上采样模块和注意力引导的上下文感知金字塔特征提取模块,通过融合不同尺度的语义特征,增强了算法在病态区域的特征提取能力。在KITTI 2015数据集上进行的消融实验结果表明,所提出的模块能够分别减少约8.04%和4.37%的误差,MDA-Net在KITTI 2012测试集上视差图的全局三像素误差为1.76%,单张视差图运算时间为0.4s,在相当运行时间下获得了更精确的视差图。

基于深度学习的双目视觉立体匹配算法研究

这是一篇关于双目视觉,深度估计,立体匹配,卷积神经网络,注意力机制,Transformer的论文, 主要内容为自深度学习被应用到立体匹配领域以来,立体匹配算法的精度得以大幅提升但仍存在运行速度慢、显存消耗较多、脱离实际应用场景、快速算法匹配精度较低等问题。针对上述问题,本文在捕获特征图显著特征,增强左、右图信息交互和减少计算成本三个方面开展了深入研究,主要内容如下:(1)针对运行速度慢、显存消耗较多和为降低计算量预设视差搜索范围导致脱离实际应用场景等问题,提出了一种结合多重注意力和迭代优化的立体匹配算法(Multiple Attention and Iterate Residual Net,MAIRNet)。该算法包含的交叉注意力模块可以更有效聚合左、右图之间的全局特征信息,并生成无视差范围限制的视差图;迭代残差优化模块只在最小尺度上生成稠密视差图,通过迭代方式逐步恢复视差分辨率,减少了计算成本和显存消耗;上下文注意力模块能捕获动、静态上下文特征信息,减少了浮点运算数量和参数量。(2)针对由粗到细的迭代算法匹配误差累积和左、右图匹配缺乏足够特征信息等问题,提出了一种多层视差残差优化的快速立体匹配算法(Adaptive Iterate Residual optimization Fast Net,AIRFNet)。该算法包含的的双重注意力引导的特征聚合模块可对多尺度特征映射进行自适应聚合;自适应交叉十字匹配模块可以在不同阶段以匹配点为中心设计不同大小的交叉十字,提高了算法的匹配精度和鲁棒性;自适应视差范围估计模块可在多层残差优化模块中根据本阶段的错误视差自适应调整下一阶段的视差搜索空间,在提高视差图分辨率的同时减少了计算量。本文分别在Scene Flow、KITTI2012和KITTI2015三个数据集上对所提算法进行了评估。实验结果表明,MAIRNet算法与AANet算法、LEAStereo算法和STTR等算法相比,精度平均提高了0.02%,同时运行速度平均提高了42%,生成了无视差范围限制的特征图;AIRFNet算法与AAFS算法、RLStereo算法和BGNet等算法相比精度提高了0.2%,同时运行速度提高了49%,实现了在边缘设备上的快速运行。

基于机器视觉的丙烯聚合过程液位检测系统设计

这是一篇关于液位检测,机器视觉,CBAM注意力机制,YOLOv5,立体匹配的论文, 主要内容为聚丙烯简称PP,是丙烯通过加聚反应而成的聚合物,聚丙烯是一种重要的热塑性材料,同时也是一种重要的化工产品和化工原料。在过去几十年里,全球对聚丙烯的消耗年均增速高达9.5%,使得聚丙烯成为消耗速度增长最快的热塑性材料之一。在丙烯聚合时,若出现液位异常,会造成丙烯聚合不成功,甚至发生安全事故。针对丙烯聚合过程液位检测需求,本课题采用机器视觉和深度学习的图像处理技术,研究设计了基于机器视觉的丙烯聚合过程液位检测系统,并对系统进行了性能测试,旨在使用智能化设备解决传统液位检测系统存在的不足。本课题研究设计的基于机器视觉的丙烯聚合过程液位检测系统,主要由主控制单元、液位图像采集单元、液位图像处理单元、通信单元和显示单元构成。系统基于Linux操作系统,采用RK3399芯片作为本次系统设计的核心处理器;液位图像采集单元选用双目相机采集丙烯聚合过程中的液位图像;液位图像处理单元采用Mali-T860MP4图形处理器;使用Python编程语言进行编程,搭载Py Torch深度学习框架以及Open CV软件库实现对丙烯聚合过程中液位参数的测量;液位参数的检测结果以及当前反应体的反应状态通过LCD单元实时显示,检测结果通过Wi Fi通信单元上传到云端,方便操作人员对丙烯聚合过程进行实时的监控。本课题在讨论国内外液位检测研究现状的基础上,针对传统液位检测系统在丙烯聚合过程液位检测中存在的不足,结合专业知识,采用机器视觉搭载深度学习的图像处理技术,设计智能系统实现对丙烯聚合过程中液位参数的测量。目标检测、立体匹配算法的研究是机器视觉、图像处理领域中的重要课题之一,本次课题通过研究融合成本效益分析方法(Cost Benefit Analysis Method,CBAM)注意力机制的YOLOv5目标检测算法以及对比不同的立体匹配算法,成功实现了对丙烯聚合过程中液位参数的测量。机器视觉技术在液位检测中的应用具有实时性强、检测效率高等优点,对液位检测技术的发展具有重要的意义。通过本次课题的研究,成功设计了一款基于机器视觉的丙烯聚合过程液位检测系统,并对系统测量的精确度、重复性以及稳定性进行了测试,丙烯聚合过程液位检测的测量精度为1 mm,测量绝对误差在2 mm以内,相对误差在±5%以内。结果表明本系统可以实现对丙烯聚合过程中液位参数的准确、快速测量。本系统具有检测精度高、检测实时性强、检测效率高等优点,提高了市场上液位检测系统的智能化程度,具有市场应用价值高,经济效益好等特点。

基于机器视觉的丙烯聚合过程液位检测系统设计

这是一篇关于液位检测,机器视觉,CBAM注意力机制,YOLOv5,立体匹配的论文, 主要内容为聚丙烯简称PP,是丙烯通过加聚反应而成的聚合物,聚丙烯是一种重要的热塑性材料,同时也是一种重要的化工产品和化工原料。在过去几十年里,全球对聚丙烯的消耗年均增速高达9.5%,使得聚丙烯成为消耗速度增长最快的热塑性材料之一。在丙烯聚合时,若出现液位异常,会造成丙烯聚合不成功,甚至发生安全事故。针对丙烯聚合过程液位检测需求,本课题采用机器视觉和深度学习的图像处理技术,研究设计了基于机器视觉的丙烯聚合过程液位检测系统,并对系统进行了性能测试,旨在使用智能化设备解决传统液位检测系统存在的不足。本课题研究设计的基于机器视觉的丙烯聚合过程液位检测系统,主要由主控制单元、液位图像采集单元、液位图像处理单元、通信单元和显示单元构成。系统基于Linux操作系统,采用RK3399芯片作为本次系统设计的核心处理器;液位图像采集单元选用双目相机采集丙烯聚合过程中的液位图像;液位图像处理单元采用Mali-T860MP4图形处理器;使用Python编程语言进行编程,搭载Py Torch深度学习框架以及Open CV软件库实现对丙烯聚合过程中液位参数的测量;液位参数的检测结果以及当前反应体的反应状态通过LCD单元实时显示,检测结果通过Wi Fi通信单元上传到云端,方便操作人员对丙烯聚合过程进行实时的监控。本课题在讨论国内外液位检测研究现状的基础上,针对传统液位检测系统在丙烯聚合过程液位检测中存在的不足,结合专业知识,采用机器视觉搭载深度学习的图像处理技术,设计智能系统实现对丙烯聚合过程中液位参数的测量。目标检测、立体匹配算法的研究是机器视觉、图像处理领域中的重要课题之一,本次课题通过研究融合成本效益分析方法(Cost Benefit Analysis Method,CBAM)注意力机制的YOLOv5目标检测算法以及对比不同的立体匹配算法,成功实现了对丙烯聚合过程中液位参数的测量。机器视觉技术在液位检测中的应用具有实时性强、检测效率高等优点,对液位检测技术的发展具有重要的意义。通过本次课题的研究,成功设计了一款基于机器视觉的丙烯聚合过程液位检测系统,并对系统测量的精确度、重复性以及稳定性进行了测试,丙烯聚合过程液位检测的测量精度为1 mm,测量绝对误差在2 mm以内,相对误差在±5%以内。结果表明本系统可以实现对丙烯聚合过程中液位参数的准确、快速测量。本系统具有检测精度高、检测实时性强、检测效率高等优点,提高了市场上液位检测系统的智能化程度,具有市场应用价值高,经济效益好等特点。

绳索并联式棉花打顶机作业目标识别与定位技术研究

这是一篇关于棉花打顶机,仿真分析,目标检测,YOLOv5s,立体匹配的论文, 主要内容为在棉花田间管理中,打顶工作是极为重要的环节之一,目前主要采取三种方式用于进行打顶工作,分别是人工打顶、机械打顶和化学打顶。人工打顶技术成熟但是对劳动力需求较大,在打顶的时候容易出现劳动力短缺问题;机械打顶速度快但是容易产生过切、漏切等问题;化学打顶工艺复杂且对环境要求高,使用不当容易对环境造成污染。随着深度学习及棉花产业的发展,越来越多的学者开始关注智能化、精确化打顶的相关研究来解决上述问题。基于此,此文旨在以棉株顶尖作为识别和定位的研究目标,提出一种搭载在高地隙拖拉机等移动平台上,使用绳索并联结构的棉花打顶机设计方案,并去除其他不重要部件,对其关键部分进行仿真分析,以此来验证所设计模型的准确性。然后基于此对棉花打顶机作业目标即棉株顶尖进行识别与定位技术研究,以实现对棉株顶尖的准确识别与定位。具体研究内容包括以下三个方面:(1)绳索并联式棉花打顶机的建模与仿真分析。通过Solid Works三维建模软件对绳索并联式棉花打顶机进行结构建模,然后建立打顶机的数学模型并进行逆运动学分析,接着使用Matlab中的Simulink工具对该结构的绳索长度、速度、加速度参数进行仿真实验,进而验证了逆运动学求解数学模型的准确性。同时分析了该打顶机的工作空间大小,验证了所设计打顶机工作空间满足打顶作业的工作需求,为下文识别与定位系统的实现提供了理论基础。(2)基于深度学习的棉株顶尖识别研究。基于棉花打顶机的使用环境,此文首先分析了YOLO系列各模型的特点并对比后选用YOLOv5s模型进行研究。然后阐述了YOLOv5s模型结构的特点并对其进行训练。结果表明YOLOv5s可以准确学习到棉株顶尖的特征,但是模型体积、参数量等对于嵌入式设备还是不太友好,所以进一步对YOLOv5s模型进行基于Mobile Netv3的轻量化改进策略,并在改进模型特征提取网络的颈部加入CBAM注意力机制。实验表明,此文提出的改进策略可以使模型体积下降并保持较高的识别精度,为后续的空间定位技术做好了基础准备。(3)基于双目相机的定位技术。在完成了识别工作后,为了指导打顶机的末端执行器可以靠近棉株顶尖的目标位置,还需要对棉株顶尖进行测距并定位。此文利用张氏标定法对双目相机的内外参数进行标定,采用SGBM算法立体匹配实现了对棉株顶尖的测距,然后将改进后的识别模型与定位模型集成为识别定位系统对棉株顶尖进行识别与定位实验,通过实验进行了十组定位实验,平均识别率为87%,双目定位的平均相对误差15.2%左右,表明误差在合理范围内,验证了该系统可以指导绳索并联式棉花打顶机完成对棉花打顶作业目标的识别与定位工作。

基于机器视觉的丙烯聚合过程液位检测系统设计

这是一篇关于液位检测,机器视觉,CBAM注意力机制,YOLOv5,立体匹配的论文, 主要内容为聚丙烯简称PP,是丙烯通过加聚反应而成的聚合物,聚丙烯是一种重要的热塑性材料,同时也是一种重要的化工产品和化工原料。在过去几十年里,全球对聚丙烯的消耗年均增速高达9.5%,使得聚丙烯成为消耗速度增长最快的热塑性材料之一。在丙烯聚合时,若出现液位异常,会造成丙烯聚合不成功,甚至发生安全事故。针对丙烯聚合过程液位检测需求,本课题采用机器视觉和深度学习的图像处理技术,研究设计了基于机器视觉的丙烯聚合过程液位检测系统,并对系统进行了性能测试,旨在使用智能化设备解决传统液位检测系统存在的不足。本课题研究设计的基于机器视觉的丙烯聚合过程液位检测系统,主要由主控制单元、液位图像采集单元、液位图像处理单元、通信单元和显示单元构成。系统基于Linux操作系统,采用RK3399芯片作为本次系统设计的核心处理器;液位图像采集单元选用双目相机采集丙烯聚合过程中的液位图像;液位图像处理单元采用Mali-T860MP4图形处理器;使用Python编程语言进行编程,搭载Py Torch深度学习框架以及Open CV软件库实现对丙烯聚合过程中液位参数的测量;液位参数的检测结果以及当前反应体的反应状态通过LCD单元实时显示,检测结果通过Wi Fi通信单元上传到云端,方便操作人员对丙烯聚合过程进行实时的监控。本课题在讨论国内外液位检测研究现状的基础上,针对传统液位检测系统在丙烯聚合过程液位检测中存在的不足,结合专业知识,采用机器视觉搭载深度学习的图像处理技术,设计智能系统实现对丙烯聚合过程中液位参数的测量。目标检测、立体匹配算法的研究是机器视觉、图像处理领域中的重要课题之一,本次课题通过研究融合成本效益分析方法(Cost Benefit Analysis Method,CBAM)注意力机制的YOLOv5目标检测算法以及对比不同的立体匹配算法,成功实现了对丙烯聚合过程中液位参数的测量。机器视觉技术在液位检测中的应用具有实时性强、检测效率高等优点,对液位检测技术的发展具有重要的意义。通过本次课题的研究,成功设计了一款基于机器视觉的丙烯聚合过程液位检测系统,并对系统测量的精确度、重复性以及稳定性进行了测试,丙烯聚合过程液位检测的测量精度为1 mm,测量绝对误差在2 mm以内,相对误差在±5%以内。结果表明本系统可以实现对丙烯聚合过程中液位参数的准确、快速测量。本系统具有检测精度高、检测实时性强、检测效率高等优点,提高了市场上液位检测系统的智能化程度,具有市场应用价值高,经济效益好等特点。

基于多尺度级联沙漏网络的立体匹配算法研究

这是一篇关于立体匹配,级联预测,多尺度融合,沙漏网络的论文, 主要内容为双目立体视觉模拟人眼观察和处理景深的过程,以双目摄像机取代双眼来获取图像数据,以计算机代替神经中枢处理获取的外界信息,是一种以立体匹配任务为核心的非接触式的测量方法。立体匹配通过对双目图像匹配像素点来计算视差,以低成本和易部署的优势获取深度信息,逐渐应用于机器人导航和自动驾驶领域的环境感知模块。目前端到端的立体匹配算法在纹理丰富的区域显著提升了精度,但重复纹理和细长结构区域极易误匹配。此外,日益复杂的网络结构、高计算复杂度致使模型难以部署到实际应用。本文围绕高效精准的立体匹配网络进一步研究,主要工作如下:(1)高分辨率图像的多阶段立体匹配中,针对初始阶段累积视差误差并持续传递,导致局部优化范围未覆盖视差标签值的问题,本文融合多尺度的匹配代价体,利用全局和局部特征的匹配关联性,以更准确的初始视差引导后续匹配。本文提出多信息匹配代价体来描述特征匹配的相似度,构建基于多尺度匹配代价体融合的沙漏代价聚合模块,在低分辨率下生成初始视差图,逐步细化生成高精度的高分辨率视差图。Scene Flow测试集的端点误差(End-point-error,EPE)降低到0.83,KITTI测试集的定性结果表明,引入多尺度匹配代价体融合模块后,初始阶段下道路标志和护栏区域的细节信息完整性更高,最终生成轮廓清晰、细节结构更完整的高分辨率视差图,提高了模型在重复纹理区域的鲁棒性。(2)针对立体匹配模型复杂度高且可移植性差的问题,提出一个自适应残差范围模块对固定残差范围进行快速剪枝,以精简的调整范围优化视差,设计一个基于Mobile Net V2模块的轻量级高效立体匹配网络。利用各候选视差的概率分布信息来度量每个像素立体匹配的不确定度,对后续待匹配的残差范围进行动态调整,利用沙漏网络对高可能性的候选视差进行代价聚合,避免无效匹配点的影响,实现更加高效精准的匹配过程。在网络中采用基于Mobile Net V2模块的特征提取器和代价聚合模块,降低了模型参数的冗余度。Scene Flow测试集的实验结果表明,与基于标准卷积的本文算法相比,在EPE误差仅上升0.04的前提下,模型计算量显著下降,参数量降低了1.83MB,以0.127秒快速生成一对高分辨率(540×960)双目图像的视差图。道路场景下粗略的视差预测即可为避障等高级任务提供先验信息,而多阶段视差预测的方式可以实时获取到当前最佳的视差图。本文采用层次化的视差精调策略,获取亚像素精度的视差值更有效地满足高层次视觉任务的需求。

基于结构光视觉的焊缝检测系统设计与实现

这是一篇关于结构光视觉,焊缝检测,系统标定,焊点提取,立体匹配,点云分割的论文, 主要内容为焊接在工业中发挥着举足轻重的作用,国内很多焊接工作仍采用手工焊接或示教型机器人焊接的方式完成,效率低下。作为第三代焊接设备,自主焊接机器人借助机器视觉技术获取焊缝位置信息,提高了焊接机器人的智能性以及工作效率。本文将结构光视觉技术应用于焊缝检测系统,通过图像处理算法,实现焊缝位置的实时检测。本文主要研究内容如下:(1)简要介绍相机成像模型,在此基础上设计了线结构光视觉系统,并采用张正友标定法完成了相机标定,以及利用直接标定法进行线激光平面方程标定。同时,设计了双目结构光视觉系统,并采用张正友标定法完成了系统标定。(2)针对工业生产对焊缝检测的需求,本文基于线结构光视觉系统设计了焊缝检测算法。首先,采用中值滤波去除焊缝图像中的噪声,并利用OTSU法将激光条纹与图像背景分离。为去除图像中的孤岛噪声,本文提出了一种基于连通域分析去除孤岛噪声法。接着,采用几何中心法提取激光条纹中心线,减少了图像中的冗余信息。最后,根据焊缝类型,提出了一种基于夹角余弦值的焊缝特征点提取算法,完成了焊点坐标的提取。(3)针对线结构光视觉系统实时性较低的问题,本文基于双目结构光视觉系统设计了焊缝检测算法。将网格结构光引入双目视觉系统中,并利用自适应阈值法以及面积滤波提取网格条纹。接着,通过对Zhang-Suen算法进行优化,可以在去除毛刺的同时细化网格条纹。并提出了一种基于模板搜索的节点提取算法,将提取到的网格节点作为特征点,并建立网格节点的拓扑结构,完成了立体匹配工作,生成工件表面的稀疏点云。然后,通过对点云求取法向量和曲率,并以此为特征向量,结合区域生长算法完成了点云分割。最后,对同一区域的点云利用最小二乘法求出拟合平面方程,并求出两个平面的交线以及端点,最终完成了焊缝位置的检测工作。(4)为了评估两套系统的焊缝检测性能,本文搭建了线结构光视觉系统和双目结构光视觉系统的实验平台,并以V型焊缝为对象,设计了焊缝检测实验。经实验验证,线结构光视觉系统和双目结构光视觉系统均可以满足对焊缝检测精度的要求,并且,双目结构光视觉系统具有更高的实时性。

基于结构光视觉的焊缝检测系统设计与实现

这是一篇关于结构光视觉,焊缝检测,系统标定,焊点提取,立体匹配,点云分割的论文, 主要内容为焊接在工业中发挥着举足轻重的作用,国内很多焊接工作仍采用手工焊接或示教型机器人焊接的方式完成,效率低下。作为第三代焊接设备,自主焊接机器人借助机器视觉技术获取焊缝位置信息,提高了焊接机器人的智能性以及工作效率。本文将结构光视觉技术应用于焊缝检测系统,通过图像处理算法,实现焊缝位置的实时检测。本文主要研究内容如下:(1)简要介绍相机成像模型,在此基础上设计了线结构光视觉系统,并采用张正友标定法完成了相机标定,以及利用直接标定法进行线激光平面方程标定。同时,设计了双目结构光视觉系统,并采用张正友标定法完成了系统标定。(2)针对工业生产对焊缝检测的需求,本文基于线结构光视觉系统设计了焊缝检测算法。首先,采用中值滤波去除焊缝图像中的噪声,并利用OTSU法将激光条纹与图像背景分离。为去除图像中的孤岛噪声,本文提出了一种基于连通域分析去除孤岛噪声法。接着,采用几何中心法提取激光条纹中心线,减少了图像中的冗余信息。最后,根据焊缝类型,提出了一种基于夹角余弦值的焊缝特征点提取算法,完成了焊点坐标的提取。(3)针对线结构光视觉系统实时性较低的问题,本文基于双目结构光视觉系统设计了焊缝检测算法。将网格结构光引入双目视觉系统中,并利用自适应阈值法以及面积滤波提取网格条纹。接着,通过对Zhang-Suen算法进行优化,可以在去除毛刺的同时细化网格条纹。并提出了一种基于模板搜索的节点提取算法,将提取到的网格节点作为特征点,并建立网格节点的拓扑结构,完成了立体匹配工作,生成工件表面的稀疏点云。然后,通过对点云求取法向量和曲率,并以此为特征向量,结合区域生长算法完成了点云分割。最后,对同一区域的点云利用最小二乘法求出拟合平面方程,并求出两个平面的交线以及端点,最终完成了焊缝位置的检测工作。(4)为了评估两套系统的焊缝检测性能,本文搭建了线结构光视觉系统和双目结构光视觉系统的实验平台,并以V型焊缝为对象,设计了焊缝检测实验。经实验验证,线结构光视觉系统和双目结构光视觉系统均可以满足对焊缝检测精度的要求,并且,双目结构光视觉系统具有更高的实时性。

基于结构光和立体视觉的三维重建系统研究

这是一篇关于三维重建,立体视觉,立体标定,立体匹配,SGM算法的论文, 主要内容为随着生产生活的智能化提高,三维重建技术在众多领域的需求增大,在机器视觉、医疗卫生、航空航天、工业生产、自动驾驶等方面起着越来越重要的作用。几十年来,三维重建技术发展迅速,衍生了几十上百种三维重建方法。其中,基于结构光和立体视觉的三维重建技术具有成本低廉、测量精度高以及适应高速三维重建而逐渐成为热点。本文对基于结构光和立体视觉的三维重建系统进行研究,对立体标定算法以及立体匹配算法进行研究,并完成了三维重建系统的设计与实现及测试分析。本文的主要工作分为以下三个方面:(1)针对传统标定法标定精度不高及SGM立体匹配算法的效果和性能不足问题。首先,改进了“张氏”标定法,在标定方式上提出了以“九宫格”方式进行全方位充分标定,在畸变模型中加入切向畸变和误差因子进一步提升标定精度;其次,改进了SGM立体匹配算法,在代价计算的步骤中以Census变换替代互信息计算的方式,在路径聚合中以四路径聚合的方式对立体匹配算法进行改进;最后,通过实验,改进立体标定算法比“张氏”标定法在重投影误差上降低了6.6%,提升了标定精度,改进立体匹配算法比SGM算法降低了1.1%误匹配率、提升了6.8%匹配效率,验证了本文改进立体标定算法和改进立体匹配算法的有效性。(2)对基于双目结构光的三维重建系统进行设计与实现,包括系统的需求分析、架构设计、功能模块设计及系统详细设计。硬件系统上通过计算确定硬件系统中相机、投影仪的各项参数设置值,为相机的设置及各硬件的角度、距离设置提供了依据。其次,本文开发了基于C++以及Open CV图形库的三维重建系统,具备图像采集、图像处理、立体匹配及三维重建等功能。软硬件结合的三维重建系统为数据获取和三维重建计算提供了平台基础。(3)对本文的三维重建系统进行测试及分析,按照需求分析和系统设计的指标,测试系统各项功能的完备性。经过测试,本文三维重建系统符合设计要求,可以实现各项功能,完成最终三维重建的目标。