结合3D视觉与深度学习的机械臂应用研究
这是一篇关于机械臂系统,深度学习,三维信息测量,RGB-D相机,相机标定的论文, 主要内容为2015年,国务院发布了《中国制造2025》,文件中明确指出,机器人技术是我国未来在高新技术领域的一个重要发力点。作为机器人的一个重要分支,机械臂因为其机构的灵活性,被广泛应用在工业领域中。近年来,我国电商的迅速崛起使得物流行业的分拣业务量爆发式增长,传统的人工分拣模式正逐步被淘汰,机械臂,特别是结合了人工智能技术的智能机械臂将在此领域大有可为。本文以包装盒为研究对象,采用RGB-D深度相机、深度学习技术以及改进的RRT路径规划算法,在传统机械臂的基础上进行了算法改进,可以实现物体的自动检测与抓取。主要研究内容包括:1)针对物流行业的分拣业务实际流程,设计了智能机械臂系统的总体架构。2)采用张正友标定法对深度相机进行标定,实现了红外深度图像与可见光图像的像素点配准。3)采集了实验对象的样本图片,用于YOLOv3的模型的训练与测试。结合YOLOv3的目标检测区域和深度信息进行计算得到目标的三维大小和体积大小。通过目标三维大小和深度距离信息,得到目标中心点在相机坐标系下的位置坐标从而确定抓取位置。4)利用MoveIt仿真工具和AR标签进行手眼标定,实现相机坐标系到机械臂基坐标系的空间映射。针对传统RRT算法的不足,将改进的BRRT*路径规划算法应用于机械臂的抓取避障研究,实现了包裹的自动抓取。为了验证本文智能机械臂系统的有效性,对于智能机械臂系统各模块分别进行了实验。实验结果表明,本文提出的智能机械臂系统的视觉检测准确率较高。对于正面摆放的五类包装盒,其识别和分类准确率在90%以上,平均目标识别准确率在96%以上,满足实际分拣需求。在目标三维信息的测量方面,测量平均误差在3%以下,精度优于现有的一些基于结构光的方法。机械臂运动控制部分,采用的路径规划算法相比传统算法能够有效减少计算时间并且优化最终路径质量,平均抓取成功率在98%以上。因此,本文提出的智能机械臂系统能够满足物流行业对于包裹自动分拣的实际需求。
挂面高速定量系统关键技术研究
这是一篇关于挂面定量,图像处理,计数,相机标定,OpenCV,有限元分析,模态分析的论文, 主要内容为挂面定量包装过程通常包括多个工艺过程,如计量、捆扎、取袋、撑袋、填充、封口等,整个包装过程的包装速度受到定量计量速度的制约,所以定量速度直接影响着挂面包装机的效率。针对当前称重定量速度低的问题,提出一种粗加料定体积、细加料计数定量的计量方法。本文以挂面细加料根数计数作为关键技术进行重点研究,另外再研究挂面高速定量系统整体方案和关键结构有限元分析。基于图像处理方法完成挂面计数,具体方法为:首先构建基于图像处理的挂面计数系统,包括挂面计数系统硬件结构设计和搭建软件开发环境,为后续的图像预处理、基于图像处理的挂面计数研究和相机标定实验打下基础。然后对图像进行预处理,提高图像处理速度,消除图像中无关的信息,减小干扰。预处理主要包括灰度化处理、图像滤波去噪处理、二值化处理和形态学操作等。再后进行基于图像处理的挂面计数研究,包括图像分割和连通域标记,解决挂面计数过程中的难点去除粘连,最后基于连通域方法计数,确定目标值处的挂面的位置。最后进行挂面计数系统相机标定实验,建立图像空间与实际空间中的尺寸转换关系,使目标值处的挂面位置转换到实际空间位置,以便截取机构能够截取出目标挂面达到计量目的。运用定体积粗加料、计数定量细加料的计量方法,定量速度提高10%左右。本文主要研究内容及结论如下:1.进行挂面的计量及包装现状分析。明确挂面包装的工艺过程,设计挂面高速定量系统总体方案。论述挂面高速定量系统总体和各个结构的工作原理。根据工作条件对挂面的流量、流速进行估算;根据双振动电机工作原理,阐述双振动电机直线振动工作台基本原理并且对振动电机进行选型。2.创建挂面高速定量系统整体三维模型并对关键构件进行有限元模拟分析,利用静力学分析方法得到滑槽的应力、应变云图;通过模态分析可以得到滑槽结构的固有频率和振型,经过分析后可以确定共振频率,尽可能避免这些频率附近的外部激励,对实际中的生产活动具有一定的指导作用。3.构建基于图像处理技术的挂面根数计数系统。具体内容主要涉及对挂面计数系统的技术总体整体研究、挂面计数系统硬件架构设计,以及软件开发环境的构建。硬件结构设计主要涉及照明系统、工业相机选型,以及计算机配置。而软件环境构建则包括确定以Pycharm为主要开发环境,以Python语言进行程序设计,并同时结合了OpenCV开源视觉库。4.对图像进行预处理,提高图像处理速度,消除图像中无关的信息,减小干扰。预处理过程主要包括灰度化处理、图像滤波去噪处理、二值化处理和形态学操作。借助Python以及OpenCV编写程序进行算法实现,并且对不同大小卷积核的去噪效果进行对比分析。5.基于图像处理技术的挂面计数研究。为了解决挂面计数过程中粘连难点,需要进行去粘连处理。运用距离变换的方法进行图像分割,介绍距离变换原理以及借助OpenCV库编写程序进行算法实现。之后进行边缘检测,介绍基于各种算子的边缘检测算法原理和编写程序进行算法实现,对比不同算子的边缘检测结果。最后进行基于连通域方法的挂面计数,获取目标值挂面所在位置。6.挂面计数系统相机标定实验。标定方法使用张正友标定法,设计程序获取标定板上各角点亚像素坐标,计算出每个格子所占的像素,得出像素当量值。建立图像空间与实际空间中的尺寸转换关系,使目标值处的挂面位置转换到实际空间位置。
基于双目视觉的无人车路障检测与识别研究
这是一篇关于双目视觉,相机标定,路障检测识别,特征匹配,双目测距的论文, 主要内容为随着社会经济与汽车制造业的不断发展,国内汽车保有量逐渐增加,人们的交通更加便利,但频繁的交通事故也随之而来。为减少行驶车辆碰撞事故的发生,具备环境感知能力的无人车辅助驾驶系统已成为目前汽车技术的发展方向。前方路障检测与识别技术是无人车环境感知系统的重要部分,利用双目视觉技术对路障进行检测是目前的研究热点。因此,本文基于双目视觉对车前方道路上的常见障碍物(如车辆和行人)进行检测与识别研究,主要包含以下内容:(1)分析双目视觉相关理论,完成双目相机标定实验。研究双目视觉领域中的四种基本坐标系及各坐标系之间的转换,分析相机线性与非线性的两种成像模型和基于平行双目视觉模型的测距原理。通过MATALB标定工具箱结合双目相机采集的多组标定板图像进行标定实验,获得路障测距所需的相机参数。(2)提出一种基于Mobile Net-YOLOv4的路障检测识别算法。针对YOLOv4庞大的网络参数量和模型体积而难以在设备上实时运行的问题,本文以Mobile Net为主干特征提取网络,将深度可分离卷积融入到YOLOv4的路径聚合网络与预测网络中,大幅度提升检测速度。同时为改善网络对路障尺度变化的适应能力,在预测网络前构建与不同尺度特点相适应的特征增强模块,提高了路障检测精度。通过实验证明,改进后的算法能较快地识别出路障,并提供较为准确的路障位置信息。(3)提出一种基于ORB的双目视觉路障测距算法。预先对相机采集的路障图像进行灰度化与滤波处理,并通过Open CV结合相机标定参数来校正双目图像,使其共面行对准。针对传统ORB算法存在大量误匹配的问题,本文利用路障检测提供的位置信息建立感兴趣区域,然后通过RANSAC算法以及阈值约束来优化ORB匹配算法,以获取对路障更具有代表性的视差信息,最后结合双目测距原理计算路障距离。经过实验验证,优化后的测距算法在改善测距精度的同时拥有较高的实时性。通过试验平台对实际道路场景下的行人、汽车、自行车、公交车和电动车五类常见障碍物进行多组不同距离的识别与测距试验,验证了本文的检测识别与测距算法在有效工作距离内,能基本满足对车前方路障的检测精度与实时性要求。
基于ROS和YOLOv5的工厂零件机械臂分拣系统设计与实现
这是一篇关于六自由度机械臂,ROS,目标检测模型,零件分拣,相机标定的论文, 主要内容为智能制造是中国制造2025、中国制造2035的发展方向,工业生产智能化需要机器人代替人工,减少人工作业、保证重复精度和提升产品质量。机器分拣系统广泛应用于组装类产品的生产过程。现有机器分拣系统存在着使用示教器控制、组装过程动作少和程序固定等问题。本文采用ROS、相机标定和机器视觉等技术,搭建了带视觉追踪和控制功能的机械臂分拣系统,实现分拣流程智能化与专业化。主要工作如下:(1)围绕抓取目标对象的工作环境与节拍特征,设计了包括六轴机器人,DS-E12S单目相机,末端执行器和ROS平台在内的机械臂分拣系统;通过性能比较分析与实验验证,确定设备选型和ROS作为控制系统,并完成系统的应用软件设计。(2)为了准确抓取目标零件,本文通过建立相机成像模型、相机标定、手眼标定等动作,获取目标零件与机械臂基座之间的变换矩阵;利用ROS中的Moveit模块,进行正逆运动学解析,获取机械臂系统的目标位姿和运动过程关节目标角度。在ROS环境下,通过编写URDF模型文件及配置,搭建机械臂系统模型;利用V-rep获取机械臂重量等参数信息,改进机械臂系统模型;使用Rviz显示模型。(3)选定YOLOv5目标检测算法识别零件,通过采集7326张零件图片,制备零件数据集,训练YOLOv5模型,实现目标零件的检索;使用Mobilenetv3替换YOLOv5的BN层,改进并训练目标检测模型,改进后的模型参数量减少了49.78%,模型大小减少了47.51%,FPS速度提升了25%,计算量减少了61.39%。实现了YOLOv5模型轻量化。(4)搭建机械臂分拣系统,利用ROS特有的TF工具和Topic话题通信,完成目标检测与抓取控制的通信,实现零件分拣与系统验证。研究结果表明,该系统已具备分拣能力,实现了识别目标零件、避免碰撞,将目标零件拾取并放置在规定位置上等功能,抓取动作准确,精度高;改进的YOLOv5模型占空间小,实现了嵌入式系统应用;利用V-rep获取机械臂重量信息,提升了机械臂控制的准确度。
激光微纳加工中视觉辅助的高精度校正方法研究
这是一篇关于振镜系统,激光微纳加工,视觉算法,二次曲线拟合,相机标定的论文, 主要内容为振镜系统是激光微纳加工中的核心,由于其自身的映射非线性会导致激光扫描图形发生畸变,进而会极大地影响加工精度,故对振镜系统进行补偿校正尤为重要,而校正过程中如何精确的提取特征点是关键。对此,传统激光加工的畸变校正过程采用的是测量效率低、精度不高的人工测量特征点的方法。基于此,本文研究的是基于视觉辅助的高精度校正的方法,主要研究内容包含以下几个方面:(1)搭建激光微纳加工视觉平台。对激光微纳加工系统的工作原理进行研究,采取在激光打标机平台上增加一个相机系统的方式来完成平台的搭建。基于QT框架开发一款视觉辅助软件,以便于视觉算法的设计及调试,并实现半自动化的校正功能。(2)基于OpenCV方法开展校正中的视觉算法研究。借助我们开发的视觉辅助软件,对图像预处理进行理论研究,设计出基于Hough算法和细化算法的两种网格点识别算法。考虑算法的通用性后,采取基于细化算法的网格点识别方法,实现标刻图案的特征点检测功能。并针对由于相机特性导致的图像暗角问题,提出一种利用二次曲线拟合的思想,实现暗角区域格点的补偿识别。(3)针对激光扫描图形畸变设计出校正方案,并开展校正实验。该方案从相机标定和振镜校正两个部分展开。首先采用DM码棋盘格标定板来完成相机的标定,其中设计并实现了该标定板的特征点检测模型。然后通过对激光扫描图形畸变原理的研究,采用基于双线性插补的网格校正法来实现对激光落点的补偿校正。(4)对研究结果进行展示与分析。将本文采用的相机标定方法结果与MATLAB标定进行对比分析,得出基于DM码棋盘格标定板的标定方法具有更高的精度。并针对暗角问题设计出对比实验,分析结果后得出该方法满足较高的精度要求。最后对校正后的误差进行评估,结果满足高精度加工应用的需要,从侧面验证了标刻网格点识别算法的可行性。
机器人柔性快速上料系统设计与开发
这是一篇关于强化学习,机器人柔性快速上料系统,SARSA算法,Q-learning算法,相机标定的论文, 主要内容为现如今随着工业制造产业的快速发展,对多数制造业公司来说,装配成本已成为主要生产成本之一。如何让装配过程更加节省人力成本和提高生产效率是制造业公司集中关注的问题。上料是装配中的重要一环,传统上料普遍用人工方式进行,随着科技发展人工上料被自动化上料所替代,机器人柔性快速上料系统就是一种通过振动等方式改变料件姿态并利用机械手将料件抓取到设定位置的自动化上料设备,一般由振动分料系统、视觉识别系统、控制系统和机器人抓取系统组成,振动分料系统中的振动参数的合适与否直接影响上料系统的上料速度,相比于人工上料,机器人柔性快速上料系统上料速度较快,但现有机器人柔性快速上料系统在振动参数的调试上采用的是人力进行逐一振动参数调试,存在耗人力、效率低和低灵活性等问题,并且无法满足短期大批量不同规格的机器人柔性上料系统的出厂需求。因此研究如何提高机器人柔性快速上料系统的振动参数优化速度和灵活性很有必要。首先,本文进行了机器人柔性上料系统的硬件搭建,利用音圈电机作为上料系统的振动源,选配合适的电机驱动器来调控音圈电机,并用PLC对所有音圈电机的振动参数进行控制。为更好的对料件的姿态进行识别,对光源、工业相机和镜头进行选取,进行机器人柔性快速上料系统的整体路线连接,完成上料系统的软硬件联通以及各软件间的通讯,实现机器人柔性快速上料系统的振动功能。其次,本文将强化学习加入机器人柔性快速上料系统的振动参数的优化上,基于机器人柔性上料系统自身特性,进行强化学习中的SARSA算法改进,设定每情节期望总步数,并将每次系统振动后得到满足抓取条件的料件个数反馈到算法的奖励函数和ε-贪婪函数中进行SARSA算法优化,通过实验调试实现机器人柔性上料系统在一定振动次数后能得到较多的满足条件抓取料件,避免人工进行逐一振动参数调试,令机器人柔性快速上料系统在振动参数调试上具有自学习能力,减少人工在上料系统振动参数调试上的参与度。相较于传统SARSA算法,本文提出的改进SARSA算法在上料系统振动参数优化速度上更快。为进一步提高机器人柔性上料系统振动参数优化效率和工作效率,本文结合料件的位置信息来改进强化学习中的Q-learning算法,提出QPD(Q-learning Position Distance)算法和QPN(Q-learning position number)算法,两种算法将系统振动后的料件位置信息加入奖励函数并分别进行优化,根据每情节满足抓取条件的料件个数来对贪婪值ε进行调整,使得机器人柔性快速上料系统能在较少振动次数内得到较多满足抓取条件的料件,同时利用强化学习算法对料件位置进行控制。QPD算法和QPN算法优化后的振动参数振动后得到满足抓取条件的料件离机械手起始点像素平均距离小于最长平均像素距离的振动次数占实验总振动次数的比重为24.35%、26.07%,相比于传统Qlearning算法的7.8%要多,表明QPD算法和QPN算法得到满足抓取条件的料件离机械臂起始点距离较近的概率更高,从而减少机械手运动时间,并增加系统工作效率。最后,本文总结所做研究并进行机器人柔性快速上料系统未来研究方向的展望。
激光微纳加工中视觉辅助的高精度校正方法研究
这是一篇关于振镜系统,激光微纳加工,视觉算法,二次曲线拟合,相机标定的论文, 主要内容为振镜系统是激光微纳加工中的核心,由于其自身的映射非线性会导致激光扫描图形发生畸变,进而会极大地影响加工精度,故对振镜系统进行补偿校正尤为重要,而校正过程中如何精确的提取特征点是关键。对此,传统激光加工的畸变校正过程采用的是测量效率低、精度不高的人工测量特征点的方法。基于此,本文研究的是基于视觉辅助的高精度校正的方法,主要研究内容包含以下几个方面:(1)搭建激光微纳加工视觉平台。对激光微纳加工系统的工作原理进行研究,采取在激光打标机平台上增加一个相机系统的方式来完成平台的搭建。基于QT框架开发一款视觉辅助软件,以便于视觉算法的设计及调试,并实现半自动化的校正功能。(2)基于OpenCV方法开展校正中的视觉算法研究。借助我们开发的视觉辅助软件,对图像预处理进行理论研究,设计出基于Hough算法和细化算法的两种网格点识别算法。考虑算法的通用性后,采取基于细化算法的网格点识别方法,实现标刻图案的特征点检测功能。并针对由于相机特性导致的图像暗角问题,提出一种利用二次曲线拟合的思想,实现暗角区域格点的补偿识别。(3)针对激光扫描图形畸变设计出校正方案,并开展校正实验。该方案从相机标定和振镜校正两个部分展开。首先采用DM码棋盘格标定板来完成相机的标定,其中设计并实现了该标定板的特征点检测模型。然后通过对激光扫描图形畸变原理的研究,采用基于双线性插补的网格校正法来实现对激光落点的补偿校正。(4)对研究结果进行展示与分析。将本文采用的相机标定方法结果与MATLAB标定进行对比分析,得出基于DM码棋盘格标定板的标定方法具有更高的精度。并针对暗角问题设计出对比实验,分析结果后得出该方法满足较高的精度要求。最后对校正后的误差进行评估,结果满足高精度加工应用的需要,从侧面验证了标刻网格点识别算法的可行性。
基于联合标定的车辆目标测距系统设计与实现
这是一篇关于测距系统,高频信号分析,Nvidia Jetson,相机标定,联合标定的论文, 主要内容为新一轮数字化技术发展背景下,高级驾驶辅助系统进一步发展,伴随传感器应用价格降低,使得相机和激光雷达越来越多的被用于高级驾驶辅助系统进行目标测距,测距系统呈现出智能化、多模态化。过去的测距系统大多仅使用了相机或仅用了激光雷达,对于仅使用相机的测距系统,其在测距时往往只能模糊的测量出距离相同的范围,在目标距离剧烈变化的边缘区域存在较大的检测误差;对于仅使用激光雷达的测距系统,会因为点云数据特有的稀疏性而造成信息的失真。高级驾驶辅助系统的应用场景扩展之后,单独使用一种传感器的测距系统已经无法应付其复杂的工作场景,如何克服这些问题成了高级交通辅助系统中测距功能研究的重点。为了克服相机和激光雷达单独进行车辆目标测距时存在的缺点,本文使用近年推出的高性能英伟达嵌入式平台结合Livox激光雷达设计了一个基于联合标定的车辆测距系统。该系统使用相机和激光雷达采集数据,使其可以克服单独使用相机或激光雷达带来的缺陷,让测距系统呈现多模态化并且精度更高。对基于联合标定的测距平台进行设计,设计主要分为硬件部分和软件部分。硬件部分以英伟达Jetson NX作为核心板,辅以电源电路和功能电路,其中功能电路包含了核心板接口电路、USB电路、Mini-HDMI电路、Mini-DP电路、网口电路和相机接口电路等,并介绍用于分析高频走线质量的阻抗匹配原理;软件部分从搭建片上系统出发,构建ROS、PCL和Open CV运行环境,借助C++语言实现相机标定、联合标定和测距功能,并介绍软件调试环境。对设计的硬件平台和软件系统进行实现和验证。硬件平台上部分涉及高频信号的走线使用ADS软件进行阻抗仿真。仿真结果以阻抗波形和反射信号衰减图形式输出,结合结果对高频信号传输进行分析,除此之外借助核心板上的系统对硬件平台上的USB、Mini-HDMI、Mini-DP、和网口等接口进行测试。软件平台上进行相机标定相关实验以验证方法的鲁棒性,对联合标定结果进行可视化以及测距系统的实现。经过测试,高频信号仅有少量的能量衰减,硬件平台上核心板、外围电路和硬件接口工作良好,本文使用的标定方法可以容忍一定的人为误差,使用该标定方法为基础实现的测距系统基本实现测距功能。
基于双目视觉的无人车路障检测与识别研究
这是一篇关于双目视觉,相机标定,路障检测识别,特征匹配,双目测距的论文, 主要内容为随着社会经济与汽车制造业的不断发展,国内汽车保有量逐渐增加,人们的交通更加便利,但频繁的交通事故也随之而来。为减少行驶车辆碰撞事故的发生,具备环境感知能力的无人车辅助驾驶系统已成为目前汽车技术的发展方向。前方路障检测与识别技术是无人车环境感知系统的重要部分,利用双目视觉技术对路障进行检测是目前的研究热点。因此,本文基于双目视觉对车前方道路上的常见障碍物(如车辆和行人)进行检测与识别研究,主要包含以下内容:(1)分析双目视觉相关理论,完成双目相机标定实验。研究双目视觉领域中的四种基本坐标系及各坐标系之间的转换,分析相机线性与非线性的两种成像模型和基于平行双目视觉模型的测距原理。通过MATALB标定工具箱结合双目相机采集的多组标定板图像进行标定实验,获得路障测距所需的相机参数。(2)提出一种基于Mobile Net-YOLOv4的路障检测识别算法。针对YOLOv4庞大的网络参数量和模型体积而难以在设备上实时运行的问题,本文以Mobile Net为主干特征提取网络,将深度可分离卷积融入到YOLOv4的路径聚合网络与预测网络中,大幅度提升检测速度。同时为改善网络对路障尺度变化的适应能力,在预测网络前构建与不同尺度特点相适应的特征增强模块,提高了路障检测精度。通过实验证明,改进后的算法能较快地识别出路障,并提供较为准确的路障位置信息。(3)提出一种基于ORB的双目视觉路障测距算法。预先对相机采集的路障图像进行灰度化与滤波处理,并通过Open CV结合相机标定参数来校正双目图像,使其共面行对准。针对传统ORB算法存在大量误匹配的问题,本文利用路障检测提供的位置信息建立感兴趣区域,然后通过RANSAC算法以及阈值约束来优化ORB匹配算法,以获取对路障更具有代表性的视差信息,最后结合双目测距原理计算路障距离。经过实验验证,优化后的测距算法在改善测距精度的同时拥有较高的实时性。通过试验平台对实际道路场景下的行人、汽车、自行车、公交车和电动车五类常见障碍物进行多组不同距离的识别与测距试验,验证了本文的检测识别与测距算法在有效工作距离内,能基本满足对车前方路障的检测精度与实时性要求。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设导航 ,原文地址:https://bishedaima.com/lunwen/54598.html