基于双目视觉的码垛区域智能安防系统设计与实现
这是一篇关于智能安防系统,双目视觉,Mask R-CNN,微服务框架,智能网关的论文, 主要内容为随着码垛机在制造业的广泛使用,码垛区域安防系统也备受关注。为消除码垛区域内机械臂对工作人员的安全隐患,传统安防系统主要依赖红外对射探测器、地毯式压力传感器等获取人与机械臂的相对位置,但是这些方法对工厂环境要求高,现场安装复杂,同时也不利于系统后期的远程维护和性能升级。本文以此为背景,完成设计了一套基于双目视觉的智能安防系统,使用人工智能技术对工作人员实现目标识别和测距,结合工业互联网技术实现对码垛机的智能控制。主要研究内容如下:(1)基于双目视觉的目标测距研究与设计。首先对比了三种视觉测距方法,根据生产现场环境选用双目视觉。其次分析了双目测距原理,确定计算深度所需参数为基线、相机焦距和视差值。然后根据市场调查,进行硬件选型。接着对硬件进行标定实验,获取其基线和焦距。对比多种目标检测算法,选用Mask R-CNN完成目标检测;为了实现高效率、高精度的实时追踪,对切片上的人类姿态以时间信息进行积分和轻量化的特征点链接。对比三种立体匹配算法,选用BM(Bidirectional Matching)求得检测目标的视差值。该方法解决了传统方法的准确率低、安装环境要求高和拓展性差等问题。(2)基于Spring Cloud的数据处理平台部署。根据对当前后端框架的技术研究,为保证可用性和拓展性,选用了目前较流行的Spring Cloud微服务框架。根据系统需要,对Eureka服务注册中心、Feign服务调用、Hystrix服务降级与熔断、Gateway智能网关等主要服务进行分析和部署。根据适用场景对TimescaleDB数据库进行设计。在云服务器上搭建RabbitMQ中间件,采用消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)协议实现了云平台与测距模块、智能网关的数据通信。该平台实现了数据存储、计算以及多模块的智能生态集成。(3)基于Python-snap7的智能网关搭建。综合考虑价格和功能两方面因素,选用树莓派(Raspberry Pi)作为网关硬件。面向西门子S7系列的可编程逻辑控制器(Programmable Logic Controller,PLC),使用 Python-snap7库函数实现网关与 PLC 之间的数据交互;使用 RNDIS(Remote Network Driver Interface Specification)协议实现 Raspberry Pi 的无线 4G 通信;使用基于内网穿透技术的ZeroTier对网关进行统一管理。该网关解决了第三方网关的不稳定和数据传输延时较高等问题。(4)系统整体测试。对测距模块进行静态测试和动态测试;对整体系统进行时效性测试和功能测试。由实验结果得:测距模块在5m内误差小于10%,2m内的误差小于5%;每帧图片的检测时间小于0.1s;从视频输入到PLC收到执行指令的时间小于0.5s。结合实际情况对实验结果进行分析,当码垛机正常工作时,该系统可保障目标区域内工作人员的安全。
基于双目视觉的码垛区域智能安防系统设计与实现
这是一篇关于智能安防系统,双目视觉,Mask R-CNN,微服务框架,智能网关的论文, 主要内容为随着码垛机在制造业的广泛使用,码垛区域安防系统也备受关注。为消除码垛区域内机械臂对工作人员的安全隐患,传统安防系统主要依赖红外对射探测器、地毯式压力传感器等获取人与机械臂的相对位置,但是这些方法对工厂环境要求高,现场安装复杂,同时也不利于系统后期的远程维护和性能升级。本文以此为背景,完成设计了一套基于双目视觉的智能安防系统,使用人工智能技术对工作人员实现目标识别和测距,结合工业互联网技术实现对码垛机的智能控制。主要研究内容如下:(1)基于双目视觉的目标测距研究与设计。首先对比了三种视觉测距方法,根据生产现场环境选用双目视觉。其次分析了双目测距原理,确定计算深度所需参数为基线、相机焦距和视差值。然后根据市场调查,进行硬件选型。接着对硬件进行标定实验,获取其基线和焦距。对比多种目标检测算法,选用Mask R-CNN完成目标检测;为了实现高效率、高精度的实时追踪,对切片上的人类姿态以时间信息进行积分和轻量化的特征点链接。对比三种立体匹配算法,选用BM(Bidirectional Matching)求得检测目标的视差值。该方法解决了传统方法的准确率低、安装环境要求高和拓展性差等问题。(2)基于Spring Cloud的数据处理平台部署。根据对当前后端框架的技术研究,为保证可用性和拓展性,选用了目前较流行的Spring Cloud微服务框架。根据系统需要,对Eureka服务注册中心、Feign服务调用、Hystrix服务降级与熔断、Gateway智能网关等主要服务进行分析和部署。根据适用场景对TimescaleDB数据库进行设计。在云服务器上搭建RabbitMQ中间件,采用消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)协议实现了云平台与测距模块、智能网关的数据通信。该平台实现了数据存储、计算以及多模块的智能生态集成。(3)基于Python-snap7的智能网关搭建。综合考虑价格和功能两方面因素,选用树莓派(Raspberry Pi)作为网关硬件。面向西门子S7系列的可编程逻辑控制器(Programmable Logic Controller,PLC),使用 Python-snap7库函数实现网关与 PLC 之间的数据交互;使用 RNDIS(Remote Network Driver Interface Specification)协议实现 Raspberry Pi 的无线 4G 通信;使用基于内网穿透技术的ZeroTier对网关进行统一管理。该网关解决了第三方网关的不稳定和数据传输延时较高等问题。(4)系统整体测试。对测距模块进行静态测试和动态测试;对整体系统进行时效性测试和功能测试。由实验结果得:测距模块在5m内误差小于10%,2m内的误差小于5%;每帧图片的检测时间小于0.1s;从视频输入到PLC收到执行指令的时间小于0.5s。结合实际情况对实验结果进行分析,当码垛机正常工作时,该系统可保障目标区域内工作人员的安全。
基于双目视觉的无人车路障检测与识别研究
这是一篇关于双目视觉,相机标定,路障检测识别,特征匹配,双目测距的论文, 主要内容为随着社会经济与汽车制造业的不断发展,国内汽车保有量逐渐增加,人们的交通更加便利,但频繁的交通事故也随之而来。为减少行驶车辆碰撞事故的发生,具备环境感知能力的无人车辅助驾驶系统已成为目前汽车技术的发展方向。前方路障检测与识别技术是无人车环境感知系统的重要部分,利用双目视觉技术对路障进行检测是目前的研究热点。因此,本文基于双目视觉对车前方道路上的常见障碍物(如车辆和行人)进行检测与识别研究,主要包含以下内容:(1)分析双目视觉相关理论,完成双目相机标定实验。研究双目视觉领域中的四种基本坐标系及各坐标系之间的转换,分析相机线性与非线性的两种成像模型和基于平行双目视觉模型的测距原理。通过MATALB标定工具箱结合双目相机采集的多组标定板图像进行标定实验,获得路障测距所需的相机参数。(2)提出一种基于Mobile Net-YOLOv4的路障检测识别算法。针对YOLOv4庞大的网络参数量和模型体积而难以在设备上实时运行的问题,本文以Mobile Net为主干特征提取网络,将深度可分离卷积融入到YOLOv4的路径聚合网络与预测网络中,大幅度提升检测速度。同时为改善网络对路障尺度变化的适应能力,在预测网络前构建与不同尺度特点相适应的特征增强模块,提高了路障检测精度。通过实验证明,改进后的算法能较快地识别出路障,并提供较为准确的路障位置信息。(3)提出一种基于ORB的双目视觉路障测距算法。预先对相机采集的路障图像进行灰度化与滤波处理,并通过Open CV结合相机标定参数来校正双目图像,使其共面行对准。针对传统ORB算法存在大量误匹配的问题,本文利用路障检测提供的位置信息建立感兴趣区域,然后通过RANSAC算法以及阈值约束来优化ORB匹配算法,以获取对路障更具有代表性的视差信息,最后结合双目测距原理计算路障距离。经过实验验证,优化后的测距算法在改善测距精度的同时拥有较高的实时性。通过试验平台对实际道路场景下的行人、汽车、自行车、公交车和电动车五类常见障碍物进行多组不同距离的识别与测距试验,验证了本文的检测识别与测距算法在有效工作距离内,能基本满足对车前方路障的检测精度与实时性要求。
基于双目视觉的跳跃滑水测距系统设计与开发
这是一篇关于跳跃滑水,双目视觉,OpenCV,程序设计,计算机测距的论文, 主要内容为滑水运动是人借助动力的牵引,在水面上滑行的同时完成各种动作的体育运动,其中跳跃滑水项目是滑水运动中最具刺激性和观赏性的项目。上世纪九十年代,跳跃滑水成绩的测定使用经纬仪进行测距,虽然精度高,但操作难度大,也易出错。二十一世纪初,运用计算机和视频技术,采用单台摄像机的单目测距系统进行测距,操作简单,但测量精度不高,误差较大。现在国际滑水联合会的通行测距方式是通过二台摄像机的双目测距系统进行测距,从而做到操作简单,测量精度高。本研究将通过系统分析法、模型方法设计并开发一套适合国内比赛的双目测距系统,为国内的水上运动测距提供更多方案。根据国内比赛特点系统分别从软、硬件两个方面进行了设计。硬件设备主要由一台笔记本电脑,2个相同规格的摄像头,一台三脚架组合而成,除了参数规格要达到测距精度需求之外,还设计了一套硬件的组合方式以满足国内比赛环境的特殊需求;软件方面选择了图像处理性能强大的OpenCV库结合VS2013进行编译,程序在静态编译后可以在任何安装了WINDOWS64位操纵系统的电脑上运行,便于使用。系统利用双目摄像机建立空间坐标系来计算距离,将测距的实现分为了6个部分:场地设置、摄像机标定、立体匹配、视频获取、坐标计算、成绩公布。通过场地设置放置浮标确定镜头拍摄的位置并测试;通过摄像机标定校正摄像头的内外参数;通过立体匹配获得视差变量;通过视频获取截取要测量的图像;通过坐标计算得到落水点的空间坐标算出运动员的跳跃成绩;通过成绩公布发布成绩。保证每一流程的正确运作,即可得到高精度测距结果。本研究所设计的系统已经实现了双目测距,并且本系统的测距模式是针对国内跳跃滑水比赛特点所设计,符合国内比赛的需求。对比目前国内使用的单目测距系统本系统人工定位操作更少,测距过程更加简单,虽然实际测距中存在各种误差,但双目测距的理论精度可达毫米级别,具有良好的发展前景。
基于FPGA的双目视觉系统设计及立体匹配算法研究
这是一篇关于双目视觉,立体匹配,现场可编程门阵列,卷积神经网络的论文, 主要内容为物体的深度信息在三维重建、机器人导航和自动驾驶等计算机视觉任务中发挥着重要的作用。近年来,双目立体视觉作为一种从立体图像对中获取深度信息的技术,被广泛地应用到各个领域。然而双目立体视觉仍存在一些技术难题,例如难以在资源有限的硬件平台上实现实时的立体视觉系统、现有的系统算法在病态区域匹配精度较低等,使得双目立体视觉在实际场景中的应用受到了限制,本文围绕着上述问题进行了研究,主要工作如下:本文基于FPGA硬件平台搭建了一个完整的双目立体视觉系统,该系统在基于动态规划的全局立体匹配算法的基础上,利用高层次综合工具对立体匹配核心IP进行了设计与优化。实验结果表明:系统中立体匹配模块的吞吐率为690×480/75.5fps,每一千个查找表单元每秒产生的百万视差为90.7,所设计的立体匹配IP核在计算速度和硬件成本间取得了较好的平衡。随后,鉴于传统几何立体匹配算法在病态区域匹配性能较差,影响了系统的整体精度。本文提出了一种基于卷积神经网络的算法MDA-Net,引入了双路径上采样模块和注意力引导的上下文感知金字塔特征提取模块,通过融合不同尺度的语义特征,增强了算法在病态区域的特征提取能力。在KITTI 2015数据集上进行的消融实验结果表明,所提出的模块能够分别减少约8.04%和4.37%的误差,MDA-Net在KITTI 2012测试集上视差图的全局三像素误差为1.76%,单张视差图运算时间为0.4s,在相当运行时间下获得了更精确的视差图。
基于深度学习的双目视觉立体匹配算法研究
这是一篇关于双目视觉,深度估计,立体匹配,卷积神经网络,注意力机制,Transformer的论文, 主要内容为自深度学习被应用到立体匹配领域以来,立体匹配算法的精度得以大幅提升但仍存在运行速度慢、显存消耗较多、脱离实际应用场景、快速算法匹配精度较低等问题。针对上述问题,本文在捕获特征图显著特征,增强左、右图信息交互和减少计算成本三个方面开展了深入研究,主要内容如下:(1)针对运行速度慢、显存消耗较多和为降低计算量预设视差搜索范围导致脱离实际应用场景等问题,提出了一种结合多重注意力和迭代优化的立体匹配算法(Multiple Attention and Iterate Residual Net,MAIRNet)。该算法包含的交叉注意力模块可以更有效聚合左、右图之间的全局特征信息,并生成无视差范围限制的视差图;迭代残差优化模块只在最小尺度上生成稠密视差图,通过迭代方式逐步恢复视差分辨率,减少了计算成本和显存消耗;上下文注意力模块能捕获动、静态上下文特征信息,减少了浮点运算数量和参数量。(2)针对由粗到细的迭代算法匹配误差累积和左、右图匹配缺乏足够特征信息等问题,提出了一种多层视差残差优化的快速立体匹配算法(Adaptive Iterate Residual optimization Fast Net,AIRFNet)。该算法包含的的双重注意力引导的特征聚合模块可对多尺度特征映射进行自适应聚合;自适应交叉十字匹配模块可以在不同阶段以匹配点为中心设计不同大小的交叉十字,提高了算法的匹配精度和鲁棒性;自适应视差范围估计模块可在多层残差优化模块中根据本阶段的错误视差自适应调整下一阶段的视差搜索空间,在提高视差图分辨率的同时减少了计算量。本文分别在Scene Flow、KITTI2012和KITTI2015三个数据集上对所提算法进行了评估。实验结果表明,MAIRNet算法与AANet算法、LEAStereo算法和STTR等算法相比,精度平均提高了0.02%,同时运行速度平均提高了42%,生成了无视差范围限制的特征图;AIRFNet算法与AAFS算法、RLStereo算法和BGNet等算法相比精度提高了0.2%,同时运行速度提高了49%,实现了在边缘设备上的快速运行。
基于深度学习的双目视觉煤矿井下人员定位研究
这是一篇关于井下人员定位,双目视觉,深度学习的论文, 主要内容为煤炭是我国的主体能源,提高煤炭资源安全生产水平一直是国家关注的重点,井下人员定位是安全生产的重要组成部分,在煤矿井下环境下实现煤矿工人实时高精度的定位对保护煤矿工人人身安全、提高安全生产效率具有重要意义。双目视觉定位相比较于其他的无线定位技术,在定位精度方面存在优势。当前对双目视觉的研究主要集中在自动驾驶、三维重建等方面,缺乏对井下人员定位的研究。受井下特殊环境的影响,双目视觉定位目前面临两方面的问题:(1)井下矿工工服与环境颜色相似,并且存在粉尘等干扰,人员隐蔽性强,井下人员检测比较困难。(2)井下的暗光环境使得矿工服饰反射能力减弱,工服呈现弱纹理和复杂纹理状态,导致缺乏立体匹配所需的特征,从而影响定位精度。本文针对上述问题开展研究,主要内容如下:(1)针对井下特殊环境导致人员漏检测的问题,本文提出基于图像自适应增强的目标检测方法。利用大气散射模型,分析井下粉尘和暗光干扰下的图像成像过程和噪声特点,进而设计用于去粉尘、提升亮度的滤波器。利用小型卷积神经网络优化图像滤波器参数,并采用公共数据集和自制数据集混合训练的方式训练网络模型。实验结果表明,本文提出的检测方法比YOLOv5准确率提升了6.5%,验证了本文方法对提升井下人员检测准确率的有效性。(2)针对井下弱光环境下,矿工工服的弱纹理和复杂纹理导致误匹配影响定位精度的问题,本文提出基于细节增强的Disp-Net C立体匹配方法。在保留Disp-Net C网络计算速度优势的基础上,对原有的孪生双链路结构进行改进。利用混合注意力机制加强模型对空间和通道等细节特征的提取能力,解决了原有网络卷积块提取特征单一的问题。提出了多尺度的图像特征提取网络,提取图像不同尺度的信息加以融合,加强了图像特征的表征能力,缓解复杂纹理和弱纹理区域误匹配的问题。利用公共数据集和自制数据集混合训练的方式训练网络模型。在不同光照强度下对定位精度的影响展开了实验探究,实验结果表明在50lx-100lx光照范围内,本文定位方法的平均误差为8.9cm,与基准方法相比,定位精度提高了5.3%。(3)由于检测框区域立体匹配存在大量冗余计算,导致了定位速度低,针对此问题,本文采用融合定位方法对其进行解决。通过减少匹配像素点,来避免图像背景区域和人员边缘区域视差值的冗余计算,从而提高了双目视觉的定位速度。最后通过实验对定位方法进行对比测试。结果表明,本文提出的定位方法与检测框匹配定位方法在定位速度方面提升了45%。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码客栈网 ,原文地址:https://bishedaima.com/lunwen/48392.html