图像与点云数据融合的目标检测与跟踪方法研究
这是一篇关于环境感知,相机,激光雷达,数据融合,目标检测与跟踪的论文, 主要内容为近年来,自动驾驶技术备受关注。作为自动驾驶中至关重要的环节之一,环境感知技术将相机和激光雷达等传感器的数据进行融合,获取周围环境的关键信息,并通过算法对获取的数据进行处理。在感知技术中,道路上目标的检测与跟踪是其中的重要组成部分。实时、准确地对目标进行检测与跟踪,可以帮助自动驾驶系统做出正确、合理的规划与判断。本文对激光雷达的点云数据和相机的图像数据进行数据融合,完成目标的检测与跟踪,主要研究内容如下:(1)相机与激光雷达的时空同步。基于搭建的感知系统平台,利用平面标定板实现相机与激光雷达的联合标定,获得两传感器之间准确的变换关系,同时利用ROS系统中的多传感器时间同步机制实现时间对齐。(2)激光雷达点云障碍物检测。原始点云数据量庞大,会影响处理效率,本文首先使用patchwork地面分割算法提取出非地面点云,然后使用Z方向上的直通滤波和统计滤波算法滤除杂点与非感兴趣区域,最后使用改进的自适应阈值聚类算法来提高聚类精度,并为目标生成OBB包围盒,得到目标的三维信息。(3)基于改进YOLOv5算法的目标检测。为了提高算法的精度与速度,本文在YOLOv5s网络的基础上,引入轻量化主干网络Shuffle Net V2,CA注意力机制及Soft-NMS,对网络结构重新设计,得到SC＿YOLOv5s模型。在自制数据集上进行测试,检测精度达到了92.6%,比原始模型提升了2.2%,且参数量大幅下降。最后,利用Tensor RT进行模型部署加速推理速度。(4)图像与点云信息融合的检测与跟踪方法研究。本文将目标在点云中的包围盒中心点投影至图像,并通过设计的目标级融合策略完成目标的关联,结合两种传感器的信息提高检测精度,弥补单一传感器的漏检和误检。确定目标后,基于SC＿YOLOv5s检测器,通过Deep SORT算法进行目标跟踪,在级联匹配中引入空间距离,并结合激光雷达获取的深度信息改进二次匹配过程,实现完整的目标检测与跟踪。基于校园场景的实验结果表明,本文设计的基于图像与点云数据融合的目标检测与跟踪方法相比使用单一传感器有较大的优势,可实现对道路目标有效的检测和跟踪。此方法良好的性能为无人驾驶场景的实际应用提供了可行方案。
无人机车铁水运输可视化远程监控系统设计及实现
这是一篇关于铁水运输,环境感知,状态监测,远程监控的论文, 主要内容为在以信息促工业的发展背景下,我国大力推进物联网、大数据、人工智能等先进技术和传统工业的结合。钢铁行业作为国家支柱产业之一,加快钢铁企业的信息化智能化建设尤为重要。在钢铁企业中,铁水物流过程处于炼铁到炼钢之间,起到了承上启下的重要作用,现如今钢铁企业正逐步对铁水物流运输过程进行智能化、无人化改造,加之铁水运输区域环境的复杂性以及生产规模的扩大,企业对加强铁水运输过程的监控能力提出了更高的要求。但是目前,钢铁企业现有的监控系统存在功能缺失、信息孤立、架构落后等诸多问题,钢铁企业现有的监控系统已经不能适应企业对无人机车铁水运输过程的监控需要,因此利用成熟先进的技术对无人机车铁水运输过程进行远程实时监控具有非常重要的意义。本文以钢铁企业无人机车铁水运输过程监控为背景,分析了现阶段企业监控系统存在的不足,设计实现了无人化铁水运输远程监控系统。针对运输车辆远程监控能力不足的问题,从运输车辆环境感知、运输车辆状态监测、运行安全远程控制三个方面对该问题进行了解决,在车辆环境感知方面,建立了环境数据综合感知模型并采用基于深度学习的YOLO算法对运行机车前方的障碍目标进行检测;在运输车辆状态实时监测方面,建立了运输车辆数据监测模型,设计了监测数据实时传输方式以保证数据的实时传输;在运行安全远程控制方面,分析了现阶段无人机车铁水运输过程中存在的安全问题,设计了无人机车远程控制方式,增强了铁水运输过程的安全性。针对系统可视化能力不足的问题,采用了Web GIS对运行线路、车辆、工位进行可视化展示,采用Douglas-Peuker算法对车辆运行线路点位进行抽稀,降低了浏览器渲染压力。系统采用B/S架构设计,解决了系统的跨平台问题及工位间信息不共享的问题。针对企业无人机车铁水运输现状与现有监控系统不足提出系统设计需求,分析了系统搭建的关键问题,设计了系统整体硬件架构,设计了基于MVVM及SSM框架的系统软件架构,设计了REST风格的系统数据接口,完成了数据库的选型、数据模型建立以及表结构设计,完成了系统各功能模块详细设计,开发了无人化铁水运输远程监控系统并对系统功能和性能进行了测试,实现了对无人机车铁水运输全过程的远程监控。
基于环境感知的自动驾驶算法测试平台的设计与实现
这是一篇关于环境感知,测试平台,数据标注,多源数据,MinIO的论文, 主要内容为在非结构化场景下的环境感知算法中,对于数据集的多源性和数据集标注信息的精度有着较高的要求。现有的数据集多采用人工进行数据标注,耗时耗力,但是标注的效果往往不够理想。自动驾驶需求及技术的高速发展,需要专业的集成测试平台,特别是需要对环境感知算法的功能、性能进行全面的测试和评估。因此,本文设计了基于环境感知的自动驾驶算法测试平台,该平台实现了算法辅助人工进行数据标注和算法跨平台并行测试功能,为环境感知算法的测试提供了平台标注的数据集以及高并发的算法测试环境。本文的主要工作如下:(1)针对环境感知数据集的在线标注问题,本文对现有的环境感知算法Faster RCNN(Faster Regions with CNN features)分别在特征提取模块、RPN(Region Proposal Network)网络模块和Fast RCNN模块进行改进,提出了带有难度预测的Faster RCNN,将其应用于地面无人车采集到的数据集,辅助人工进行数据集的标注。(2)针对环境感知算法的高计算量需求及其并行测试问题,本文提出了一种基于哈希的分布式负载均衡策略,相较于大数据计算框架,具有轻量级、非侵入式的特点,无需对环境感知算法进行重构,并且在性能上达到了负载均衡的平均时间复杂度为O(N)级别,实现了在平台上对不同环境感知算法以及不同的多源数据集的并行测试。(3)针对环境感知算法测试平台的实现问题,本文对基于环境感知的自动驾驶算法测试平台进行了需求分析、设计和实现,采用前后端分离的开发模式。前端采用Vue.js的Element UI组件库开发交互界面。后端采用Spring整合Spring MVC和Mybatis框架提供数据标注和算法测试服务。数据库采用Min IO分布式文件系统存储非结构化的环境感知算法数据集。最后对本文所设计的平台进行了测试,测试结果表明本文所设计的基于环境感知的自动驾驶算法平台可以满足数据集存储和算法在线测试的实际需求,提升了数据标注和算法测试的效率,并且在实践中得到了检验。
车辆多模态视觉感知系统的设计与开发
这是一篇关于智能汽车,环境感知,图像配准,图像融合,目标检测的论文, 主要内容为在新一轮科技革命和产业变革的背景下,快速发展的计算机技术与传统汽车行业深度融合,智能汽车成为产业发展的战略方向。作为智能驾驶关键技术中的数据前端,车辆感知系统利用多种传感器收集数据,并以此为基础进行算法分析,提取有价值的外部环境信息,供车内乘员及辅助驾驶系统做出驾驶行为决策。本文主要研究设计和实现一个车辆多模态视觉感知系统,选用可见光与红外摄像头作为视觉传感器,以此为基础实现像素级和语义级的外部环境感知。在像素级,基于图像融合技术对不利条件下的可见光图像进行增强;在语义级,基于目标检测与跟踪技术对行人与车辆等目标进行实时监控。为实现上述目标,本文主要完成了以下两方面的工作:(1)算法研究层面:首先,本文提出了一个跨模态的图像配准算法,用以解决可见光与红外图像像素坐标不对齐的问题。该方法一方面使用栅格化的多尺度特征提升了配准参数预测的准确性;另一方面基于对比学习的思路训练了一个跨模态相似度度量模型,实现了配准模型的半监督训练。其次,针对图像融合时可见光与红外图像灰度区域分布不一致的问题,本文提出了一个灰度匹配预处理方法以实现昼夜一致的图像增强效果。(2)系统开发层面:首先,针对硬件平台在资源绑定、状态管理等方面不完善的情况,本文设计了一个系统维护模块实现链路管理,内存管理与任务调度功能以解决上述问题。随后,对于感知功能实现时需要部署的各个算法模型,本文依据算法架构与硬件资源的特点进行了合理分配与优化实现,以期达到最佳的执行效率。通过上述两方面的工作,本文实现了一个实用的车辆多模态视觉感知系统,在真实的道路测试中取得了良好的表现。
基于环境感知的AGV定位技术研究
这是一篇关于AGV,环境感知,全局定位,视觉伺服的论文, 主要内容为随着工业生产和物流领域的不断发展,AGV(Automated Guided Vehicle,自动引导车)作为自动化工厂里重要的物流运输设备之一,可以替代人工进行货物的搬运、货物的运输以及货物的分拣等机械性工作,可以很好的提高运输效率,同时降低运输成本,具有很高的市场应用价值。在AGV系统中,定位技术是AGV的关键技术之一,但是,定位的过程中会存在AGV的定位效率低、定位失效和定位不精确的问题,基于此,本文对基于环境感知的AGV定位技术进行研究:(1)为了提高AGV定位的效率、不占用太多的计算资源。首先构建一种激光雷达和相机传感器信息融合的环境模型,在环境地图的构建过程中建立带有AGV位姿标签的关键帧数据集,将该数据集传输到图像检索模型中进行深度学习,但是由于传统的Net VLAD图像检索模型的体积较大占用资源太多,不宜部署到AGV上,所以提出用MobileNetv3神经网络代替Net VLAD网络里的VGG-16卷积神经网络来提取图像特征,得到轻量化的MobileNetv3-VLAD模型,并利用知识蒸馏的方法训练该模型,训练结果与原始模型的性能很相近并且计算速度更快。(2)为了解决AGV定位失效的问题,引入初始化AMCL(Adaptive Monte Carlo Localization,自适应蒙特卡洛定位)粒子群算法。在循环迭代的过程中,重采样的粒子权重会逐渐减少,会出现不能满足定位的需求的情况,导致定位失效。所以在重采样阶段引入Augmented-MCL(Augmented Monte Carlo Method,增强蒙特卡洛方法)与KLD(Kullback-Leibler Divergence,库尔贝克-莱布勒散)采样相结合的算法,自适应的改变粒子的数量;当机器人被绑架,粒子权重突然下降时,则再次全局播撒粒子,重新对粒子重采样。(3)为了实现AGV的精确定位,引入视觉伺服控制。基于SLAM(Simultaneous Localization and Mapping,同时定位与建图)技术的AGV定位由于目前技术的局限性,AGV只能到达工作区域而不能精确到达工位,所以引入单目相机,获取当前位置图像信息,将“当前图像”与“期望图像”的目标特征做对比,计算特征误差信息,并将其输入到视觉伺服控制器,从而控制AGV到达指定位置。其中,求解图像雅可比矩阵(Image Jacobian Matrix,又称交互矩阵)来描述图像特征变化与AGV位姿变化之间的关系。对上述提出的定位方法进行实验测试,实验结果表明:MobileNetv3-VLAD图像检索模型的平均运行时间相对于Net VLAD图像检索模型的运行时间大大减少,可以有效提高AGV的定位效率。初始化AMCL算法粒子不仅解决AGV定位突然失效的问题,而且降低了AGV的定位时间,同时提高了AGV定位的成功率。最后验证了视觉伺服控制可以提高AGV定位的精确度,实现AGV的精确定位。
面向复杂环境感知的动态可重构传感器系统关键技术研究与实现
这是一篇关于环境感知,可重构,传感器系统,协议转换单元,管理服务平台的论文, 主要内容为在突发的危化品爆炸、矿难、地震等救援现场,各种有毒、有害或放射性物质随时发生着变化。通过无人平台实时、准确地探测感知动态变化的事故现场环境参数对于及时有效地组织救援至关重要。这对探测感知系统小型化、动态重构、实时感知、处理等技术提出了更高的要求。传统的传感器系统由于可重构性差,使得其在体积、重量、传感器替换等方面与现代救援的需求存在着明显差距。为此,论文研究了面向复杂环境感知的传感器系统可重构技术原理及系统实现具体方案,解决了复杂环境下感知系统动态搭建,环境参数快速探测、实时传输的问题。论文主要工作如下:首先,提出了面向环境参数动态感知的任务需求,在调研总结可重构环境状态传感系统关键技术研究现状的基础上,提出了面向复杂环境感知的可重构传感器系统的总体框架及任务指标。然后,设计了“协议转换单元+传感器管理服务平台”的系统结构模型。接口方面,通过航空接插件实现RS232、RS485、USB、CAN和网口五类传感器在物理接口上的统一,利用TTL电平转换芯片解决传感器电气接口不匹配的问题,最后通过MCU完成各类传感器协议接口的统一。并针对传感器电气接口、协议接口做了重点设计与优化,实现了通过硬件电路选择协议转换单元类型的功能,降低了重构操作的复杂度。根据系统框架及任务指标,针对传感系统设备动态识别与驱动/设备加载、感知设备硬件接口优化配置、接口协议转换、感知数据解析与标准化转换等可重构传感器系统的关键技术做出相应解决方案。最后,基于上述技术研制了一套面向复杂环境感知的可重构传感器系统,并进行了详细测试验证。基于任务指标和总体设计方案,针对传感系统是否具备输出接口归一化特征、多种环境状态参数探测感知功能、多种异构接口传感器适配功能以及异构传感器动态适配功能等任务指标进行测试,验证了可重构传感器系统总体方案以及关键性技术的可行性。论文研究设计的可重构传感器系统有效提升了在突发情况下,面对复杂环境传感器的部署效率,为研究具备动态适配、快速重构典型特征的传感器系统提供了理论意义和工程应用价值。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设项目助手 ，原文地址：https://bishedaima.com/lunwen/46625.html
