基于深度学习的夜间车道线检测的研究
这是一篇关于神经网络,图像增强,卷积注意力模块,车道线检测,模型压缩,知识蒸馏的论文, 主要内容为近年来,先进驾驶辅助系统(ADAS)发展迅速,作为ADAS关键环节之一,全天候车道线检测方法引起了各大科研机构的广泛关注。基于视觉图像特征的检测方法在现有车道线检测算法中占主导地位,也是未来的发展方向之一。目前,在良好光照条件下,基于神经网络的车道线检测研究方法较为成熟。但鉴于夜间情况下光照的复杂性,在良好光照条件下拥有较高的检测性能的检测算法,不能很好的适用于夜间环境。本文从提升车道线算法检测的性能和实时性角度出发,研究了弱光照图像增强方法、基于图像增强的车道线检测方法和基于知识蒸馏的车道线检测方法。本文主要研究内容如下:(1)针对现有增强算法处理后的图像存在色彩失真和图像细节模糊的问题,提出一种基于Retinex理论的图像增强算法。对于色彩失真的问题,在增强网络部分并行嵌入色彩修正分支网络学习弱光照反射分量到正常光照反射分量的映射;针对细节模糊的问题,首先在光照增强分支网络中嵌入卷积注意力模块(Convolutional Block Attention Module,CBAM)以空间信息和通道信息进行权重再分配来提升目标信息的权重,接着在网络的上采样时改用双线性插值丰富网络的信息。在低光照数据集上的实验结果表明,与现有的图像增强算法相比,本文算法在弱光照增强图像的色彩失真较小,细节较为突出。但应用于夜间车道线图像时,增强后图像中含有较多噪声和干扰信息,导致增强不理想。(2)针对夜间图像中含有大量噪点,车道线与路面对比度导致车道线特征不易检测的问题,提出一种基于无监督图像增强网络的车道线检测方法ZERO-UFAST。首先为了兼顾亮度的增强和噪声的抑制,把网络的输入初始化改为3次不同尺度的膨胀卷积在通道上合并,构成具有光照细节更多的特征信息,并减少光照映射曲线网络的输出通道数来抑制图像增强部分的噪声;考虑到夜间车道线在路面背景中的特征不明显,对增强光照、光照映射再增强的两阶段图像进行融合,提高路面区域的对比度。在CULane数据集上进行性能分析测试,结果表明:不同主干网络的算法在夜间环境下的检测性能均有较为明显提升,以Res Net50为主干网络时,夜间检测F1达到67.0。(3)针对以Res Net50为主干网络的ZERO-UFAST检测算法存在复杂度高导致实时性较差的问题,提出一种基于知识蒸馏的车道线检测算法。首先,在训练部分提出基于知识蒸馏的车道线检测网络架构:把Res Net50为主干网络的ZEROUFAST网络设置为教师分支网络,并把Res Net18为主干网络的ZERO-UFAST网络设置为学生分支网络。在教师网络和学生网络的辅助分割输出之间,采用KL散度损失函数来增强学生网络主干对车道线特征提取能力;教师和学生网络的锚点检测输出,则采用均方误差损失使学生分支网络输出结果向教师网络靠近;最终学生网络具有接近教师网络的检测性能。在测试阶段,采用学生分支网络对车道线进行检测,降低参数量来提升算法的实时性。在CULane数据集上进行性能分析,本文算法相较于Res Net50为主干网络的ZERO-UFAST车道线检测算法,检测时间为其17.5%,夜间车道线检测性能F1下降1.3。
基于视觉的园区无人车可通行区域检测方法研究
这是一篇关于园区无人车,可通行区域,车道线检测,障碍物检测,立体视觉的论文, 主要内容为随着现代交通的智能化发展,无人驾驶技术应用日益广泛。对周围环境的准确感知是无人驾驶汽车安全行驶的基础,基于视觉的可通行区域检测是环境感知技术的重要研究方向之一。针对园区场景环境特征,本文开展了基于视觉的园区无人驾驶汽车可通行区域检测方法的研究。研究内容如下:首先,针对园区车道线标识与城市交通、高速公路差异较大、现有算法适用性差等问题,提出一种基于改进Lane Net和卷积神经网络(Convolutional Neural Networks,CNN)的车道线检测方法。通过优化Lane Net二值分割分支损失函数提升检测精度;通过简化H-Net网络自适应透视变换矩阵提升检测速度;基于车道线分割实例,通过CNN对园区场景内常见车道线进行分类识别。实验结果表明,提出方法较Lane Net算法的车道线检测精度在Tu Simple和CULane数据集上分别提升1.2%和1.9%,且针对园区内常见车道线类型有较好的识别效果。其次,考虑到园区场景中存在障碍物检测准确率低、实时性不足等问题,提出一种结合改进YOLOv3和立体视觉的障碍物检测方法。通过优化特征提取网络减少前向推断时间,提升模型检测速度;通过增加特征图尺度、改进损失函数、重新聚类先验框尺寸等方式,提升模型检测精度;并将改进后的模型应用于双目立体相机,获得障碍物与无人车的距离信息。实验结果表明,提出方法较YOLOv3算法帧率增加8fps,m AP提升4.19%,且园区内障碍物平均测距误差低至4.67%。最后,通过分析车道线与障碍物的检测结果,提出一种基于机器人操作系统(Robot Operating System,ROS)框架的可通行区域检测方法。将车道线检测及分类结果、障碍物识别及测距结果以ROS话题发布,由可通行区域检测功能包订阅该话题;划定车辆行驶平面并对障碍物进行膨胀操作,发布可通行区域话题并实现效果可视化。实验结果表明提出方法能较准确进行园区无人车可通行区域检测。
面向危化品车辆的轻量级碰撞预警算法研究与应用
这是一篇关于危化品运输车辆,深度学习,车辆检测,车道线检测,安全预警的论文, 主要内容为随着我国经济的快速发展,工业化学品的需求量也在逐年上升,化学品通常具备易燃、易爆、腐蚀性强的特点,一旦发生事故,会对人民生命及财产安全造成巨大损失。因此利用碰撞预警技术保障危化品车辆的行车安全,防止发生交通事故成为亟待解决的问题。基于深度学习的车辆碰撞预警是危化品运输车安全领域的重要研究方向,其中对道路图像中的车辆和车道线进行实时检测以及对车辆间距离的准确计算是该领域的关键。为此,本文提出了面向危化品车辆的轻量级碰撞预警算法,具体内容如下:(1)针对目前车辆检测算法参数量大、速度较慢的情况,提出一种轻量级的车辆目标检测算法Air-Net,利用多残差非对称卷积(MulRes-AC Block)提取目标特征,构建特征统一融合与分配模块(Feature unified fusion and assignment module)融合不同尺度的特征信息。(2)针对车道线识别过程中精度差、速度慢的问题,提出一种高效的车道线检测算法LaneSegNet,在该方法中使用多尺度空洞卷积特征融合网络(Multi-scale dilated convolution feature fusion network)扩充模型的感受野,提取全局特征信息,并结合混合注意力机制增强与当前任务相关的信息。(3)基于车辆制动过程提出一种最小安全距离算法,根据行驶过程中的车距情况与安全距离模型对可能发生的事故进行预警,保障危化品车辆行驶过程的安全。实验结果表明,本文提出的基于Air-Net车辆检测算法的能够实现实时检测,对车辆目标的平均检测准确度可以达到92%,能够有效减少模型的推理时间;提出的基于LaneSegNet车道线检测算法在各种复杂的道路场景下均具备较强的适应性和鲁棒性;提出的基于车辆制动过程的最小安全预警模型结合车辆和车道线位置数据,预警时间比目前先进的算法提前0.9秒,预警速度更快且准确度更高,能够有效保障危化品车辆的行车安全。
融合激光雷达与视觉的环境感知和局部路径规划算法研究
这是一篇关于红绿灯识别,车道线检测,局部路径规划,TEB算法的论文, 主要内容为随着智能移动机器人的普及,自动驾驶技术受到越来越多的关注。环境感知和路径规划作为自动驾驶中的重要技术,广大学者对其进行了深入研究。近几年的研究表明,使用单一传感器进行环境感知的可靠性不足,使用多传感器融合的方式可以实现全天时、全天候的环境感知。路径规划需要环境感知的信息作为支撑,环境感知的结果决定路径规划的结果。本文主要的研究内容为:基于视觉信息的语义标识研究,融合激光雷达与视觉的环境感知研究以及基于障碍物与语义标识的局部路径规划算法研究。具体工作如下:首先,通过视觉信息实现红绿灯识别和车道线检测,通过激光雷达实现障碍物检测。针对红绿灯识别和车道线检测,提出了一种功能网络N＿Res Net。N＿Res Net网络比残差神经网络的感受野更大,能够获得更加可靠的深层特征。将N＿Res Net网络应用于YOLOv5算法实现红绿灯识别,在LISA数据集中提出的网络比原网络的召回率提高了2.66%。值得一提的是,提出的网络对于夜晚环境下红绿灯的召回率提高了11.32%。将N＿Res Net网络应用于CLRNet算法实现车道线检测。在Tu Simple数据集中,提出的网络获得了97.01%的车道线检测精度和97.92%的召回率;在CULane数据集中,提出的网络获得了79.89%的召回率。其次,在传统的TEB局部路径规划算法基础上,加入红绿灯信息和车道线信息,提出了基于障碍物和语义标识的TEB算法。根据红绿灯的状态和距离设置不同的加速度,实现红绿灯对路径规划的约束。根据车道线的类别设置不同的代价权重,实现车道线对路径规划的约束。实验表明,提出的局部路径规划算法能够根据丰富的环境信息规划出可靠的路径。最后,在仿真平台和硬件平台上对提出的算法进行实物验证。结果表明:提出的红绿灯识别算法获得了93.23%的召回率和94.51%的准确率;提出的局部路径规划算法能够根据语义标识和障碍物信息规划出安全高效的路径。
基于车载视频的车辆违规检测系统设计与实现
这是一篇关于车载视频,车辆检测,动静分离,车道线检测,违规判定的论文, 主要内容为随着国民经济的日益提高,居民私家车保有量逐步提升,道路交通进入发展与危机并存的新阶段,其中对车辆违规的检测与监管显得尤为重要。本文设计并实现了基于车载视频的车辆违规检测系统,主要包含车辆检测,动静车辆分离与车速估计;车道线检测与分类;对超速行驶、违章停车、非法变道三种车辆违规行为的判定;违规检测系统交互界面搭建与辅助功能模块开发。具体工作如下:(1)车辆检测与速度估计模块设计。采用Mask-RCNN网络进行车辆分割,得到车辆检测框与掩码信息。基于常规ORB特征提取与匹配方法进行改进,引入图像金字塔与灰度质心法进行特征提取,同时结合RANSAC算法完成匹配;然后估计车载相机位姿,最后利用最小化重投影思想进行相机位姿优化。在动静车辆分离环节,首先结合车载相机位姿参数,计算场景流信息并基于此对车辆特征点动静情况进行判断,同时采用加权平均方法优化判定阈值;然后根据车辆掩码信息,计算动态特征点占比以实现运动与静止的车辆分离。车速估计部分,通过求解车辆特征点在相邻帧中位置变化关系,并结合相机位姿与车辆位姿参数估计车速,且引入因子图进行优化处理,得到更精确的车速。(2)车道线检测与分类模块设计。基于传统UFLD车道线检测模型进行改进,采用空洞金字塔池化,且引入频率注意力机制,并改进损失函数,加入L-Dice函数;改进后模型在维持原有较高检测速率的基础上,能提取到更为丰富的车道线特征信息,同时加强对车道线边缘的关注力度。对于车道线分类,采用基于车道线检测点RGB值的分类算法,判定车道线颜色与连续性,完成车道线分类。(3)车辆违规检测与判定模块设计。基于上述模块得到车辆检测框,车辆运动静止判定结果,运动车辆车速,车道线位置及类别;通过车速与限速关系进行超速违规判定;通过车速与车道线位置与类别关系进行违章停车判定;通过车辆检测框底部中心位置与车道线关系,并结合车辆尾部转向灯识别与开关情况,进行非法变道违规判定。(4)系统辅助功能模块开发和实现,其包含用户注册与登录,车载视频上传,违规图片抓拍,违规记录与基于车牌和违规行为的历史回查。同时,结合移动违规检测车辆的视频数据,制作真实场景下的测试数据集,并基于此对本文设计开发的车辆违规检测系统进行功能测试与性能测试,相关结果满足系统设计要求。
园区环境下无人车的可通行区域检测与判别方法研究
这是一篇关于园区环境,无人车,车道线检测,障碍物检测,可通行区域的论文, 主要内容为无人驾驶技术能够有效提高道路行驶安全性,改善通行效率。无人驾驶的系统主要包括:环境感知、决策规划和运动控制。环境感知是其中最为关键的部分,是智能车辆进行精准决策与规划的前提。车道线检测、道路障碍物检测、可通行区域检测是自动驾驶感知系统的重要且必要的任务,是无人驾驶车辆理解外界的基础。本文依托横向项目“无人驾驶新能源智能汽车教学演示系统研发”,研究基于视觉的园区环境下无人车的可通行区域检测与判别相关感知算法。本文主要研究内容如下:首先,本文提出一种融合CBAM注意力机制与可变形卷积的CADCN方法对复杂场景下的车道线进行检测,利用融合CBAM注意力机制与可变形卷积的改进Res Net34对车道线特征进行提取;利用行锚分类方法在预定义的行锚上对车道线进行选择与分类,减少计算量;在Tu Simple/CULane车道线公开数据集上进行训练及验证,实验表明本文提出的车道线检测模型的准确性、实时性以及鲁棒性都表现较好。其次,针对复杂道路场景下的障碍物目标的多尺度特征及遮挡环境下容易出现误检、漏检的情况,提出一种基于感受野增强与多尺度特征自适应融合的改进YOLOv5的道路目标检测方法,在数据集和实车上进行了验证,在保持较高实时性的同时提高了目标的检测效果。最后,设计了基于多任务学习的联合分割与检测网络,在一个网络框架中同时完成对道路可通行区域的分割及目标检测两个任务。结合车道线、道路障碍物及道路可通行区域三部分的信息,可更好地对无人车周围环境进行感知,为无人车在可通行区域内进行路径规划提供基础。基于本文算法研究成果,在基于长城欧拉R1改装的无人驾驶汽车平台上进行了算法试验研究,结果表明,本文提出的方法在校园环境中能够对无人车的可通行区域进行检测与识别,具有较好的检测效果及鲁棒性,可满足园区环境下无人车对车辆周围环境感知的需求。
基于计算机视觉行车环境感知及识别研究
这是一篇关于深度学习,交通目标检测,可行驶区域分割,车道线检测,多任务模型的论文, 主要内容为自动驾驶技术是当前深度学习领域备受关注的热门研究方向之一。在其中,行车环境感知是自动驾驶技术中最为关键的任务之一,具体包括交通目标检测、可行驶区域分割和车道线检测等多种感知任务。然而,目前的感知算法通常仅关注其中的某一项任务,忽视不同任务之间的关联性,同时也浪费了有限的自动驾驶汽车硬件资源,难以满足自动驾驶汽车同时感知多种环境因素的需求。为了解决上述问题,本文提出了一种端到端多任务检测与分割网络Md SNet(Multi-task detection and Segmentation network)模型,可实现交通目标、可行驶区域和车道线的统一检测。本文的主要研究工作如下:1.多任务模型的构造研究。在主干网络方面,本文使用CSPDark Net结合改进的Res2Net模块构建多尺度特征主干网络。在特征融合方面,本文引入了ULSAM注意力机制,以更好地整合浅层细节特征和高级语义信息。在目标检测任务处理阶段,本文采用向上聚合结构PAN网络与YOLO检测头对目标进行定位识别。在可行驶区域分割和车道线检测任务阶段,本文借鉴ENet网络思想构建快速分割网络,并加入DLFM模块以提高模型对可行驶区域和车道线边界信息的提取能力。2.多任务模型训练的方法研究。首先,对BDD100K和Camvid数据集进行预处理和数据增强。其次,设计多个损失函数自动加权求和以优化整个模型的性能。同时,根据不同尺度目标的特点使用Anchor机制,降低回归难度并提高算法检测精度。最后,针对不同任务特点设计特定的训练方法,以压缩整体训练时间。3.多任务模型的验证与评估。本文在BDD100K和Camvid数据集上进行了大量对比和消融实验。实验结果表明,Md SNet在两个数据集均取得了优良的检测效果,在交通目标检测上的m AP分别为47.7%和58.2%,可行驶区域的m Io U分别为92.6%和94.5%,车道线检测的Io U分别为62.6%和59.2%。此外,本文所提出的模型大小仅为7.02M,可为后期嵌入式移动终端部署提供技术支撑。
基于语义分割的复杂场景下的车道线识别
这是一篇关于车道线检测,语义分割,Res＿UNet,条形池,ConvLSTM的论文, 主要内容为车道线检测是汽车自主驾驶的关键任务之一,也是目前自动驾驶实践中的难点。在现实生活中,车道线具有不规则、难以预测、背景复杂等特点,对其进行有效的检测是一个非常复杂的过程。为了解决复杂场景中的车道线检测问题,本文提出了一种基于深度学习的混合架构,该混合架构能够以连续车道线场景作为输入,充分利用视频流中的时间序列信息,采用语义分割的方法实现对车道线的检测。完成的主要任务包括:(1)基于Res Net50残差网络和UNet语义分割编解码架构,将Res Net50作为UNet的编码器主干网络,构建Res＿UNet模型,并优化UNet网络性能。该模型解决了因网络深度造成的梯度消失和性能下降问题,能够更好地结合上下文的语义信息实现多尺度分割。(2)为了解决复杂驾驶场景的车道线检测问题,在Res＿UNet网络的基础上结合Conv LSTM构建一种混合架构UNet＿Conv LSTM,使其能够结合连续帧中的车道线时序信息,进而准确地检测复杂环境中的车道线。(3)引入一种适配于车道线特定形状的条形池,使得骨干网可以对远程依赖关系进行有效的建模,这有助于捕获局部上下文,避免了不相干区域对标签预测的影响,实现对车道线的准确分割。基于条形池,首先利用水平和竖直的条形池操作从不同的空间维度收集远程上下文信息,构建条形池模块(SPM);其次结合了不同内核形状的池操作创建混合池模块(MPM),能够聚合不同类型的上下文信息,以使特征表示更具区分性。最后在注意力机制中引入条形池操作创建条形注意模块(SAM),不仅能够捕捉非局部的上下文关系,同时降低时间和空间上的计算复杂度。(4)在混合架构UNet＿Conv LSTM网络中插入条形池相关模块,并基于不同的数据集测试和分析条形池模块对网络性能的影响,以确定模块的选择和插入位置,最终确定了车道线检测算法的混合架构UNet＿SAM＿Conv LSTM,并在复杂场景中进行检测,取得了良好的检测效果。本文设计的基于混合架构的车道线语义分割算法整合了基于编解码器结构的Res＿UNet和能够提取时序信息的Conv LSTM,添加能够聚合上下文信息的条形池相关模块,完成了基于语义分割的复杂场景下的车道线识别。
基于深度学习的车道线检测方法研究
这是一篇关于车道线检测,深度学习,复杂场景,注意力机制的论文, 主要内容为车道线检测作为自动驾驶系统中的关键组成部分,在车辆实时定位、行驶路径规划、车道保持辅助和自适应巡航控制等应用中起着至关重要的作用。由于车道线固有的细长特性,使其在检测中容易受到严重的遮挡、恶劣的天气条件、模糊的路面等复杂场景影响。本文针对复杂场景下的车道线检测,提出了两种不同的方法。(1)基于空间特征交互的车道线检测方法(SFINet)。SFINet包括主分支和辅助分支,主分支对应基于行向的分类任务,辅助分支对应分割任务。为了更好地应对复杂的场景,SFINet主要工作如下:针对Res Net提取的简单特征无法应对复杂场景的问题,在Res Net之后加入空间特征交互模块,来捕获行和列之间像素的空间关系,从而提高网络的特征提取能力;针对分割任务中普通的双线性插值上采样结果较为粗糙的问题,引入双线性插值和转置卷积结合的双边上采样方法,使得上采样的结果更精细;针对车道线和背景像素样本分布不均衡的问题,通过使用Focal loss来增加困难样本的权重,使得模型更加关注较难检测的车道线像素。实验结果表明,SFINet方法能有效应对复杂场景下的车道线检测,在CULane数据集上检测的F1分数达到了73.8%。(2)基于双重注意力机制的车道线检测方法(FDANet)。为了兼顾检测的准确性和速度,在SFINet的基础上,去除计算量较大的空间特征交互模块,融合双重注意力机制进行车道线的检测。双重注意力机制在空间维度和通道维度上对特征相关性进行建模,可以提升网络对复杂场景中车道线的特征提取能力,从而更好地应对复杂场景的检测;并且引入双重注意力机制,仅小幅增加计算量,可以保证检测的实时性。实验结果表明,FDANet方法不仅能有效应对复杂场景,而且速度更快,为实际应用提供一种准确性和速度兼顾的参考方案。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码小屋 ，原文地址：https://bishedaima.com/lunwen/48585.html
