基于卷积神经网络的道路损伤检测算法研究与应用
这是一篇关于卷积神经网络,目标检测,目标跟踪,道路损伤检测,嵌入式终端的论文, 主要内容为随着公路网的不断完善,公路养护需求不断增加,而传统人车巡查模式或步行上路模式效率低且主观性强。路面养护的发展迫切需要一种快速、高效、低成本的路面损伤检测方法。目前基于卷积神经网络的计算机视觉技术成为主流,利用卷积神经网络学习道路损伤特征从而识别目标,是道路损伤自动化检测的常用手段。然而在实际应用过程中,由于道路图像背景复杂,现有算法的检测精度低且应用效果差。针对上述问题,依托相关科研项目,本文研究基于目标检测与目标跟踪的道路损伤检测算法,并利用TensorRT优化模型从而移植到嵌入式终端中应用,实现实时道路损伤检测,然后开发道路损伤智能分析系统实现检测结果的可视化。具体工作如下:(1)为了提高模型的检测性能,一方面优化并扩充现有道路损伤数据集,在RDD2020数据集的基础上,采集真实道路图像并标注,扩充到数据集中,并增加标签类别,优化数据集中的标注,最终建立高质量XZ-RDD道路损伤数据集;另一方面,在轻量级模型YOLOv5s的基础上提出RepCA-YOLO模型,引入CA注意力机制,并借鉴RepVGG思想设计两种多分支C3结构,利用结构重参数化技术保证模型的大小和实时检测性能,不增加参数量的同时强化模型对道路损伤特征的提取能力。实验结果表明,在RDD2020数据集上,RepCAYOLO模型精度达到70.1%,提升了3.3%,在XZ-RDD数据集上精度达到81.0%,提升了3.7%。(2)为了满足实际应用中目标去重的道路损伤识别要求,利用目标跟踪算法实现目标去重。首先,利用车载摄像头采集路面视频并标注,制作道路损伤跟踪数据集RDT。其次,为提高模型的跟踪精度,在DeepSort目标跟踪算法的基础上改进Re ID网络,加深其网络的深度并增大输出维度,提高网络对损伤特征的表征能力,以利于轨迹和检测框的匹配,实验结果表明,在RDT数据集上模型的跟踪准确率达到58.9%,精度达到74.5%,分别提高了2.8%和2.2%。最后,将RepCA-YOLO作为目标检测器,改进的DeepSort作为目标跟踪器,实现目标去重的道路损伤检测。(3)为了实现项目落地应用,将上述模型移植到嵌入式终端。首先,利用TensorRT技术优化模型,加速模型推理,保证模型在计算资源有限的终端上能够实时检测道路损伤,并将优化后的推理模型部署到Jetson NX开发板上。实验结果表明,TensorRT优化后的RepCA-YOLO模型在开发板上的推理时间达到8.6ms,检测精度达到80.7%,结合改进DeepSort的模型达到14.5ms推理时间和56.1%的跟踪准确率,满足实时检测的要求。其次,开发车载智能终端设备,部署上述推理模型,将其安装在车辆上,通过摄像头获取实时道路图像,送入模型中处理,获得实时道路损伤检测结果并上传服务器。(4)为了实现检测结果的可视化,设计并开发道路损伤智能分析系统。首先,依据系统需求,设计并开发系统的相关功能,可视化查看损伤报告和反馈损伤状态。其次,分别在班线客车和巡检车辆上部署智能终端,在S253和G104线路上做应用测试,验证终端和系统的应用效果,最终实现道路损伤自动化检测。
基于面部特征的危险骑行状态检测方法研究
这是一篇关于危险状态识别,人脸检测,目标跟踪,人脸关键点定位,姿态估计的论文, 主要内容为随着中国老龄化程度加深,老年人代步车需求逐渐攀升。为了保障市民骑行出行的交通安全,提供便利的出行体验,本文基于可自主跟随的折叠代步机器人,将出行工具与行为识别技术相结合,设计了一款基于面部特征的危险骑行状态识别系统(RobCare)。它能依据人脸信息为用户提供危险状态预警功能,对用户在骑行过程中发生瞌睡、眩晕、休克或注意力不集中等异常情况进行示警。首先,为了适应室外骑行场景下的复杂背景,本文提出了一种基于MK-CNN的网络人脸区域的提取方法。该方法基于多任务级联卷积神经网络(MTCNN)进行改进,对光照变化进行自适应调节,融合改进的核相关滤波算法(KCF)进行人脸跟踪剪裁,能够有效过滤复杂背景和无关人脸;又参考轻量级shuffle-Net的结构改进MTCNN的网络模型。最终室外人脸检测准确率达到95%,每帧处理时间平均41ms。其次,为了提高在人物在不同姿态下的状态识别准确性,减小系统耗时,研究和设计了一款新的人脸关键点定位网络EM-DCNN,将关键点获取数量由5个扩展为20个,有效增大了后续特征提取的精度。另外还减少关键点重复确认的次数,并参考MobileNetV2将EM-DCNN中的卷积层进行替换,采用的核心组件是轻量级的bottleneck层。最终关键点误差降低至0.033,计算时间缩短为46ms,缩短67%。最后,为了在人脸局部信息被遮挡或姿态变化的情况下提高准确率,本文提出了基于多特征融合的危险状态判定方法。本文利用20个关键点进行区域划分,提出了利用眼嘴ROI区域内的关键点间的相对位置来判断眼嘴开合姿态的方法;并且利用全脸的20个关键点相对位置变化参考EPnP算法得到头部姿态。最终利用上述瞬时姿态得出其在时间上的持续性特征,通过单支决策树进行多特征融合的综合危险判定。本文在实际室外场景下进行模拟实验,测试结果显示本文算法在室外复杂背景下的的综合精确率为89.3%,召回率为92.6。
基于Res2Net-Transformer的视频单目标跟踪方法研究
这是一篇关于深度学习,残差网络,无人机,Transformer,目标跟踪的论文, 主要内容为视频单目标跟踪作为计算机视觉领域重要的研究方向之一,随着人工智能领域与各行各业的相互交融,早已渗透到大众的日常生活中。基于残差网络的视频单目标跟踪算法已经在医学成像、人机交互、自动驾驶、交通流监测等重要领域得到广泛应用,并取得了较好的性能表现,引起了人们的关注。为了进一步提升单目标跟踪算法的性能,本文将残差网络与Transformer模型相结合来对单目标跟踪算法进行改进。本文的主要工作及研究内容如下:(1)针对现有的单目标跟踪算法存在跟踪速度不足的问题,本文提出了一种Res2Net残差网络与Transformer模型相结合的视频单目标跟踪算法。首先为了在更细粒度的层次上提高残差网络的多尺度表现能力,该算法引入Res2Net残差网络作为主干网络中的特征提取网络,以此在得到更细小特征的同时增加了每个网络层的感受野。然后利用注意力机制获取全局语义信息并通过Transformer的长距离依赖属性更好地利用全局信息来融合深度卷积特征。另外Transformer中的多头注意力机制的并行计算特点可以更好地利用GPU达到提高训练速度的目的。最后采用边框预测头模块通过点积注意力机制和深度互相关操作进行特征增强来提升算法精度。在公开的La SOT数据集上与多种先进算法进行性能对比实验,实验结果表明:应用Res2Net残差网络进行特征提取的Transformer模型的FPS达到了47,这些实验结果为视频单目标跟踪算法的研究提供了参考。(2)针对基于Res2Net-Transformer模型的单目标跟踪算法在复杂运动场景中无法准确估计目标状态的问题,本文提出了一种改进算法,旨在提高算法的准确度并同时降低参数量和计算量。该算法将Res2Net残差网络结合分组卷积结构形成的Res2Ne Xt残差网络作为特征提取网络,Res2Ne Xt残差网络利用分组卷积结构在不增加计算量的前提下提高了模型能力,同时通过增加一层内可用感受野的数量来提高模型的多尺度表示能力。然后算法通过Transformer模型利用全局信息融合深度卷积特征进一步提升算法精度。在La SOT数据集和UAV123数据集上进行对比实验,结果表明本文算法能有效地提高目标跟踪的成功率和精度。
面向手持稳定器的嵌入式目标检测与追踪系统设计与实现
这是一篇关于手持稳定器,嵌入式系统,结构化剪枝,目标检测,目标跟踪的论文, 主要内容为随着计算机视觉、目标跟踪等技术的发展,普通机械结构的手持稳定器越来越无法满足人们对其更好辅助拍摄的需求。建立智能视觉系统是手持稳定器智能化的重要一步,其主要功能为对摄像机采集的图像进行自动检测与追踪,帮助拍摄者更好地完成拍摄工作。但是一般而言,拍摄的场景都是处于移动状态下,受到距离和网络环境等因素的影响,无法做到使用电脑或者网络实现对目标的检测跟踪,而直接在嵌入式平台搭建智能视觉系统上可以很好地解决这一难题。因此本文从嵌入式技术着手,结合目标检测与跟踪技术,面向手持稳定器,设计并实现了一个面向手持稳定器的嵌入式目标检测与跟踪系统,以满足稳定器在某些环境下对拍摄目标自动检测和跟踪的需求,主要的研究内容有以下几个方面:(1)现有的基于卷积神经网络的目标检测模型,往往对计算能力和存储能力要求过高,因此提出了一种基于卷积神经网络的结构化剪枝方法,以压缩模型实现在嵌入式设备上的部署。在卷积层后添加中间图特征分析框架,计算卷积核的重要程度,并且对阈值下的卷积核裁剪,可以实现对模型的压缩。(2)在稳定器智能视觉系统的目标检测部分,提出了一种更适合嵌入式设备部署的YOLOv5s-Embedded目标检测框架。首先,利用Mobile Net深度可分离卷积的思想,修改YOLOv5s主干网络结构。同时结合结构化剪枝方法,对其进行进一步的压缩,得到更适合在嵌入式设备上运行的目标检测网络。(3)在稳定器智能视觉系统的目标跟踪部分,针对KCF目标跟踪算法,结合目标检测网络,提出了改进的KCF目标跟踪算法。首先利用目标检测架构对视频流进行检测,得到需要跟踪目标的特征,然后利用KCF算法进行跟踪。当跟踪目标出现遮挡、丢失等问题时,利用检测算法对图像进行重检测,通过最大Io U(Intersection over Union)确定跟踪目标,刷新跟踪区域继续跟踪。(4)为了验证所提目标检测和跟踪算法的有效性,结合手持稳定器的实际应用场景,搭建了面向手持稳定器的视觉系统验证平台。硬件上,对系统舵机等各部分进行了选型。软件上,设计了系统整体架构,利用Flask、VUE框架实现了web端系统开发,同时与硬件结合完成了实时目标检测追踪界面展示。最后对本文系统进行了实验与分析,证明了系统的实用性。
基于机器视觉的城市河道表观异物检测方法研究
这是一篇关于机器视觉,城市河道,表观异物,图像差分,目标跟踪的论文, 主要内容为随着我国城市化进程的加快,水环境污染、水生态损害和水资源短缺等问题日益突出,已成为制约社会可持续发展的“瓶颈”。由于生活垃圾丢弃、工厂违规排放、地表径流冲刷等多种原因产生的外源性异物侵入对河道水体生态系统自净能力造成严重破坏,引起水体的富营养化,导致水生态系统的失衡、破坏,造成河道水质恶化黑臭,严重影响周边生活环境。为推进河湖系统保护和水生态环境整体改善,我国全面推行了“河长制”工作,但目前仍主要依靠河长赴现场巡查、通过肉眼观察发现问题,工作量大、效率低,迫切需要借助机器视觉和智能分析技术实现对河道表观异物的自动化检测。然而,由于河道水体环境的特殊性,如河道结构不一、水面外观复杂、自然条件多变等,使用现有机器视觉方法实现河道表观异物的检测尚有较多难点亟待解决。有鉴于此,本文开展了基于机器视觉的河道表观异物检测方法研究,主要研究工作与创新点如下:(1)针对不同户外场景下河道外观不同、背景噪声干扰复杂的特点,基于水体像素的成像机理研究,提出了通用性的水体分割算法。该算法根据像素强度随摄像距离变化的规律和在光影变化中色调值稳定的特点,设计了基于块间局部二值化模式(Multi-Block Local Binary Pattern,MB-LBP)和色调值方差的水体描述特征,利用此特征识别图像中的水体区域。该算法无需提前训练即可分割结构、外观不同的河道场景,与传统的方法相比具有更高的分割精度和平均交并比。该算法所分割的水体区域作为后续检测算法的感兴趣区域(Region of Interests,RoI),是本文重要的预处理环节。(2)针对复杂水面背景下传统目标检测算法误检率高的问题,利用视频中的连续图像序列构建HSI颜色空间中的高斯背景模型,从而增强对光影变化的鲁棒性;提出了基于多帧背景差分的河道表观异物检测算法,利用连续多帧与背景模型差分的结果进行与运算,再将检测结果与背景模型进行特征相似性度量,降低了河面随机噪声造成的误检率;设计了并行算法框架,将背景更新与异物检测并行执行,优化了算法结构。通过对比实验证明了所设计的算法可在复杂的河面背景下准确地检出表观异物。(3)针对传统跟踪算法对河道表观异物跟踪效果差、目标框尺寸无法更新的问题,提出了基于改进核相关滤波(Kernel Correlation Filter,KCF)算法的河道表观异物跟踪方法。该方法在KCF算法的基础上,利用HSI和RGB双颜色空间提取方向梯度直方图(Histogram of Oriented Gradient,HOG)特征,分别输入跟踪器中并对决策结果设计了融合方法,增强了 KCF算法在复杂和面背景下的跟踪能力;设计了基于多尺度响应分析的方法,使目标框的尺寸在跟踪过程中自适应更新。通过对比实验证明改进的KCF算法在光影变化、强光反射和雨天等条件下对河道异物的跟踪更加准确。(4)设计并研发了城市河道表观异物在线监测系统。本文基于云计算和物联网技术,采用Spring MVC框架,设计并搭建了城市河道表观异物在线监测系统,实现了对河道现场数据的在线处理和结果的可视化展示等关键功能。综上所述,本文针对机器视觉技术在城市河道场景中应用的难点,研发了对复杂背景具有强鲁棒性的表观异物检测算法和跟踪算法,并基于论文研究成果,研发了城市河道表观异物在线监测系统。经实验验证,本文提出的方法有效提高了对城市河道场景中表观异物的检测能力,对河道水环境的自动化监管具有重要意义,也为复杂背景下的目标检测与跟踪研究问题提供了新的解决思路。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://bishedaima.com/lunwen/46244.html
