智能视频监控系统中运动行人分析的研究

这是一篇关于视频监控系统,运动目标检测,行人检测,行人异常行为,特征融合的论文, 主要内容为随着通信技术与计算机技术的发展,视频监控在日常安防中具有越来越重要的作用。传统的视频监控模式主要是将采集视频数据存储到监控中心的服务器中,仅有单一查看功能,已不能满足用户的需求。这种依靠人工对运动行人分析,不仅缺乏对异常信息及时预警的功能,而且准确率较低。本文基于运动目标检测、行人识别与行人异常行为检测算法展开研究,并设计智能视频监控系统,该系统能够对运动行人异常行为发出警报。首先,为了更好的进行运动目标检测,提出了一种改进的运动目标检测算法。结合图像分块和均值法建立背景模型,运用图像分块与当前帧自适应权重更新背景模型,并采用自适应阈值分割目标,克服了背景中运动残影、光线变化干扰以及前景分割效果差的缺点。实验结果表明,本文方法能够快速准确检测出运动目标。其次,针对单特征行人识别度低的问题,提出了基于多特征融合的行人检测算法。该方法融合了改进的多尺度HOG特征与CSSF特征,全面准确的描述了行人局部特征与全局特征。设计了一种Adaboost强分类器进行行人检测。在INRIA行人库上的实验表明,本文方法大幅提高了行人检测精度。然后,针对行人异常行为检测中存在的问题,在目标跟踪基础上,对行人的形状和运动轨迹特征进行多特征提取,充分描述了行人行为信息,并运用先验知识对上述特征进行量化,检测行人异常行为。实验结果表明,本文方法能够有效检测行人异常行为,包括异常摔倒、异常跑步和徘徊。最后,在上述算法基础上,对智能视频监控系统需求进行分析与设计,利用VisualStudio、OpenCV、Android、javaweb、云服务器等技术进行开发,从而使系统智能化、移动化。实验表明系统运行流程,实时性与准确性较好,能够满足用户远程监控、并及时准确掌握行人异常行为信息的功能需求。

基于监控视频的行人检测跟踪算法研究

这是一篇关于监控视频,行人检测,行人跟踪,YOLOv5,DeepSORT的论文, 主要内容为随着深度学习的飞速发展,行人检测跟踪模型性能有了很大的提高。但是在复杂环境中,监控视频中容易出现目标尺寸小,行人被遮挡等情况,给目前的行人检测跟踪算法带来了巨大挑战。由于小目标的信息较少容易漏检,导致检测精度下降,从而使跟踪效果不佳。因此,需要在改善小目标检测效果的基础上,进一步提高跟踪性能。针对此问题,本论文研究监控视频中的行人检测跟踪算法,工作内容围绕行人检测算法和行人跟踪算法两方面展开,具体如下:(1)针对小目标检测难问题,以YOLOv5为基准模型,构建结合协同注意力机制和P2-Bi FPN(P2 Bidirectional Feature Pyramid Network)结构的行人检测模型。首先,在骨干网络的残差单元中添加协同注意力机制,提高对小目标定位的准确度,并将残差单元的对称卷积核3×3替换为并行的非对称卷积核3×1和1×3,从而减少模型参数量。然后,搭建P2-Bi FPN特征融合网络,将P2浅层的小目标信息通过特征增强模块引入到高层特征图,从而丰富小目标信息,进一步提高小目标的检测效率。最后,该算法在Wider Person行人检测数据集上进行训练和测试。实验结果表明,相比基准模型,本文构建的行人检测模型的m AP提升了1.7%,模型参数量减少了5.66M。(2)针对行人间的遮挡问题,在行人检测算法的基础上,设计增强数据关联的抗遮挡行人检测跟踪方法。利用结合协同注意力机制和P2-Bi FPN结构的行人检测模型作为检测器,对原Deep SORT跟踪算法做抗遮挡处理。首先,在该算法模型中引入本文搭建的Ghost Net-cot重识别网络,该网络结合了轻量化的Ghoset Net模型和引入上下文信息的Co T块网络,从而提取出更具有鉴别性的特征图,给予行人部分更高的关注度。然后,优化数据关联匹配方式,联合空间信息和外观信息对遮挡目标的检测框和确认态轨迹再次进行匹配,从而提高遮挡场景中行人跟踪模型的性能。最后,在MOT16跟踪数据集上对该算法进行训练和测试。分析实验结果可知,相比原Deep SORT算法,本文研究的抗遮挡Deep SORT跟踪算法的HOTA提高了3.61%,IDSW减少了33%,跟踪效果更好。相比于基准模型YOLOv5+Deep SORT算法,本文构建的基于监控视频的行人检测跟踪模型的HOTA提高了9.03%,说明对小目标和被遮挡行人的跟踪效果更好。

基于人物属性的行人重识别分析与研究

这是一篇关于行人重识别,深度学习,行人检测,人物属性,特征融合的论文, 主要内容为近年来,随着社会的发展以及人们对于公共安全的关注,越来越多的监控设备被部署于全球的各大城市。在刑事案件破获,失踪人口搜寻,城市安全管理和社会稳定方面有着非常重要的作用。同时伴随着海量的视频数据,利用计算机对监控设备采集到的视频图像数据进行智能化分析处理的需求与日俱增。行人重识别(Person Re-identification)作为一种重要的智能视频分析技术,其旨在判断不同摄像头下的行人图像是否为同一目标行人,因此受到了国内外科研工作者的广泛关注。然而现有的大多数基于深度学习行人重识别方法主要是在裁剪好的行人图片中匹配查询集和候选集,这与实际应用时面对的全景图差异较大。针对行人重识别目前所存在的问题,本文主要完成了以下三个方面的工作内容:1)在行人重识别的实际应用中,如果对候选图中的所有行人进行手工裁剪,那将会耗费大量的人力,因此使用行人检测算法成为了必然。而在之前的许多工作中人们都是将行人检测和行人重识别分成了两个独立的研究部分。本文为了在提高行人检测精度的同时还能获得更好的重识别率,提出了一种基于行人检测的一体化行人重识别框架。将行人检测和行人重识别两部分整合到了同一个深度卷积神经网络上,真正意义上的实现了端到端的训练。同时本文还对Faster R-CNN目标检测网络中的锚点(Anchors)做了改进,并在模型训练时使用了新的损失函数。相比其他算法,本文的方法在两个行人数据集上都获得了较好的性能提升。2)行人重识别和人物属性识别的共同目标是都是对行人进行描述,只是行人重识别会提取一个人的全局特征而属性识别则更注重于局部特征。考虑到两者的异同,本文提出了一种多任务行人重识别框架。在网络结构的实现上,本文在一体化行人重识别框架的基础上添加了额外的人物属性识别分支网络,实现了不同任务之间的参数共享,有效的降低了模型的计算量,提取的特征也更有助于提升行人重识别的准确率。同时在行人的重识别的过程中为了更好地综合利用行人图像的多尺度信息,本文将行人的属性特征和身份ID特征进行了特征融合。实验结果证明了本文提出的方法,能够学习到更具表达性和鲁棒性的行人特征,可以有效地提高行人重识别的效果。3)由于本文的研究内容都是针对现实场景图片的,并且还会利用到人物属性,因此在PRW和SSM这两个大型的行人数据集上,我们根据视觉内容对所有图片中的每一个行人都标注了11维人物属性。

监控视频信息综合管理平台设计及行人检测算法研究

这是一篇关于视频监控,SSL,行人检测,HOG,CENTRIST,GMR的论文, 主要内容为目前管理智能化的进步和网络技术的不断发展,将传统的监控视频系统与Internet环境相结合,建设监控视频信息综合管理平台是视频监控领域发展的一个重要的组成和目标。而在智能监控系统中,行人是最为关键的目标对象。监控系统可根据当前捕获的行人检测结果,触发跟踪系统持续观察兴趣目标,从而给出兴趣目标的行为与状态信息。本文研究了监控视频信息综合管理平台的设计和行人自动检测算法两个方面的问题。首先介绍和总结了监控视频信息技术的研究现状和研究进程,由于实际应用发展提出了新的需求,且现有的监控信息管理平台有不完善之处,提出了一种新的监控信息综合管理平台设计方案。平台搭建由微软的Windows平台改变为到开源的Linux嵌入式操作平台下,采用了SSL加密技术,有效地提高了系统的稳定性,确保信息传递中的安全性和保密性,改善了平台运行环境复杂,经常需要重新启动来恢复运行的问题,在服务器和客户端间设计了一条独立的传输通道,来保障传输中的敏感信息得到保护不被泄漏。然后,针对视频监控领域的人体目标检测方法进行了分析和研究,针对直立行人检测中HOG算法计算量较大,实时性较差的问题,基于CENTRIST(Census Transform Histogram)方法的行人检测结果,采用显著图分割技术,将包含行人的前景区域与检测框内的背景区域分离开来,使得跟踪系统能够根据行人的主体运动部分做出准确判断,有效地缓解了背景区域以及行人局部运动(如手、脚运动)对跟踪结果的干扰。文中的实验结果表明,该行人检测方法在提高后续跟踪模块的准确率的同时,又能适用于实时性要求较高的智能视频监控系统。

端到端的行人搜索

这是一篇关于行人搜索,行人检测,行人重识别,属性识别,Transformer的论文, 主要内容为在一个智能视频监控系统中最主要的功能就是“定位”和“识别”行人,其中“定位”和“识别”分别对应“行人检测”和“行人重识别”任务。但行人检测只注重行人的位置,行人重识别只注重行人的身份,所以这两项独立的任务往往不能满足监控系统在实际应用时的需求。为消除这两个任务在理论研究与实际应用之间的隔阂,“行人搜索”被提出并引起计算机视觉领域的广泛关注。行人搜索旨在从包含真实的且无裁剪的图像的图库里定位并识别待查询行人。现有的行人搜索工作主要分为两阶段和一阶段方法,其中一阶段方法也被称为端到端的方法,要求在一个统一的框架中实现检测和重识别端到端的联合训练。本文以解决端到端的行人搜索为主旨,结合相关工作,对可能的解决方案深入地分析与探索。本文主要的工作内容总结如下:(1)外观属性例如衣服的颜色和样式等在行人重识别任务中已被广泛地应用。但是由于两个公开的行人搜索数据集没有属性标注,所以目前还没有利用行人属性的行人搜索工作。鉴于此,我们提出一个基于属性表征的行人搜索(Attr PS)模型,并在行人搜索数据集上手工标注了属性标签。Attr PS包括一个检测网络,一个属性识别网络(Attr Net)和一个重识别头。首先检测网络预测准确的边界框,结果用于获取行人基础特征,再结合行人分割掩膜,通过Attr Net提取多个属性的细粒度特征,再拼接到行人重识别向量上,属性标签用于监督Attr Net。Attr PS在CUSK-SYSU数据集上进行了实验验证,m AP达到了91.3%。(2)现有的行人搜索模型,包括两阶段和一阶段方法,大多是基于卷积神经网络实现的,这证明了卷积神经网络在该任务上的优势。此外,Transformer已在行人检测和行人重识别任务上取得了巨大的成功,展示出它解决其他视觉任务的能力,但在行人搜索上很少有与之相关的方法。因此,为了利用卷积神经网络和Transformer各自的优点,我们提出两个将卷积神经网络和Transformer结合在一个框架中的方法,即基于CNN检测器和基于Transformer重识别器的行人搜索模型(CNN-TR),以及基于Transformer检测器和基于CNN重识别器的行人搜索模型(TR-CNN)。通过这样的设计,我们对Transformer在行人搜索任务上的能力进行了充分探索。两个方法都在CUSK-SYSU数据集上进行了验证实验,其中CNN-TR实现了92.9%m AP。(3)行人检测旨在将行人与背景和其他类别的物体区分开,所以行人检测的目标是找到行人的共同性。行人重识别旨在识别并区分不同的行人,所以它的目标是找到每个行人的独特性。因此,矛盾的训练目标是一阶段行人搜索方法的一大挑战。为了缓解这个矛盾问题,我们提出一个基于顺序Transformer架构(Seq TR)的模型依次解决检测和重识别。Seq TR的顺序框架解耦出用于检测和重识别不同的特征图,降低它们在训练时的相互影响。此外,我们设计了一个新颖的re-ID Transformer,它不仅可以利用同一场景中的上下文信息,还可以为行人外貌的细粒度特征自适应分配注意力权重。为解决行人尺度大小变化的问题,我们的re-ID Transformer还使用多个尺度特征图,生成抗尺度变化的行人重识别向量。Seq TR在PRW数据集上实现了59.3%m AP,超越了同期所有方法。

第一人称视频中的行人跟踪及轨迹预测方法研究

这是一篇关于第一人称视频,行人检测,行人跟踪,社会力优化,轨迹预测的论文, 主要内容为当今社会己经逐步进入“人工智能”时代,大量的新技术推动着社会朝着信息化、智能化的方向发展,带来了包括机器人、语音识别、图像理解、自然语言处理、智能推荐系统等众多高科技产品。同时,计算机视觉作为人工智能邻域的重要组成部分而成为热点研究内容,它通过对计算机视觉相关的理论和技术进行研究,然后建立从图像或视频数据中获取“信息”的人工视觉系统,使计算机代替人的眼睛及大脑,对现实世界进行感知、解释和理解。而行人跟踪及轨迹预测作为计算机视觉邻域的热点研究内容,已成功运用于智能安防监控、盲人导航等领域,并且取得了较好的发展。然而,区别于第三人称的行人跟踪及轨迹预测,第一人称视频中由于行人频繁遮挡、相互影响以及场景变换而导致跟踪及轨迹预测精度较低,本文为了提高行人跟踪及轨迹预测精度,侧重研究了第一人称视频中的行人跟踪及轨迹预测方法,以更好满足实际应用的需求。首先,针对由于第一人称视频中行人频繁遮挡,导致目前行人检测准确率较低的问题,提出一种基于改进单步多框检测器(SSD)的行人检测模型。该方法首先对SSD的网络结构进行调整,改变其中的特征提取策略;其次重新设置默认框,使用一种宽高比的默认框来进行预测;最后使用排斥力损失函数进行计算,得到精确的行人检测结果,较好地解决了行人频繁遮挡造成的错检漏检问题。然后,针对由于第一人称视频中行人特征不突出以及行人的相互影响,导致跟踪准确率不高的问题,提出结合深度表观特征和社会力优化的行人跟踪方法。该方法利用基于改进单步多框检测器的行人检测模型来得到准确的行人检测结果,提取检测后图像的深度表观特征,使用Kuhn-Munkres算法进行数据关联,最后基于社会力模型进行关联结果优化,进而提高行人跟踪的准确率。最后,针对第一人称视频中行人相互影响以及运动场景实时变换的问题,提出结合注意力和场景特征的行人轨迹预测方法。采用LSTM的编码器-解码器结构,通过对自身运动信息编码捕获先验信息影响,通过使用注意力量化表征行人影响,使用CNN模型提取的场景特征表示场景影响,实现了第一人称视频中的行人轨迹预测,具有较高的预测精度。

基于边缘计算的客流检测跟踪系统研究

这是一篇关于边缘计算,行人检测,多目标跟踪,YOLO算法,系统开发的论文, 主要内容为近年来,随着人工智能领域的迅猛发展及目标检测技术的成熟,以行人检测为技术基础的各类系统已被广泛应用到了无人驾驶、智慧交通、智能监控等领域。利用计算机代替人眼,可在大量降低人力物力消耗的基础上,提升目标检测效率,这使得客流检测系统在安防监控领域处于人们研究的重点与热点。但目前已有的客流检测系统常依托于服务器进行开发与应用,这使得后台运行压力增大、计算量增加、带宽成本增高。基于以上问题,本文引用边缘计算思想,将目标检测、跟踪、客流数据统计等工作移植至前端边缘设备中进行开发与应用,研究适用于边缘计算的轻量级检测网络并选用嵌入式GPU平台完成整体系统搭建。主要研究成果如下:针对行人检测模块,本文提出了基于YOLOv3-tiny网络轻量化的行人检测算法,利用深度可分离卷积重新构建Yolov3-tiny主干网络,在保证算法检测速度的前提下,提高网络提取行人特征的能力,并增加一层预测层,确保各个尺寸的目标被准确检测,保证网络检测的准确率。针对行人跟踪模块,本文提出了基于深度学习与多特征融合的目标跟踪算法,利用行人检测模块得到的行人目标位置信息,可对待检测视频中每帧出现的行人目标进行多特征提取,并根据提取到的多特征运用匈牙利算法进行数据关联,最终形成跟踪轨迹。本文选用NVIDIA TX2开发板作为系统开发平台,研究并开发适用于平台的行人检测、目标跟踪、数据分析等模块。在软件架构层面上,实现了行人目标检测、多目标跟踪、行人数量、密度、速度、行进方向等客流数据统计的功能。本客流检测系统已在多个地铁场景下进行了系统稳定性、功能性、及准确性的测试,实验结果表明:本系统稳定性及功能性均达到了课题要求,系统检测准确率达到95.8%,运行帧率达到18fps,基本满足实时地铁场景的应用需求。

基于人物属性的行人重识别分析与研究

这是一篇关于行人重识别,深度学习,行人检测,人物属性,特征融合的论文, 主要内容为近年来,随着社会的发展以及人们对于公共安全的关注,越来越多的监控设备被部署于全球的各大城市。在刑事案件破获,失踪人口搜寻,城市安全管理和社会稳定方面有着非常重要的作用。同时伴随着海量的视频数据,利用计算机对监控设备采集到的视频图像数据进行智能化分析处理的需求与日俱增。行人重识别(Person Re-identification)作为一种重要的智能视频分析技术,其旨在判断不同摄像头下的行人图像是否为同一目标行人,因此受到了国内外科研工作者的广泛关注。然而现有的大多数基于深度学习行人重识别方法主要是在裁剪好的行人图片中匹配查询集和候选集,这与实际应用时面对的全景图差异较大。针对行人重识别目前所存在的问题,本文主要完成了以下三个方面的工作内容:1)在行人重识别的实际应用中,如果对候选图中的所有行人进行手工裁剪,那将会耗费大量的人力,因此使用行人检测算法成为了必然。而在之前的许多工作中人们都是将行人检测和行人重识别分成了两个独立的研究部分。本文为了在提高行人检测精度的同时还能获得更好的重识别率,提出了一种基于行人检测的一体化行人重识别框架。将行人检测和行人重识别两部分整合到了同一个深度卷积神经网络上,真正意义上的实现了端到端的训练。同时本文还对Faster R-CNN目标检测网络中的锚点(Anchors)做了改进,并在模型训练时使用了新的损失函数。相比其他算法,本文的方法在两个行人数据集上都获得了较好的性能提升。2)行人重识别和人物属性识别的共同目标是都是对行人进行描述,只是行人重识别会提取一个人的全局特征而属性识别则更注重于局部特征。考虑到两者的异同,本文提出了一种多任务行人重识别框架。在网络结构的实现上,本文在一体化行人重识别框架的基础上添加了额外的人物属性识别分支网络,实现了不同任务之间的参数共享,有效的降低了模型的计算量,提取的特征也更有助于提升行人重识别的准确率。同时在行人的重识别的过程中为了更好地综合利用行人图像的多尺度信息,本文将行人的属性特征和身份ID特征进行了特征融合。实验结果证明了本文提出的方法,能够学习到更具表达性和鲁棒性的行人特征,可以有效地提高行人重识别的效果。3)由于本文的研究内容都是针对现实场景图片的,并且还会利用到人物属性,因此在PRW和SSM这两个大型的行人数据集上,我们根据视觉内容对所有图片中的每一个行人都标注了11维人物属性。

基于深度神经网络的无人机行人检测方法

这是一篇关于无人机,行人检测,卷积神经网络,小目标的论文, 主要内容为无人机可以为深入理解和分析行人行为供独特视角,基于无人机影像的行人定位与识别已经成为无人机图像处理的热门研究领域。而人作为社会活动和军事活动的主体,对其在无人机视角下进行准确且快速的检测与识别具有重要的实用价值。针对无人机场景下的行人目标具有密集、遮挡严重、特征模糊、尺度变化大、中小目标多等特点,并考虑到实际应用的高效性,本文对现有的通用目标检测方法进行了深入探索,并出了一系列高效的基于深度卷积神经网络的无人机行人检测算法。本文主要的研究内容如下所述:(1)出了基于改进YOLOv4-tiny的无人机行人检测方法。针对基于深度学习的检测方法在嵌入式平台上性能受限这一问题,该方法通过引入结构重参数化改进骨干网络CSPDark Net19以高模型的特征取能力和运行速度。与此同时,引入K-Means++算法改进锚框聚类算法的聚类中心初始化策略以高锚框聚类算法的稳定性,并使用遗传算法优化锚框聚类结果。最后,在收集并采用水平框标注的无人机行人数据集上进行实验,证明了所方法的有效性。(2)出了基于特征增强与自适应注意力的无人机行人检测方法。针对无人机成像特点对行人定位与识别带来的干扰问题,该方法采用轻量级PAFPN的架构实现特征融合,引入即插即用的特征增强模块增强检测特征图中的中小目标特征信息。之后,加入自适应注意力模块缓解特征融合过程中特征通道减少带来的信息丢失。实验证明,该方法可以有效减少中小目标的漏检。(3)出了基于轻量级解耦检测头的无锚框无人机行人检测方法。针对基于锚框的检测方法泛化性差这一缺陷,该方法基于像素点进行分类与边界框回归,通过增加正样本的数量来高多尺度目标检测性能。该方法引入基于深度可分离卷积的轻量级解耦检测头来避免分类任务和回归任务的特征冲突。与此同时,为了升训练模型的收敛速度和稳定性,引入了基于辅助学习模块的训练策略。该方法充分利用了无锚框检测方法简单、高效、快速的特点,并与辅助学习模块相结合,有效的高了检测算法的整体性能。