智慧教室系统设计及课堂行为识别研究
这是一篇关于智慧教室,智能算法,人体行为识别,T-Fusion的论文, 主要内容为近年来,智慧教育理念已经逐渐被人们所熟知。作为智慧教育理念的载体,智慧教室也随之受到社会的关注。而随着人工智能的发展,人们对智慧教室的功能需求已经不局限于为师生的教学提供便利,而是将教室也看作教学的一部分,通过使用智能算法使教室也参与到教学的过程中来。因此,智能算法与智慧教室的结合成为了当下智慧教室发展的一个重点和难点。论文针对智慧教室的发展趋势和实际需求,设计了一款基于行为识别算法的智慧教室系统,该系统除了能为师生提供良好的教学环境,还可以自动对学生进行考勤,并通过对学生上课和考试状态识别,协助教师提升授课质量。论文首先对智慧教室系统进行了需求分析,根据校方对系统提出的功能需求从结构上将系统划分为客户端、服务端、主控模块三个部分,并从软件和硬件两个方面完成整个系统的设计。其中,客户端使用Vue+Element UI组件结合node.js技术完成了管理系统的设计;服务端将华为云服务器作为载体,使用Spring Cloud Alibaba一站式解决方案完成了系统后端开发,实现了教室环境远程监控以及学生课堂行为远程识别,提升了系统智能化程度。主控模块则使用IMX6ULL开发板结合STM32单片机进行设计,实现了教室电子设备控制以及教室环境调节等功能。根据智慧教室系统的智能化需求,对人体行为识别算法进行了深入研究。论文综合双流卷积神经网络和3D卷积神经网络的结构特点,设计了强化伪3D卷积网络时间特征的T-Fusion网络模型,并采用3D拆分网络的思想,将残差网络、T-Fusion网络与3D卷积神经网络结合,设计了时空融合伪3D卷积神经网络模型TFP3D,提升了网络对视频时间特征和整体特征的提取能力。论文最后对系统各项功能进行了测试,证明智慧教室系统的实用性,满足校方对智慧教室系统提出的各项功能需求。
基于人体骨骼关键点的行为识别研究与实现
这是一篇关于计算机视觉,人体行为识别,骨骼关键点,OpenPose,双流网络的论文, 主要内容为近年来,随着人体行为识别技术火热发展,吸引了越来越多科研工作者的广泛关注。目前基于视频的行为识别方法中,传统双流法的识别准确率较好,且最具代表性。但是传统双流法依然存在不足,该算法中时间流网络的输入是光流图,而光流图的计算需要消耗大量的时间,无法保证检测的实时性。虽然基于骨架数据集的行为识别具有不受光照强度、背景混入等因素的干扰,鲁棒性较好等优点。但是在现实环境下人体的行为复杂多样,不同的行为之间可能存在很多相似的动作,如果过度关注骨架信息,而忽略视频中的其他信息,计算机可能会有误判的情况发生,从而降低识别准确率。因此,本文针对以上问题,提出了一种融合图像信息和骨架信息的行为识别方法,该方法在保留其骨架数据集优点的同时,并结合视频的图像信息,使识别准确率得到进一步提升。本文的研究内容主要如下:1.本文通过对OpenPose姿态提取算法的深入研究,对OpenPose算法进行了改进。原OpenPose算法的特征提取网络为VGG-19,该特征提取网络的层数较深,参数量大,对于计算能力有限的硬件设备无法保证检测的实时性,所以本文采用轻量级Mobile Net-V3对其进行替换,使其能够在保证精确度稳定的前提下提高帧率。通过实验对比发现,改进后的OpenPose算法相比于原始算法检测速度大概提升了20 FPS,基本达到了普通客户端的使用需求。2.由于骨架数据集中不仅蕴含空间信息,而且还蕴含丰富时序信息,因此搭建了一支既可以获取骨架数据集空间信息又可以获取骨架数据集时序信息的骨架流网络,该骨架流网络使用Goog Le Net的Inception网络来提取时间信息,LSTM网络来提取时序信息,并将这两部分信息进行特征融合得到一个初步的行为分类结果。3.本文又对基于视频图像的行为识别方法进行了研究,针对传统的卷积神经网络通常只选取视频中某一帧图像来进行提取特征,获取的信息不够丰富的缺点。因此本文借鉴时间分段网络的稀疏时间采样策略,并在此基础上对时间分段网络进行改进,裁剪去时间流网络分支,并将空间流的特征提取网络替换成网络层数更深的Res Net-50网络,使其能够获取到更加丰富的图像信息。最后将骨架流和图像流网络分别得到的信息进行特征融合,构造出一个新双流网络模型。通过实验证明了本文提出融合骨架流和图像流的行为识别算法的可行性和有效性。
基于改进型ResNeXt网络的人体行为识别研究
这是一篇关于人体行为识别,ResNeXt-50,前后特征融合,SE-Net,预训练的论文, 主要内容为计算机硬件技术的飞速发展,带动了深度学习技术的不断发展,以深度学习技术为基础的人体行为识别算法在智能实时监控、人机交互、视频检索等领域都有着重要的应用价值。人体动作具有高度复杂性,同时极易受到外界环境干扰和相机抖动等影响,提高人体行为识别任务的准确率成为一个富有挑战性的研究内容,并且人体行为识别算法的研究有着重要的现实意义,在一些公共场所下的,实时的异常行为监控对人们日常生活安全有着重要的影响。本文在人体行为识别领域进行深入研究后,做了以下工作:首先,论文研究了人体行为识别领域的两种主流的算法:双流网络和3D卷积神经网络。对比两种主流的算法后,鉴于双流网络提取光流特征需要耗费大量的时间,在一些需要实时识别的场景下,双流网络的速度会比较慢。论文最终选择以3D卷积神经网络为基础进行改进,提高人体行为识别任务的准确率。论文选择以50层的ResNeXt为基础,在数据集上实验过程中发现了 3D卷积神经网络参数量巨大导致网络优化困难,同时庞大的参数量对计算性能的要求也更高。在ResNeXt-50网络中使用时空特征联合卷积的残差模块来替代3D卷积的残差模块。两个网络在UCF-101、HMDB51两个数据集进行了训练和测试。基于3D卷积的ResNeXt网络在UCF-101、HMDB51测试的准确率分别为88.52%和46.88%,而基于时空特征联合卷积的ResNeXt网络上测试的准确率分别为92.08%和53.34%。测试的准确率表明基于时空特征联合卷积的ResNeXt在两个数据集效果都有比较明显的提升,同时相比于3D卷积减少了网络的参数量。深度神经网络存在优化困难的问题。针对这个问题,论文根据深层与浅层特征的不同特点提出了一种新的前后特征融合算法,并将其和ResNeXt网络结合。最后在UCF-101、HMDB51两个数据集上,基于时空特征联合卷积的ResNeXt网络测试准确率93.04%和55.45%,最终准确率的提升证明了该算法有效性,同时在训练速度上也有一定的提升。最后将应用在二维图像数据的SE-Net算法进行了改进嵌入进ResNeXt网络中,使其可以应用在三维视频数据,SE-Net算法通过对特征通道加权不仅可以提高网络的优化速度也可以提高准确率。最后本文将两种算法嵌入到基于时空特征联合卷积的ResNeXt网络中,在大型数据集Kinetics数据集上进行了训练保存模型参数作为预训练模型。加载预训练模型微调后,在UCF-101上的测试准确率达到97.96%,在HMDB51上的准确率达到73.41%,在NTURGB+D上的准确率为89.18%。本文提出的网络模型在UCF-101和NTURGB+D这两个数据集上几乎达到了目前最高准确率,在HMDB51上效果稍微差一点。模型在三个数据集上的准确率数据充分证明了模型的鲁棒性和效果。
基于人体骨骼关键点的行为识别研究与实现
这是一篇关于计算机视觉,人体行为识别,骨骼关键点,OpenPose,双流网络的论文, 主要内容为近年来,随着人体行为识别技术火热发展,吸引了越来越多科研工作者的广泛关注。目前基于视频的行为识别方法中,传统双流法的识别准确率较好,且最具代表性。但是传统双流法依然存在不足,该算法中时间流网络的输入是光流图,而光流图的计算需要消耗大量的时间,无法保证检测的实时性。虽然基于骨架数据集的行为识别具有不受光照强度、背景混入等因素的干扰,鲁棒性较好等优点。但是在现实环境下人体的行为复杂多样,不同的行为之间可能存在很多相似的动作,如果过度关注骨架信息,而忽略视频中的其他信息,计算机可能会有误判的情况发生,从而降低识别准确率。因此,本文针对以上问题,提出了一种融合图像信息和骨架信息的行为识别方法,该方法在保留其骨架数据集优点的同时,并结合视频的图像信息,使识别准确率得到进一步提升。本文的研究内容主要如下:1.本文通过对OpenPose姿态提取算法的深入研究,对OpenPose算法进行了改进。原OpenPose算法的特征提取网络为VGG-19,该特征提取网络的层数较深,参数量大,对于计算能力有限的硬件设备无法保证检测的实时性,所以本文采用轻量级Mobile Net-V3对其进行替换,使其能够在保证精确度稳定的前提下提高帧率。通过实验对比发现,改进后的OpenPose算法相比于原始算法检测速度大概提升了20 FPS,基本达到了普通客户端的使用需求。2.由于骨架数据集中不仅蕴含空间信息,而且还蕴含丰富时序信息,因此搭建了一支既可以获取骨架数据集空间信息又可以获取骨架数据集时序信息的骨架流网络,该骨架流网络使用Goog Le Net的Inception网络来提取时间信息,LSTM网络来提取时序信息,并将这两部分信息进行特征融合得到一个初步的行为分类结果。3.本文又对基于视频图像的行为识别方法进行了研究,针对传统的卷积神经网络通常只选取视频中某一帧图像来进行提取特征,获取的信息不够丰富的缺点。因此本文借鉴时间分段网络的稀疏时间采样策略,并在此基础上对时间分段网络进行改进,裁剪去时间流网络分支,并将空间流的特征提取网络替换成网络层数更深的Res Net-50网络,使其能够获取到更加丰富的图像信息。最后将骨架流和图像流网络分别得到的信息进行特征融合,构造出一个新双流网络模型。通过实验证明了本文提出融合骨架流和图像流的行为识别算法的可行性和有效性。
智慧教室系统设计及课堂行为识别研究
这是一篇关于智慧教室,智能算法,人体行为识别,T-Fusion的论文, 主要内容为近年来,智慧教育理念已经逐渐被人们所熟知。作为智慧教育理念的载体,智慧教室也随之受到社会的关注。而随着人工智能的发展,人们对智慧教室的功能需求已经不局限于为师生的教学提供便利,而是将教室也看作教学的一部分,通过使用智能算法使教室也参与到教学的过程中来。因此,智能算法与智慧教室的结合成为了当下智慧教室发展的一个重点和难点。论文针对智慧教室的发展趋势和实际需求,设计了一款基于行为识别算法的智慧教室系统,该系统除了能为师生提供良好的教学环境,还可以自动对学生进行考勤,并通过对学生上课和考试状态识别,协助教师提升授课质量。论文首先对智慧教室系统进行了需求分析,根据校方对系统提出的功能需求从结构上将系统划分为客户端、服务端、主控模块三个部分,并从软件和硬件两个方面完成整个系统的设计。其中,客户端使用Vue+Element UI组件结合node.js技术完成了管理系统的设计;服务端将华为云服务器作为载体,使用Spring Cloud Alibaba一站式解决方案完成了系统后端开发,实现了教室环境远程监控以及学生课堂行为远程识别,提升了系统智能化程度。主控模块则使用IMX6ULL开发板结合STM32单片机进行设计,实现了教室电子设备控制以及教室环境调节等功能。根据智慧教室系统的智能化需求,对人体行为识别算法进行了深入研究。论文综合双流卷积神经网络和3D卷积神经网络的结构特点,设计了强化伪3D卷积网络时间特征的T-Fusion网络模型,并采用3D拆分网络的思想,将残差网络、T-Fusion网络与3D卷积神经网络结合,设计了时空融合伪3D卷积神经网络模型TFP3D,提升了网络对视频时间特征和整体特征的提取能力。论文最后对系统各项功能进行了测试,证明智慧教室系统的实用性,满足校方对智慧教室系统提出的各项功能需求。
智慧教室系统设计及课堂行为识别研究
这是一篇关于智慧教室,智能算法,人体行为识别,T-Fusion的论文, 主要内容为近年来,智慧教育理念已经逐渐被人们所熟知。作为智慧教育理念的载体,智慧教室也随之受到社会的关注。而随着人工智能的发展,人们对智慧教室的功能需求已经不局限于为师生的教学提供便利,而是将教室也看作教学的一部分,通过使用智能算法使教室也参与到教学的过程中来。因此,智能算法与智慧教室的结合成为了当下智慧教室发展的一个重点和难点。论文针对智慧教室的发展趋势和实际需求,设计了一款基于行为识别算法的智慧教室系统,该系统除了能为师生提供良好的教学环境,还可以自动对学生进行考勤,并通过对学生上课和考试状态识别,协助教师提升授课质量。论文首先对智慧教室系统进行了需求分析,根据校方对系统提出的功能需求从结构上将系统划分为客户端、服务端、主控模块三个部分,并从软件和硬件两个方面完成整个系统的设计。其中,客户端使用Vue+Element UI组件结合node.js技术完成了管理系统的设计;服务端将华为云服务器作为载体,使用Spring Cloud Alibaba一站式解决方案完成了系统后端开发,实现了教室环境远程监控以及学生课堂行为远程识别,提升了系统智能化程度。主控模块则使用IMX6ULL开发板结合STM32单片机进行设计,实现了教室电子设备控制以及教室环境调节等功能。根据智慧教室系统的智能化需求,对人体行为识别算法进行了深入研究。论文综合双流卷积神经网络和3D卷积神经网络的结构特点,设计了强化伪3D卷积网络时间特征的T-Fusion网络模型,并采用3D拆分网络的思想,将残差网络、T-Fusion网络与3D卷积神经网络结合,设计了时空融合伪3D卷积神经网络模型TFP3D,提升了网络对视频时间特征和整体特征的提取能力。论文最后对系统各项功能进行了测试,证明智慧教室系统的实用性,满足校方对智慧教室系统提出的各项功能需求。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://bishedaima.com/lunwen/52382.html
