8篇关于手势识别的计算机毕业论文

今天分享的是关于手势识别的8篇计算机毕业论文范文, 如果你的论文涉及到手势识别等主题,本文能够帮助到你

用于车载空调控制的手势识别研究

这是一篇关于手势识别,图像增强,目标检测,手部关键点检测,人机交互的论文, 主要内容为在这个智能化快速发展的时代下,车内的辅助操作越来越多,但相关操作也越来越复杂,在改变车内辅助操作的情况下,驾驶员的视线难免偏离驾驶路线,容易发生交通事故。为了简化车内相关系统的辅助操作并避免驾驶员视线偏离驾驶路线,本文以汽车空调辅助控制为背景,研究了使用手势识别来控制汽车空调的相关功能。论文的主要工作如下:针对驾驶过程中手势识别会受到光照过暗的影响而导致识别检测率下降或手势无法识别的问题,在Retinex-Net低光照图像增强算法上增加了残差模块并设计了FConv Net网络结构,提升了网络对于图像中色度、饱和度、对比度、边缘细节等信息的学习能力,有效抑制了噪声的产生,提高了算法在低光照场景的鲁棒性。针对手部区域检测存在漏检误检和置信度低的问题,在YOLOv7网络模型中加入了CA注意力机制。使得模型将更多的注意力放在了手部区域上,减少了特征图中的背景和一些冗余信息的干扰,有效提升了YOLOv7网络模型的识别精度,并减少了手部区域检测漏检误检的情况,置信度也随之提高。针对现有的手部关键点检测算法检测误差大的问题,设计了一种整体维度和参数量较少的hand UNet网络结构,使得网络模型更轻量化,计算量少运行速度更快,同时在hand UNet网络模型上做了多层特征提取和多层特征融合,使得网络模型准确率更高,检测效果更好。基于汽车空调辅助控制为背景,制定了控制车内空调的手势指令数据集并对采集的数据集进行了处理,提出了将Bi GRU网络与Capsule网络融合来进行手势指令识别,使得在提取手势特征时,既能提取时序特征,又能提取手势关键点的空间矢量信息,进而使得提取到的特征信息更加全面,有效提升手势识别的精度。搭建了车载场景下手势识别实验平台,对上位机与下位机进行了设计,使得上位机能够实时采集并识别手势指令,再根据通讯协议将识别结果发送至下位机,对下位机模拟的汽车空调相关功能进行控制,实现了对手势的实时采集、识别、传输与控制。

基于深度残差网络的手势检测与识别技术的研究

这是一篇关于手势检测,YOLOv4,手势识别,YCbCr颜色空间,深度残差网络的论文, 主要内容为人手的姿势复杂多变,极小的手势形变就包含了丰富的信息,并且同一个人做出同一种手势,动作也不尽相同,这些都加大了手势检测的难度。手势识别是人机交互的关键技术,并且在很多的领域都有重要的应用。近年来基于深度学习的手势检测与识别技术发展迅猛,但是由于手势检测与识别容易受到光线变化和手势阴影等影响,因此面临着巨大的挑战。本文针对手势检测和识别任务的问题和挑战展开了如下研究:(1)为了解决传统方法难以应对手势检测中如密集分布、不规则形态、多尺度目标类别、纹理相似性等问题,给出了一种基于Dense-CSPDarknet53的手势检测方法。主干网络采用Dense Net优化特征传播和重用,网络主干和颈部提出新的残差块以增强特征表示并降低计算成本;采用空间金字塔池化扩大感受野,通过修改路径聚合网络以保留局部信息和融合多尺度语义信息的特征。实验部分首先使用COCO数据集对模型进行预训练,将得到相应的参数权重作为模型的初始值,然后在标准手势数据集JTS-I和新构建的手势检测数据集Gestures上和Mobilenet V3以及Faster R-CNN对比,验证了该网络模型在手势检测精度和速度方面优于现有的深度模型。(2)针对复杂背景和拍摄角度影响手势识别准确率的问题,给出了一种基于深度残差注意力网络的手势识别方法。该方法包含一种基于椭圆肤色模型的手势分割模块和基于改进深度残差网络的手势识别模块。手势分割模块利用YCb Cr颜色空间中肤色的聚类效应,将基于椭圆肤色模型的Cb Cr二维空间对手势进行分割,并提出具有逻辑运算的数学形态方法以辅助手势分割。手势识别模块首先在HGR1数据集上进行数据增强,其次引入通道注意力机制到深度残差SE-Res Net网络。通过与现有的方法进行对比,验证了所提的方法能获得较高的识别率。

基于增强现实的多设备测试场景交互技术研究与应用

这是一篇关于增强现实,多设备场景,三维注册,手势识别的论文, 主要内容为近年来,我国的制造业的飞速发展,各个领域的硬件设备不断的更新迭代,在这一过程中,设备测试是确保设备质量和性能的关键环节。设备测试测试环节可以帮助设备生产商和开发者发现并纠正产品设计和开发过程中存在的问题,从而确保设备在投入市场前具有高质量和可靠性。同时,设备测试环节还可以帮助设备生产商和开发者优化设备性能和功能,提高用户体验和满意度,增强设备的市场竞争力。因此,为了提高设备测试环节的效率和观看设备测试人员的体验感,本文在基于多设备的测试场景的前提下,通过增强现实技术和人机交互技术,开发了基于增强现实的多设备测试场景交互系统。本文主要工作如下:(1)提出了基于ORB-Jaccard的三维注册算法,目的是提高在三维跟踪注册的准确度。通过将Jaccard相似度系数引入ORB算法,提出ORB-Jaccard算法,进一步完善特征点的匹配,减少传统ORB算法通过HAMMING距离进行特征点匹配容易产生误匹配和错误的问题,提高特征点检测和匹配的准确度,得到适用于多设备场景下的三维注册技术。(2)设计提出GRU-Bi GRU-Attention模型用于动态手势识别。通过GRU模型和Bi GRU模型进行堆叠,并在此基础上引入注意力机制,提高动态手势识别的精度和准确率。通过和传统的循环神经网络对照实验后,证明了该模型在动态手势识别方面有较高的准确度和实时性。(3)设计并实现了基于增强现实的多设备测试场景交互系统。通过Unity3D和Vuforia工具,结合本文提出的三维注册技术,实现了对于多设备的三维注册跟踪,以及虚实结合;为了使得人机交互功能不会受限摄像头硬件要求,将人机交互的功能分成两个部分来实现,一部分是是通过动态手势分别与鼠标操作和多设备测试环节的操作进行绑定,通过本文设计提出并训练得到的动态手势识别模型、Open CV和Media Pipe工具进行开发;另一部分通过鼠标与增强现实场景中的模型进行交互,通过在Unity3D中对设备的模型挂载脚本实现。整个系统的开发使用Python和Vue进行开发,在Django-Vue框架的基础上实现,并将增强现实和人机交互整合进系统中,实现了基于增强现实的多设备测试场景交互系统。

面向手势交互的可穿戴设备系统设计及识别算法研究

这是一篇关于可穿戴设备,可穿戴系统设计,LSTM网络,多流卷积融合网络,BiGRU网络,手势识别的论文, 主要内容为随着物联网、传感器与人工智能等技术领域的不断突破,智能可穿戴设备作为一类功能高度集成化的系统,已经在手语识别、虚拟现实、触觉反馈、机器人遥操作等多种手势交互场景中得到了广泛应用。但目前可穿戴设备的发展还存在诸多问题:一方面,部分可穿戴设备存在传感技术落后、配套软硬件设施不完善、可穿戴系统检测精度低且实时性不高等问题,无法满足用户的基本需求;另一方面,大多数可穿戴手势交互技术落后,识别处理算法精度不够高、泛化性差,导致实际应用不成熟。针对上述穿戴设备领域存在的问题,本文选取电子皮肤(E-skin)和表面肌电(sEMG)两种典型的可穿戴设备作为研究对象,设计与集成了两种可穿戴设备的软硬件系统,并依托自主设计的实验平台开展了面向手势交互应用的手势识别算法研究,以改善当前穿戴设备性能上的不足,同时提升用户的穿戴体验。本文的主要研究内容概括如下:(1)针对穿戴设备存在的传感技术落后、用户佩戴舒适性差的问题,本文设计了一种成本低、轻薄度高的柔性可拉伸电子皮肤手套。这种传感器是基于柔性印刷电子技术和柔性传感封装技术实现,主要由柔性基底、蛇形可拉伸导线、多通道可拉伸应变传感器和封装薄膜组成。电子皮肤能够完全适应人类的手部结构特征,不仅穿戴舒适性好,还能够连续动态地提取手指弯曲运动的信息。(2)针对配套软硬件设施不完善、信号检测精度低且系统实时性不高的问题,搭建了E-skin穿戴设备和sEMG穿戴设备共两套软硬件系统平台。对于E-skin穿戴设备,以实验室自主研发的电子皮肤手套为传感核心,首先设计了以STM32为主控模块的采集电路,并基于FreeRTOS实时系统完成了下位机采集程序设计;然后基于Qt框架完成上位机采集界面设计,实现对传感数据的采集、显示、保存和处理等功能。对于sEMG穿戴设备,以实验室已有的多通道肌电采集设备Biometrics DataLITE为硬件平台,基于QCustomPlot高性能可视化控件设计了实时性好、刷新率高、界面友好的sEMG采集软件平台。设计的两套可穿戴设备为后续手势识别算法研究和交互应用提供了实验验证平台。(3)为解决手势交互效果不佳的问题,本文设计了一种基于长短时记忆网络(LSTM)的连续手指动作识别方法,能够自动完成对E-skin时序信号的特征提取和分析,实现了对5种连续手指动作和4种手指状态(共9种手势)的实时识别,并且识别精度最高能够达到93.02%。此外还设计了 LSTM网络与有限状态模型结合的方法,实现了电子皮肤与二自由度机器手4种手部状态的在线手势交互,并且实际交互控制效果良好。实验结果验证了 E-skin设备在获取手部姿态信息方面的有效性,以及在手语识别、远程操作等手势交互场景的应用潜力。(4)为解决识别处理算法精度低、泛化性差的问题,本文设计了多流卷积融合、BiGRU两种结合注意力机制的网络模型用于手势动作的识别,通过对4通道sEMG信号分别进行时空特征提取,实现了对前臂19种常见手势动作最高92.89%的识别准确率。此外还基于受试者无关的策略,通过聚合与受试者无关的sEMG数据来训练模型的特征提取模块,以达到手势迁移学习的目的,并实现了最高89.52%的识别准确率。最后基于多流卷积融合网络进行了在线手势识别实验,利用图形化交互界面连续处理、更新和显示识别结果,并获得了 86.46%的平均识别准确率。实验结果验证了所设计的多流融合方法在提高特征提取效率、在线识别精度以及改善模型泛化性能方面的有效性。

基于多层特征融合的手势识别算法研究

这是一篇关于手势识别,特征提取,特征融合,HOG,FPN,Faster R-CNN的论文, 主要内容为随着智能设备的发展,手势作为人机交互的方式渐渐被人们所习惯,因此手势识别技术变得尤为重要。目前基于计算机视觉的手势识别技术依然存在诸多限制,在复杂背景下的手势识别容易受到环境因素的干扰,如光照条件变化,背景杂物的遮挡等;再加上手势自身的翻转、重叠以及区域占比小等问题,使得提取单一特征的方法已经无法完成准确识别手势的需求。针对传统手势识别方法中特征描述单一的问题,本文基于机器学习与深度学习两种框架,提出了两种改良的手势识别算法,并开展和完成了两种算法的代码实现、数据集测试、平台验证等工作。具体完成的研究工作如下:1.针对传统方向梯度直方图(Histogram of Oriented Gradient,HOG)信息单一和易受到颜色信息影响的问题,提出了一种基于特征融合方法的新型特征向量HOG-C,增加了颜色信息与手势关键特征的关联性。HOG-C特征利用YCb Cr色彩空间建立肤色椭圆模型,标记图像中的肤色区域,并对其增加权重系数建立颜色梯度直方图;利用通道压缩的方法重建HOG特征向量,将包含手势关键信息的通道进行比例放大,得到HOG-C特征向量;最后利用支持向量机(support vector machines,SVM)进行训练,识别出正确的手势区域。该算法在Egohands数据集上进行测试,平均准确率达到了93.47%,在类肤色干扰下的识别效果有较大的提升。2.针对传统Faster R-CNN网络检测小目标手势的识别率较低问题,提出了一种结合特征金字塔网络(Feature Pyramid Networks,FPN)的改良结构,提升了整体模型在不同尺度上检测手势目标的能力。本文选用Res Net-50残差网络作为特征提取网络来减少特征信息的缺失,并加入卷积块注意力模块(Convolutional Block Attention Module,CBAM)对网络框架进行融合优化,同时设计对比实验,筛选出CBAM模块最佳插入位置,加强了整体网络模型对上下文信息的的捕获能力,进一步提高了对小目标手势的检测准确率。该算法在Egohands数据集上进行测试,达到了96.88%的准确率。3.针对两种改良算法,我们搭建了一套用于手势识别的智能监控云台,并在该平台开展了算法的实测验证。该平台选用树莓派CM4作为核心系统,Pi-Camera摄像头作为图像采集设备。选取六种不同的场景进行算法测试和分析,基于HOG-C特征的识别算法平均识别率达到95.9%,平均识别时间为144毫秒,适用于对识别准确率要求不高的实时监控场景;Faster R-CNN改良模型的平均识别率达到98.9%,平均识别时间为1278毫秒,适用于对准确率要求较高但识别速率要求低的识别平台。

语音识别与手势识别在遥感图像处理与展示中的应用

这是一篇关于语音识别,手势识别,人机交互,流程生成,遥感图像处理的论文, 主要内容为随着国家高分辨率对地观测系统重大专项的开展,遥感技术在军事、农业、勘探等多种领域的应用也愈发广泛。为系统的深入挖掘遥感图像数据,国内外出现了众多的遥感图像处理软件。然而,现有的遥感图像处理软件大多针对不同研究人员进行算法研究进行设计,不利于进行图像处理流程可视化及处理结果的现场展示。随着手势识别、语音识别等智能技术的发展,基于虚拟现实和增强现实的人机交互技术已具备智能化、人性化、自然化的特征。将手势识别和语音识别技术运用于遥感图像处理与展示系统,可方便用户进行展示和操控,获得更为自然的用户交互体验。为解决现有遥感图像处理系统存在的问题,根据项目和科研需求,本文利用语音识别和手势识别,设计了基于语音和手势识别的遥感图像处理与展示方法。利用语音和手势作为交互信息,构建遥感图像处理流程,为系统使用者提供了一个智能化的展示平台。具体工作如下:(1)设计并实现了用户身份认证功能。该功能可利用获取到的人脸和声纹信息,识别出使用者的身份。使用者可在进入系统时启用该功能,避免无关人员造成干扰。(2)设计并实现了基于手势和语音的交互信息识别功能。该功能可获取用户的语音信息和手势信息,通过相应的算法识别和执行预定义的系统指令。(3)设计并实现了基于与或图和知识图谱的交互流程生成功能。该功能可通过识别出的系统指令,结合遥感图像处理知识图谱以及与或图描述的遥感图像处理方法,生成相应的遥感图像处理流程。结合遥感图像处理与展示系统的开发,本研究实现了基于语音和手势识别的遥感图像处理与展示方法。本研究可为遥感图像处理与展示平台提供智能化扩展接口,对于提升遥感图像处理的用户交互体验和现场展示具有重要意义。

电极移位情况下基于肌电信号的手势识别研究

这是一篇关于表面肌电信号,手势识别,电极移位,数据增强,LightViT的论文, 主要内容为基于表面肌电信号(surface Electromyography,sEMG)的动作意图识别因其无创和便于采集的特点,已成为重要的人机交互方式之一。以假肢控制、远程操作等基于手臂肌电信号进行手势识别的情况为例,由于电极穿戴时间过长或重复穿戴造成的电极移位现象会严重影响基于肌电信号的动作识别准确率。因此,在实际使用中,使用者每次重新穿戴s EMG电极设备后都需要重新进行训练,影响使用效率和体验。因此,本文针对前臂表面肌电信号在电极移位情况下的手势识别问题,引入格拉姆角场(Gramian Angular Field,GAF)将sEMG信号进行二维图像化,并基于Light Vi T网络完成手势识别,以提高在电极移位情况下的识别准确率。主要研究工作如下:(1)使用16通道肌电采集设备对12位被试者、8个角度(前臂截面为圆周八等分)、6种手势的s EMG数据进行采集,并通过缩放、幅值扭曲和时间扭曲等方法进行数据增强,建立可模拟电极偏移情况的s EMG数据库。(2)针对传统模式识别方法在sEMG分类识别时容易忽略非线性、时序性等特征的问题,提出将s EMG二维化的方法。通过格拉姆角场法将s EMG升维,转换成GAF图,保留s EMG原始时间序列对时间的依赖性与相关性。(3)针对电极移位后手势识别准确率下降的问题,采用LightViT网络对二维化后的s EMG信号进行特征提取与分类。引入迁移学习中特征对齐的思想,模型训练过程中将Triplet Loss作为域内距离约束条件纳入模型,使相同类别特征具有相似分布;加入Focal Loss损失函数平衡简单样本与困难样本,降低易分样本对模型影响,使模型更加关注难分样本。(4)基于本文提出的LightViT网络肌电手势识别模型,对6种手势进行离线识别和在线识别实验,并与Res Net和SVM方法作对比。离线识别实验中,针对不同偏移角度,采用内插和外推方法得到平均识别准确率分别为85.84%和74.86%,优于对比方法。并且Light Vi T网络的参数量和浮点运算量较小,综合时效性优于对比方法。在线识别实验中,在电极移位情况下的肌电手势平均识别准确率达到81.69%。综上,实验结果验证了基于Light Vi T网络的肌电手势识别方法在电极偏移情况下能够提高识别准确率,并保证模型的轻量化和时效性。