基于RoI光流特征的微表情识别
这是一篇关于微表情识别,卷积神经网络,注意力机制,残差网络,RoI的论文, 主要内容为在人与人交流时,情感信息的传递是必不可少的一部分,而面部表情是传递情感信息的主要方式之一。面部表情可以分为宏表情与微表情。相比于宏表情,微表情是一种不受控的面部肌肉运动,难以抑制,且持续时间短,运动幅度微弱,能够反映人们的真实情感。在人机交互、心理研究、公共安全、医疗保障和刑侦审讯等领域具有很大应用价值。由于微表情运动存在局部性和幅度微弱的特点,本文出一种将感兴趣区域(Region of Interest,RoI)光流信息作为网络模型输入数据的微表情识别方法,并且在网络中设计并加入多尺度注意力模块。本文主要工作内容如下。针对微表情运动的局部性问题,出一种基于局部特征和残差网络的微表情识别方法。首先,对于没有标注峰值帧的数据集,使用帧间差分法定位峰值帧;其次,依据微表情序列初始帧至峰值帧之间的光流信息和面部动作单元在不同表情中的分布情况将本文的RoI确定为3个;最后,由于峰值帧相比于其他帧包含更丰富的微表情信息,因此在峰值帧图像上裁剪出3个RoI的图像,将其作为模型的输入数据。通过针对不同层数的Res Net残差网络展开实验,发现本文设计的较浅层的Res Net12效果更好;针对局部特征和全局特征展开实验,发现以局部特征作为模型的输入数据更加有效。针对微表情运动的局部性和幅度微弱的问题,出一种基于RoI光流特征和注意力机制的微表情识别方法。以3个RoI的光流图像作为模型的输入数据,分别送入模型的3个路径中,然后以3个路径的特征融合结果识别微表情。在网络中设计并加入多尺度注意力模块,使网络在取微表情特征的过程中,可以有偏向地关注图像的不同通道和空间位置。通过多组消融实验,证明以RoI光流图像作为输入数据、在网络中加入残差连接以及加入多尺度注意力模块的有效性。以未加权F1分数和未加权平均召回率作为评价指标,对比现有的微表情识别方法,本文出的模型Res-MAM在CASMEII数据集上未加权F1分数和未加权平均召回率达到0.9080和0.9226,在SMIC数据集上达到0.8508和0.8535。实验结果说明本文方法可以有效地升微表情识别的性能,验证本文方法对比其他方法的优势。
基于改进ELRCN的线上课堂微表情识别系统研究与实现
这是一篇关于微表情识别,ELRCN,人脸检测,教学测评的论文, 主要内容为当下教师可以通过在线课堂的方式,密切关注学生的情绪变化和学习进度,从而更好地调整教学策略,提高教学质量。随着技术的发展,一些实时监测学生上课状态的系统已经初步实现,但是,由于线上课堂学生众多,教师精力有限,缺乏面对面交流的环境,使得教师很难准确地了解学生的情绪状态和学习效果。因此,针对这种情况,开发一个基于改进ELRCN的线上课堂微表情识别系统来评估某节课的教学质量是有意义的。针对上述问题,本文提出了基于改进ELRCN的线上课堂微表情识别的预测模型。主要对线上课堂学生上课状态进行微表情识别,在ELRCN模型中做出了改进,将ELRCN的Back Bone的VGG16替换为Res Net152,并且并在Res Net152后面加入CBAM注意力模块。改进之后的ELRCN模型能够有效的识别线上课堂学生的微表情,预测出微表情类别,惊讶会使线上课堂同学更加专注学习,对于高兴的同学会认真听课,对课堂授课厌恶的学生产生走神行为,其他类是指学生在课堂上心不在焉。经过详细的对比实验,本文提出改进的ELRCN算法与传统算法相比时具有更高的可靠性。基于上述工作,本文设计并开发了线上课堂微表情识别系统。随后,本文根据需求分析,详细设计系统功能。主要包括信息录入模块、系统管理模块、数据预处理模块、线上课堂微表情识别模块。系统管理是对用户账户管理和预测结果的增删改查功能,数据预处理是对线上课堂获取的视频数据进行预处理,先将视频数据转变成帧,然后使用MTCNN算法进行人脸检测,将人脸检测出来的框使用PIL裁剪下来作为最终的预测数据。线上课堂微表情识别是将得到的预处理后的数据作为输入,放到改进之后的ELRCN模型中进行微表情识别,识别出四类微表情,分别为惊讶、高兴、厌恶和其他。统计这四个类别的数量,赋予不同的权重,最后使用这些参数放到本文计算流程中进行计算,得到最后的分数,用来评判某节课的教学效果,从而改善教学方式,提升教学质量。最后通过对系统的功能测试和性能测试,验证了本文设计系统可以实现微表情预测,通过分析得出评判结果,并且在功能和性能均达到预期要求。
基于深度学习的微表情识别及应用
这是一篇关于深度学习,卷积神经网络,注意力机制,微表情识别的论文, 主要内容为微表情是一种短暂而不易察觉的人脸肌肉运动,微表情的发生不受自我控制,能够揭示了一个人可能试图抑制、隐藏或伪装的真情实感。不同于肌肉运动幅度较明显的宏表情,微表情可以反映一个人内心的真实想法,在公共安全、外交谈判、临床诊断等国内外热门领域中有广泛的应用。本文研究了微表情数据预处理技术、提出了基于3D-Dense Net模型和双注意力机制微表情识别算法。主要工作如下:1.针对微表情持续时间短、运动强度低、样本量小等识别难点,研究了微表情数据预处理技术。首先使用主观形状模型(Active shape model,ASM)和Procrustes方法对人脸进行检测和对齐,将图像数据统一为相同尺寸。其次,采用时域插值模型将SMIC,CASME-II和SAMM数据集中微表情视频样本统一插值为20帧。此外,使用数据增强的方法,通过平移、镜像、随机旋转等方法将数据样本量扩充为原始数据样本量的10倍。最后,使用基于TV-L1光流法放大微表情的运动轨迹,增大微表情的变化强度。2.提出了时域三维Dense Net网络(T-3D-Dense Net)的微表情识别算法。考虑到微表情为动态视频帧的形式记录,本文将Dense Net扩展为3D-Dense Net,有效学习微表情的时域特征。在此基础上,改进3D-Dense Net网络中传统的传输层为时域传输层,得到时域三维Dense Net网络(T-3D-Dense Net),从短、中、长三个不同卷积深度由浅入深提取微表情特征,有效提高微表情识别精度。3.提出基于双注意力机制和T-3D-Dense Net模型(DAT-3D-Dense Net)的微表情识别算法,根据模型的空间特征和通道特征进行权重分析,加强特征相关性较高区域的特征学习,抑制特征相关性较低区域,在SMIC,CASME-II和SAMM数据集上准确率分别达到了90.85%、92.28%、83.82%;F1指标分别达到0.8901、0.9127、0.8431,优于当前一些典型的微表情识别算法。实验结果表明,双注意力机制的引入,能明显提升模型性能。4.对基于微表情识别的测谎应用进行了探索,设计了测谎问题,基于本文提出的模型训练得到的权重结构,使用Python和Py Qt5设计实现了微表情测谎系统。测试表明,该系统能初步达到基于微表情的测谎应用。
基于深度学习的微表情时序定位与识别研究
这是一篇关于微表情时序定位,深度学习,微表情识别,CBAM的论文, 主要内容为微表情是指极短暂(通常为1/25s～1/3s)的面部表情变化,通常是由个体情感或认知上的刺激引起的,对人际交往、情感识别、心理疾病诊断等方面具有重要的意义。近年来,随着人工智能技术的迅猛发展,微表情分析受到越来越多的关注和研究,也取得了许多突破性进展,但同时也面临着一个难题:微表情数据集小样本问题。针对该问题,本文提出了微表情时序定位任务,通过加速微表情编码者的编码速度,加快数据集的构建。此外,本文还对微表情分析中的热门领域微表情识别进行了研究,设计了Inception-CBAM+深度学习神经网络,以解决其特征复杂、分布不均匀的问题。本文主要贡献如下:(1)提出了微表情时序定位任务,旨在借助较小的人工开销的前提下,实现微表情片段的开始帧、峰值帧和结束帧的精确定位。首先详细介绍了该任务的定义,然后针对该任务设计了一个解决方案,即微表情对比识别标注算法(Micro-Expression Contrastive Identification Annotation,MECIA)。该算法由一个深度神经网络MECIA-Net和一个帧扩展算法组成。MECIA-Net网络受到人工标注的启发,包含识别模块、对比模块和标注模块,分别对应人工标注的不同步骤。帧扩展算法通过比较帧与帧之间的网络分数,实现自动化的微表情/非微表情标注。最后,本文设计了消融实验以及心理学实验,证明了微表情时序定位的可行性和MECIA算法的有效性。(2)设计了一种结合Inception与注意力机制的微表情识别网络Inception-CBAM+。针对原始图像中的身份信息占比大、动作信息占比小的问题,该网络以微表情片段的光流特征作为输入;针对普通卷积网络难以提取多样化特征的问题,利用Inception模块提取人脸的多尺度特征;针对人脸中微表情信息分布不均匀的问题,引入并行的通道注意力与空间注意力机制CBAM+,提取识别任务更感兴趣的特征。该算法在混合数据集MEGC2019上的未加权F1分数和未加权平均召回率分别为0.7420和0.7435。消融实验表明:相较于未添加Inception模块与CBAM+模块的网络,Inception-CBAM+提高了0.0643和0.0686,可见其有效性。
基于扩散模型和频域特征提取的微表情识别
这是一篇关于微表情识别,扩散模型,数据增强,视觉Transformer,频域空间的论文, 主要内容为微表情以其微弱性和自发性而闻名。它往往能反映一个人的真实情绪,揭示人们试图隐藏的真实情感,因此在测谎、刑事侦查、医学和犯罪心理学等领域有重要的应用价值。然而,微表情识别也面临着诸多困难,如数据量少、特征提取难、不确定性高等。这些性质使得微表情识别(MER)的任务成为一种挑战。为了解决这些问题,本文主要从两个角度对基于深度学习方法的微表情识别进行了创新研究和实验。具体内容包括:(1)针对微表情数据样本小的问题,本文提出了一个基于隐式扩散模型(DDIM)的微表情扩散模型(MDM),利用提出的交叉注意力U-Net(CAU-Net)替代DDIM中原有U-Net,使得生成的图片更加稳定清晰。利用现有的一些微表情图片数据进行训练,从而产生大量的微表情数据。另外通过设计的融合采样过程(FSP),使得模型可以更加便捷地与其他分类模型相结合。由于加入了大量通过MDM生成的微表情数据,使得微表情样本少的问题得以解决。通过加入现有的几种方法进行实验对比,证明所提出的方法可以有效提高微表情识别的准确性。(2)针对微表情特征提取难问题,本文提出了一种创新的相位驱动Transformer(PDT)网络来完成MER任务。具体来说,振幅和相位信息由两个生成网络产生,然后利用融合模块将它们融合在一起,进行后续的网络训练。由于加入了图像在频域中的特征,更好地增加了特征的丰富性和多样性,从而使模型提取到更有效的信息,解决微表情特征不明显的问题。为了解决数据样本量小造成的不确定性高的问题,本文采用密集相对定位损失法,通过提高模型的感受野,增强模型的认知能力从而使得模型鲁棒性增加。实验都是在三个公共数据集SMIC、SAMM和CASME II上进行的。在三个数据集联合数据集上,未加权平均F1-score(UF1)和未加权平均召回率(UAR)分别为83.68%和84.61%,在单个数据集上的效果也有略有改善。结果表明,该方法的性能优于其他方法。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈网 ，原文地址：https://bishedaima.com/lunwen/48010.html
