基于标记分布学习的面部表情识别
这是一篇关于面部表情识别,标记分布学习,标签多义性,标签噪声的论文, 主要内容为面部表情是人类达成高效沟通交流的一种重要手段,对面部表情识别的研究具有非常重要的意义。然而,真实场景下的表情数据集中表情标签的多义性和噪声问题是普遍存在的。近年来,标记分布学习方法应运而生,可用于缓解标签多义性的问题。但一些现有基于标记分布学习的方法常常采用固定标准差的高斯函数来构建标记分布(称为固定形式的标记分布),这使得同类实例共享相同的标记分布,从而限制了标记分布的表征能力。此外,现有方法忽略了构造得到的标记分布的可靠性问题,这可能会进一步引入标签噪声,从而影响模型性能。为了解决这些问题,本文深入研究了基于标记分布学习的面部表情识别,并做出了以下贡献:1.创新性地提出一种基于解耦表情嵌入的自适应标记分布学习方法,建立了一种人脸表情的标签序列表征。在此基础上,提出一种针对表情实例自适应构造标记分布的策略,以解决现有固定形式的标记分布学习方法在表情识别任务中难以充分表征同类实例之间差异的问题。此外,还设计了一个可训练的双分支网络,以从源人脸图像中分离出人脸身份属性,从而确保获得鲁棒的面部表情嵌入。2.创新性地提出一种自步标记分布学习方法,有效缓解表情识别中标签多义性和标签噪声问题。该方法采用一种简单而高效的标记分布生成器来解决标签多义性问题,并将生成的标记分布作为真实标记分布来指导标记分布学习。同时,为了缓解标签噪声问题,引入自步学习范式,模仿人类的学习过程,逐步增加训练数据的难度来提高模型的性能。从而提出了一种自步标记分布学习策略,通过合理筛选训练数据来提高模型的鲁棒性和泛化能力。3.创新性地提出一种面向面部表情识别的鲁棒标记分布学习方法。该方法基于表情图像与其邻居图像在特征空间中具有相似的特征分布的假设,构造了一个合理的KNN-Graph用于表示相邻信息。同时,提出了一种邻居信息指导的训练损失,该损失可以有效缓解表情识别任务中的标签多义性和标签噪声问题,从而提高模型的鲁棒性和泛化能力。在真实场景下表情数据集(RAF-DB,Affect Net等)上的实验结果表明,本文所研究的基于标记分布学习的面部表情识别方法具有显著的有效性和合理性。所提出的三种方法能够有效解决表情识别标签多义性和标签噪声问题,适用于真实场景下的面部表情识别。
人机交互中的面部表情识别关键技术研究与实现
这是一篇关于面部表情识别,视觉Transformer编码器,显著特征筛选,模型权重寻优,模型权重贪心策略的论文, 主要内容为情感交互机器人能够从多方面理解用户情感状态并以人类语言与其交流,在多轮交互中监测用户情感起伏变化,最终帮助用户获得情感慰藉。面部表情识别是情感交互机器人中承上启下的关键模块,当前研究忽略了面部特征之间的关联性,导致模型无法处理一些受遮挡、姿态变化影响的面部表情。此外,传统方法仅采用了表现最优越的单个模型,这使得识别性能接近瓶颈,且剩余的花费大量时间和资源得到的次优模型无法发挥其价值。这使得情感交互机器人无法获取准确的用户情感状态。针对传统模型忽略了面部特征之间的关联性问题以及识别性能瓶颈问题,本研究工作主要包括以下几个方面:(1)提出了结合显著特征筛选和Vi T的面部表情识别方法。该方法以面部特征干扰因素为切入点,为不同的干扰因素设计不同的解决方法,以极大程度地降低真实环境中的不利因素对面部表情识别性能的影响。本研究在三个面部表情公共数据集RAF-DB、FERPlus和Affect Net上进行了性能评估,结果显示该模型的识别准确率分别达到了88.36%、89.13%和62.08%。(2)提出了多微调模型权重寻优的优化算法。该算法将多组同源数据域的微调模型权重作为输入,然后使用模型权重贪心策略过滤无效权重组以挖掘局部-全局权重最优解,这将充分地利用训练过程中保存的次优模型权重资源,进一步地提升模型的识别性能。该算法独立于主网络架构,不会增加额外的模型推理负担。在RAF-DB、FERPlus和Affect Net数据集上进行了大量的实验,结果显示该算法优化后的模型识别准确率分别达到了90.38%,90.41%和63.33%,优于目前最先进的方法。(3)基于上述两种面部表情识别方法的研究,本论文实现了一种改进的面部表情识别模型,然后使用Vue和Spring Boot框架构建了一个基于人机交互的面部表情识别系统平台,提供了基于Web页面的交互方式。从使用者角度演示了几种常见的不利因素影响下的面部表情识别,结果显示系统具有较良好的识别精度。
面向心理咨询的智能对话系统研究
这是一篇关于心理咨询,对话系统,文本复述生成,面部表情识别的论文, 主要内容为现代社会的高强度竞争和巨大的压力给人们的心理健康带来了严重的挑战,导致了许多心理问题,人们迫切需要心理咨询和治疗服务。而目前我国正面临心理咨询师严重不足的处境,许多来访者往往需要通过排队预约才能获得心理咨询服务。同时,传统的心理咨询服务还受到时间、地域等限制,已经无法满足广大人民群众的心理健康需求。本课题基于人机交互的模式,结合心理咨询理论与任务式对话系统技术,探索构建了一种面向心理咨询的智能对话系统,通过线上聊天的形式为来访者提供全天候的心理咨询与治疗服务。相比于开放式的对话系统和通用的任务式对话系统,面向心理咨询的对话系统要求具备更严格的话题控制能力以及针对具体心理问题的共情能力。为了满足话题控制的要求,本文设计了一种基于认知行为疗法理论和Rasa任务式对话系统框架的心理咨询对话系统架构,以引导对话按照特定流程进行。同时,为使对话系统具备共情能力,本工作探索了人机交互模式下的共情感知与共情回复的技术实现。其中,针对共情回复技术提出了一种带有语义增强器和风格增强器的文本复述生成模型4SPG,优化了复述生成任务中需要依赖大量训练样本以及难以同时学得语义相似性与风格多样性的问题。在QQP-Pos、Para NMT以及Para SCI-ar Xiv数据集上的实验结果显示,引入语义增强器后,BLEU4的得分明显提高,从23.00提高到23.59。在加入风格增强器后,self-BLEU值下降到25.95。结果表明,4SPG模型能够在生成复述内容时兼顾语义准确性与风格多样性。另外,本工作还提出了一种面部表情识别模型DAN,旨在实现心理咨询任务中的共情感知,并改善面部表情识别任务中面对的类别重叠问题。通过实验发现,DAN模型在Affect Net-8数据集上达到了62.09%的准确率,在Affect Net-7上达到了65.69%的准确率,在RAF-DB数据集上获得了89.70%的准确率。结果表明,DAN模型具有良好的表情识别效果。在上述研究的基础上,本工作整合并构建了面向心理咨询的智能对话系统。依据CBT理论制定了面向心理咨询的意图与实体类别。并利用离线语音识别技术、数据脱敏技术与数据标注工具doccano,制作带有意图和实体标注的中文心理咨询数据集。进一步地,使用Rasa对话系统框架与心理咨询数据集依次搭建自然语言理解模块、对话策略模块以及对话动作模块,并将共情回复与共情感知模型嵌入该对话系统中。系统演示结果表明,本工作所构建的对话系统初步实现了具备共情功能的心理咨询。
基于课程学习和度量的面部表情识别方法研究
这是一篇关于面部表情识别,服务机器人,课程学习,少样本,类内聚合损失的论文, 主要内容为情感理解作为人机交互的基础,在服务机器人领域吸引了越来越广泛的关注。面部表情识别作为情感理解最直接的方式之一,目前仍然存在两个尚未解决的难题:其一,在大量样本训练下的模型泛化性能低,且单一模型对七种基本表情识别能力不一;其二,模型优化所需样本量大,有标签数据较难获取以及图像标注耗时耗力等。针对以上两个问题,本文提出了基于课程学习和度量的面部表情识别方法,对上述两个难点问题进行了深入研究。针对表情识别模型泛化性能低的问题,提出了一种基于课程学习的面部表情识别方法,该方法分为课程设计和课程学习两个阶段。在课程设计阶段,利用Density-Distance非监督聚类方法将七种表情以6:2:2的比例分成复杂程度不同的三个子集;在课程学习阶段,提出Adding和Replace两种方式逐步增加训练集的复杂程度,并通过Replace的方式证明划分子集的准确性与合理性;针对单一模型混淆矩阵欧式距离分析,难以准确识别愤怒、恐惧和悲伤表情的问题,提出自选择机制(Self Selection Mechanism,SSM),对这三种表情进行二次判断。通过实验证明,本文提出的面部表情识别方法分别在开源数据集FER-2013和CK+上取得72.11%和98.18%的最优结果。此外,研究了表情识别服务的云端部署和调用问题,对云服务的准确度和服务时间进行了测试,测试结果表明该云服务能够满足服务机器人实时性要求。针对面部表情模型训练所需样本量过大、有标签数据较难获取以及图像标注耗时耗力的问题,提出了一种Prototype-Relation网络架构,将图像分类问题转化为最近邻问题,对少样本学习的损失函数进行改进,以正则化项的形式类内聚合损失。整个模型优化采用Episode-based的方式,构造7-way K-shot的训练场景。在FER-2013数据集上的实验证明:在数据量分别为100%、80%和60%的情况下,引入类内聚合损失后,模型精度均得到不同程度提升,当正则化项λ=0.3时取得最优识别效果;通过进一步探索Ktest与Ktrain的相对大小关系,证明在Ktest>Ktrain时,仅利用65%的数据量即可达到原先利用100%数据量的识别精度,数据量减少35%,达到少样本学习的目的。
基于卷积神经网络的面部表情识别方法研究
这是一篇关于面部表情识别,深度学习,卷积神经网络,对比学习,注意力机制的论文, 主要内容为面部表情识别在医疗、教育、交通运输等多个领域具有极大应用价值,随着硬件设备条件的不断升级以及国家对人工智能领域的大力扶持,深度学习已经成为各个领域不可或缺的技术,卷积神经网络是深度学习最具代表性的网络模型之一,由于其在计算机视觉领域表现出的优异性能,基于卷积神经网络的面部表情识别已成为研究热点。然而,目前基于卷积神经网络的面部表情识别的研究仍然存在着一些难点:首先,现有面部表情图像数据集大都规模较小,且额外样本数据难以搜集;其次,由于面部图像中冗余信息的干扰,不同类表情识别时易发生混淆;最后,现有模型对于硬件和算力要求较高,存在难以实际应用等问题,因此,本文以卷积神经网络为基础,对面部表情识别算法目前存在的难点展开研究,主要研究内容如下:(1)提出基于对比学习的面部表情识别方法。此方法旨在解决真实环境中面部表情数据样本较少,难以获得有效的预训练模型的问题,其中,基于对比学习的预训练模型使用数据增强作为代理任务,通过对比现有数据样本之间的区别与联系,充分发掘面部表情潜在特征,在不使用额外数据的前提下,增强预训练模型的泛化性与稳定性,此外,本文在模型训练过程中使用分段迁移训练策略,该策略对网络权值进行分段调整,减少了网络迁移过程中特征提取能力的损失,进一步增加了网络训练过程的稳定性。(2)提出基于融合注意力机制的面部表情识别方法。为了减少输入面部图像中冗余信息带来的消极影响,获取更多有价值特征,本文提出FA-Net网络结构,该网络通过融合注意力机制从通道、空间两维度实现对输入图像的自适应加权,实现网络对脸部重点区域的聚焦,从而提取富有表情分辨力的特征;由于表情分类任务具有类内差异大的特点,因此本文在训练过程中引入亲和损失,通过增加类内样本在特征空间聚集程度从而增加表情可分性。提出的方法有效增强了网络对重要特征的提取能力,提升了表情识别精度。(3)提出一种轻量化面部表情识别网络,并基于此设计完成机器人实时面部表情识别系统。由于卷积网络模型大多对硬件与计算资源有一定的要求,难以进行实际应用,本文将上述提出的FA-Net网络结构使用对比学习思想进行预训练,正式训练后将其作为教师网络,使用轻量型网络MobileNetV3-Small作为学生网络,通过知识蒸馏将教师网络知识传递给学生网络,得到压缩后的模型MFA-Net,其兼顾面部表情任务的准确性与实时性,并以此为算法基础,以启智ROS机器人为硬件平台,设计了一个实时面部表情识别系统。
人机交互中的面部表情识别关键技术研究与实现
这是一篇关于面部表情识别,视觉Transformer编码器,显著特征筛选,模型权重寻优,模型权重贪心策略的论文, 主要内容为情感交互机器人能够从多方面理解用户情感状态并以人类语言与其交流,在多轮交互中监测用户情感起伏变化,最终帮助用户获得情感慰藉。面部表情识别是情感交互机器人中承上启下的关键模块,当前研究忽略了面部特征之间的关联性,导致模型无法处理一些受遮挡、姿态变化影响的面部表情。此外,传统方法仅采用了表现最优越的单个模型,这使得识别性能接近瓶颈,且剩余的花费大量时间和资源得到的次优模型无法发挥其价值。这使得情感交互机器人无法获取准确的用户情感状态。针对传统模型忽略了面部特征之间的关联性问题以及识别性能瓶颈问题,本研究工作主要包括以下几个方面:(1)提出了结合显著特征筛选和Vi T的面部表情识别方法。该方法以面部特征干扰因素为切入点,为不同的干扰因素设计不同的解决方法,以极大程度地降低真实环境中的不利因素对面部表情识别性能的影响。本研究在三个面部表情公共数据集RAF-DB、FERPlus和Affect Net上进行了性能评估,结果显示该模型的识别准确率分别达到了88.36%、89.13%和62.08%。(2)提出了多微调模型权重寻优的优化算法。该算法将多组同源数据域的微调模型权重作为输入,然后使用模型权重贪心策略过滤无效权重组以挖掘局部-全局权重最优解,这将充分地利用训练过程中保存的次优模型权重资源,进一步地提升模型的识别性能。该算法独立于主网络架构,不会增加额外的模型推理负担。在RAF-DB、FERPlus和Affect Net数据集上进行了大量的实验,结果显示该算法优化后的模型识别准确率分别达到了90.38%,90.41%和63.33%,优于目前最先进的方法。(3)基于上述两种面部表情识别方法的研究,本论文实现了一种改进的面部表情识别模型,然后使用Vue和Spring Boot框架构建了一个基于人机交互的面部表情识别系统平台,提供了基于Web页面的交互方式。从使用者角度演示了几种常见的不利因素影响下的面部表情识别,结果显示系统具有较良好的识别精度。
人机交互中的面部表情识别关键技术研究与实现
这是一篇关于面部表情识别,视觉Transformer编码器,显著特征筛选,模型权重寻优,模型权重贪心策略的论文, 主要内容为情感交互机器人能够从多方面理解用户情感状态并以人类语言与其交流,在多轮交互中监测用户情感起伏变化,最终帮助用户获得情感慰藉。面部表情识别是情感交互机器人中承上启下的关键模块,当前研究忽略了面部特征之间的关联性,导致模型无法处理一些受遮挡、姿态变化影响的面部表情。此外,传统方法仅采用了表现最优越的单个模型,这使得识别性能接近瓶颈,且剩余的花费大量时间和资源得到的次优模型无法发挥其价值。这使得情感交互机器人无法获取准确的用户情感状态。针对传统模型忽略了面部特征之间的关联性问题以及识别性能瓶颈问题,本研究工作主要包括以下几个方面:(1)提出了结合显著特征筛选和Vi T的面部表情识别方法。该方法以面部特征干扰因素为切入点,为不同的干扰因素设计不同的解决方法,以极大程度地降低真实环境中的不利因素对面部表情识别性能的影响。本研究在三个面部表情公共数据集RAF-DB、FERPlus和Affect Net上进行了性能评估,结果显示该模型的识别准确率分别达到了88.36%、89.13%和62.08%。(2)提出了多微调模型权重寻优的优化算法。该算法将多组同源数据域的微调模型权重作为输入,然后使用模型权重贪心策略过滤无效权重组以挖掘局部-全局权重最优解,这将充分地利用训练过程中保存的次优模型权重资源,进一步地提升模型的识别性能。该算法独立于主网络架构,不会增加额外的模型推理负担。在RAF-DB、FERPlus和Affect Net数据集上进行了大量的实验,结果显示该算法优化后的模型识别准确率分别达到了90.38%,90.41%和63.33%,优于目前最先进的方法。(3)基于上述两种面部表情识别方法的研究,本论文实现了一种改进的面部表情识别模型,然后使用Vue和Spring Boot框架构建了一个基于人机交互的面部表情识别系统平台,提供了基于Web页面的交互方式。从使用者角度演示了几种常见的不利因素影响下的面部表情识别,结果显示系统具有较良好的识别精度。
人机交互中的面部表情识别关键技术研究与实现
这是一篇关于面部表情识别,视觉Transformer编码器,显著特征筛选,模型权重寻优,模型权重贪心策略的论文, 主要内容为情感交互机器人能够从多方面理解用户情感状态并以人类语言与其交流,在多轮交互中监测用户情感起伏变化,最终帮助用户获得情感慰藉。面部表情识别是情感交互机器人中承上启下的关键模块,当前研究忽略了面部特征之间的关联性,导致模型无法处理一些受遮挡、姿态变化影响的面部表情。此外,传统方法仅采用了表现最优越的单个模型,这使得识别性能接近瓶颈,且剩余的花费大量时间和资源得到的次优模型无法发挥其价值。这使得情感交互机器人无法获取准确的用户情感状态。针对传统模型忽略了面部特征之间的关联性问题以及识别性能瓶颈问题,本研究工作主要包括以下几个方面:(1)提出了结合显著特征筛选和Vi T的面部表情识别方法。该方法以面部特征干扰因素为切入点,为不同的干扰因素设计不同的解决方法,以极大程度地降低真实环境中的不利因素对面部表情识别性能的影响。本研究在三个面部表情公共数据集RAF-DB、FERPlus和Affect Net上进行了性能评估,结果显示该模型的识别准确率分别达到了88.36%、89.13%和62.08%。(2)提出了多微调模型权重寻优的优化算法。该算法将多组同源数据域的微调模型权重作为输入,然后使用模型权重贪心策略过滤无效权重组以挖掘局部-全局权重最优解,这将充分地利用训练过程中保存的次优模型权重资源,进一步地提升模型的识别性能。该算法独立于主网络架构,不会增加额外的模型推理负担。在RAF-DB、FERPlus和Affect Net数据集上进行了大量的实验,结果显示该算法优化后的模型识别准确率分别达到了90.38%,90.41%和63.33%,优于目前最先进的方法。(3)基于上述两种面部表情识别方法的研究,本论文实现了一种改进的面部表情识别模型,然后使用Vue和Spring Boot框架构建了一个基于人机交互的面部表情识别系统平台,提供了基于Web页面的交互方式。从使用者角度演示了几种常见的不利因素影响下的面部表情识别,结果显示系统具有较良好的识别精度。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码港湾 ,原文地址:https://bishedaima.com/lunwen/52490.html