基于深度神经网络的对话情感生成及情感识别研究
这是一篇关于情感对话生成,对话情感识别,常识知识,神经网络,双向GRU,LSTM,CNN的论文, 主要内容为一直以来,建立一个能够和人类正常交流的对话系统是研究者们追求的终极目标,情感对话生成任务和对话中的情感识别任务都是达成这一目标的重要研究方向。目前情感对话生成模型已经能够生成包含情感的语句,但是语句的情感表达强度不够,在指定情感的情况下,生成语句的情感准确率还是无法满足现实需求。目前对话中的情感识别任务处于起步阶段,在近几年才开始受到重视,情感识别的准确率也处于一个较低的水平,准确识别对话中的情感变化,对于情感对话生成任务也有着重要意义。针对这两个研究任务,本文主要完成了以下工作:1.提出一种基于情感嵌入和情感强化机制的情感对话生成模型,利用Seq2Seq模型作为基础对话生成模型,在编码过程中,将指定的情感类别进行编码,然后嵌入到编码器的LSTM神经网络中,使得输出的隐藏状态和单元状态拥有情感因素;然后在解码过程中,使用同样的方法将情感因素嵌入到解码器的LSTM神经网络中,除此之外,还提出一个情感强化机制,在LSTM神经网络隐藏状态的维度上对情感进行加强。在NLPCC2017、XHJ和Opensubtitles数据集上进行实验,结果表明提出的模型对比其他模型在情感准确率上得到了明显的提升,并且在极大提高情感准确率的情况下,生成语句的质量也有较好的结果。2.提出一个基于常识知识以及门控机制的对话情感识别模型。将对话中的常识知识融入到对话的情感识别中,利用双向GRU神经网络对常识知识的信息进行建模。为了进一步去除常识知识中不重要的信息,再使用CNN门控机制对噪音进行过滤。通过一个单独的双向GRU神经网络,对过滤后的信息、对话语句以及情感信息进行建模,最后使用softmax利用这些信息完成对话中的情感分类任务。在IEMOCAP、Daily Dialog、MELD和EmoryNLP数据集上进行实验,结果表明提出的模型对比其他模型有着最好的效果。3.设计并实现情感对话原型系统,本系统使用Pytorch进行系统模型的搭建,使用VUE和JAVA分别搭建系统页面和后台。
基于概念的常识知识构建技术研究
这是一篇关于知识图谱,常识知识,预训练模型的论文, 主要内容为常识知识(Commonsense Knowledge,CSK)是人们在日常生活中使用但又不常常提及的信息,概括了关于世界如何运转的实用知识。现有机器并不能像人类一样理解和掌握常识知识,故普遍存在具有知识但缺乏常识的问题。常识知识库的构建对于机器处理一些挑战性的任务例如语言生成、阅读理解等存在着重要意义。常识知识是人类之间的共识,在语料中很少显性提及,故常识知识的构建工作成为难点。现有工作中,基于众包的方法代价高昂且覆盖率低;基于常识库补全的方法会高度拟合样本;从非结构化数据中抽取的方法存在质量低的缺陷。如何自动化构建高质量的常识知识库,是让机器更智能更人性化的关键。鉴于此,提出了基于概念进行扩展的常识知识构建模型CCSKC(Concept-based Commonsense Knowledge Construction)用于自动化构建常识库。首先设计了基于概念的常识生成算法,该算法使用概念聚合和可信度贪心两种思路,辅以基于语义搜索的概念匹配和基于熵的概念编码两种机制,能够有效利用概念信息的同时避免概念过度抽象的影响。然后设计了基于上下文语义的常识过滤算法用于对不合理三元组进行过滤,同时还为常识关系设计了特定的模板将三元组转换为自然语言以增强过滤效果。最后为微调过滤器设计了一种基于概念增强的负采样算法,能够增加模型对于正负样本的识别能力。通过生成和过滤两个部分,能够获得大量高质量的常识知识。为评估模型的效果,在Concept Net数据集上选择常识作为种子数据集,CCSKC模型一共得到了约50万条常识知识。生成的常识在新颖度和质量上都优于现有先进的常识构建方法所获得的常识。在阅读理解任务MCScript上,以三向注意力网络作为基本模型,并引入不同常识构建方法获得的常识知识进行对比实验。CCSKC构建的常识知识能使模型在任务上取得更好的效果,表明CCSKC构建的常识知识具有更高的质量和易用性。
基于深度神经网络的对话情感生成及情感识别研究
这是一篇关于情感对话生成,对话情感识别,常识知识,神经网络,双向GRU,LSTM,CNN的论文, 主要内容为一直以来,建立一个能够和人类正常交流的对话系统是研究者们追求的终极目标,情感对话生成任务和对话中的情感识别任务都是达成这一目标的重要研究方向。目前情感对话生成模型已经能够生成包含情感的语句,但是语句的情感表达强度不够,在指定情感的情况下,生成语句的情感准确率还是无法满足现实需求。目前对话中的情感识别任务处于起步阶段,在近几年才开始受到重视,情感识别的准确率也处于一个较低的水平,准确识别对话中的情感变化,对于情感对话生成任务也有着重要意义。针对这两个研究任务,本文主要完成了以下工作:1.提出一种基于情感嵌入和情感强化机制的情感对话生成模型,利用Seq2Seq模型作为基础对话生成模型,在编码过程中,将指定的情感类别进行编码,然后嵌入到编码器的LSTM神经网络中,使得输出的隐藏状态和单元状态拥有情感因素;然后在解码过程中,使用同样的方法将情感因素嵌入到解码器的LSTM神经网络中,除此之外,还提出一个情感强化机制,在LSTM神经网络隐藏状态的维度上对情感进行加强。在NLPCC2017、XHJ和Opensubtitles数据集上进行实验,结果表明提出的模型对比其他模型在情感准确率上得到了明显的提升,并且在极大提高情感准确率的情况下,生成语句的质量也有较好的结果。2.提出一个基于常识知识以及门控机制的对话情感识别模型。将对话中的常识知识融入到对话的情感识别中,利用双向GRU神经网络对常识知识的信息进行建模。为了进一步去除常识知识中不重要的信息,再使用CNN门控机制对噪音进行过滤。通过一个单独的双向GRU神经网络,对过滤后的信息、对话语句以及情感信息进行建模,最后使用softmax利用这些信息完成对话中的情感分类任务。在IEMOCAP、Daily Dialog、MELD和EmoryNLP数据集上进行实验,结果表明提出的模型对比其他模型有着最好的效果。3.设计并实现情感对话原型系统,本系统使用Pytorch进行系统模型的搭建,使用VUE和JAVA分别搭建系统页面和后台。
基于深度神经网络的对话情感生成及情感识别研究
这是一篇关于情感对话生成,对话情感识别,常识知识,神经网络,双向GRU,LSTM,CNN的论文, 主要内容为一直以来,建立一个能够和人类正常交流的对话系统是研究者们追求的终极目标,情感对话生成任务和对话中的情感识别任务都是达成这一目标的重要研究方向。目前情感对话生成模型已经能够生成包含情感的语句,但是语句的情感表达强度不够,在指定情感的情况下,生成语句的情感准确率还是无法满足现实需求。目前对话中的情感识别任务处于起步阶段,在近几年才开始受到重视,情感识别的准确率也处于一个较低的水平,准确识别对话中的情感变化,对于情感对话生成任务也有着重要意义。针对这两个研究任务,本文主要完成了以下工作:1.提出一种基于情感嵌入和情感强化机制的情感对话生成模型,利用Seq2Seq模型作为基础对话生成模型,在编码过程中,将指定的情感类别进行编码,然后嵌入到编码器的LSTM神经网络中,使得输出的隐藏状态和单元状态拥有情感因素;然后在解码过程中,使用同样的方法将情感因素嵌入到解码器的LSTM神经网络中,除此之外,还提出一个情感强化机制,在LSTM神经网络隐藏状态的维度上对情感进行加强。在NLPCC2017、XHJ和Opensubtitles数据集上进行实验,结果表明提出的模型对比其他模型在情感准确率上得到了明显的提升,并且在极大提高情感准确率的情况下,生成语句的质量也有较好的结果。2.提出一个基于常识知识以及门控机制的对话情感识别模型。将对话中的常识知识融入到对话的情感识别中,利用双向GRU神经网络对常识知识的信息进行建模。为了进一步去除常识知识中不重要的信息,再使用CNN门控机制对噪音进行过滤。通过一个单独的双向GRU神经网络,对过滤后的信息、对话语句以及情感信息进行建模,最后使用softmax利用这些信息完成对话中的情感分类任务。在IEMOCAP、Daily Dialog、MELD和EmoryNLP数据集上进行实验,结果表明提出的模型对比其他模型有着最好的效果。3.设计并实现情感对话原型系统,本系统使用Pytorch进行系统模型的搭建,使用VUE和JAVA分别搭建系统页面和后台。
基于情感常识的移情对话生成模型研究
这是一篇关于移情对话生成,情感词典,常识知识,情感特征选择的论文, 主要内容为人类渴望拥有一个能与自己进行自然交流的聊天助手,而实现这一目标的关键技术是理解用户的感受,并准确识别他们的情感。大多数神经对话模型已经能基于给定的用户输入生成流畅且相关的响应,但大多只关注语义理解和响应生成质量,忽略了对话中移情能力的表达。在情感对话生成任务中,众多研究都是基于外部给定的一个情绪标签来产生一个带有特定情绪的响应,不利于提高所产生响应的情绪内容质量,对用户来说也不一定具有同理心。因此,在未指定情感标签的前提下,如何更好地理解用户的情绪并生成相应的移情响应,是开放域对话系统面临的挑战之一。目前主要存在两个问题:(1)外部知识的缺失使得模型不能更好理解用户传达的常识信息;(2)缺乏情感信息的指导使得模型不能更好地表达情感。本文主要针对上述问题开展研究工作。(1)针对问题一,本文提出基于情感知识双编码的移情对话生成(AKDE)模型。该模型使用情感词典NRC＿VAD提取对话上下文中的情感词汇,以构成情感上下文,并利用常识知识Concept Net来扩展对话上下文。接着分别使用词编码器和知识上下文编码器编码,将编码后的序列进行融合,使模型能够充分理解用户所传达的内隐知识。该模型能够很好地对情感知识丰富的上下文进行建模,有助于情感信号的提取,从而提高AKDE模型的准确率并生成具有同理心的响应。实验结果表明,该模型在准确率、困惑性、共情性和相关性评价指标上均优于传统的基准模型,其中准确率和困惑性与基准模型最好结果相比分别提高0.91%、降低1.31,说明本文设计的模型有助于提高响应生成质量和同理心。(2)针对问题二,本文提出基于多重情感知识嵌入的移情对话生成(MAKE)模型。该模型利用多分辨率情感特征和常识知识来丰富对话历史,利用情感知识嵌入的编码器来学习更高层次情感互动信息以获取情感增强语境。此外,在解码过程中引入情感增强语境向量,指导模型更好地表达情感、提高响应生成质量。实验结果表明,该模型在准确率、共情性和相关性评价指标上均优于传统基准模型和AKDE模型,其中准确率与传统基准模型最好结果相比提高1.61%。实验结果显示本文设计的模型使得生成的响应更具有同理心。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工坊 ，原文地址：https://bishedaima.com/lunwen/52580.html
