基于BERT和深度神经网络的隐式文本情感分析研究
这是一篇关于隐式情感分析,BERT模型,双向长短期记忆网络,上下文语境,双向门控循环单元,交互注意力机制的论文, 主要内容为随着互联网技术的不断提升和信息技术革命的持续推进,各种社交网络、论坛和电商平台(如微博、Facebook、知乎和抖音等)相继涌现,同时也催生了海量的文本数据,包含用户分享、交流和购物评价等信息。这些文本数据不仅能够反映用户真实的情感信息,而且也为情感分析提供了广阔的研究空间。因此,对这些文本数据进行情感分析可以很好地挖掘和监控社会观点,具有很强的应用价值。对政府而言,能够随时了解民生状况,对商家而言,可以通过改善服务质量和提高产品质量吸引更多的消费者。对文本数据进行情感分析需要使用文本处理技术(如自然语言处理技术)表示文本特征并对其进行情感分类。文本情感分析作为自然语言处理领域的研究子领域已经成为目前研究热点之一。根据文本中的主观性和客观性,将情感文本中的句子分为显式情感句和隐式情感句两类。目前,对显式情感句的情感分类研究已经取得显著效果。然而,隐式情感句是一种没有任何明确的情感词汇来陈述事实的句子,缺少了情感词作为线索,导致对隐式情感句进行情感分类的难度增大。特别是现有的大多数情感分类方法不能很好地挖掘隐式情感句的深层语义特征且没有充分利用上下文语境信息。对于隐式情感文本来说,句子本身提供的情感信息并不多,大部分情感信息都集中于上下文语境中。为了解决这些问题,本文从隐式情感句本身和上下文语境信息两个方面展开研究工作,主要贡献如下:(1)为了解决现有多数情感分类模型不能很好地提取隐式情感句深层的语法、语义和词向量特征的问题,本文提出一种融合多个神经网络的中文隐式情感分析模型BERT-CNN-Bi LSTM-Attention(BCBA)。该模型融合了BERT(Bidirectional Encoder Representations from Transformers)模型、双向长短期记忆网络(Bi-directional Long ShortTerm Memory,Bi LSTM)、卷积神经网络(Convolutional Neural Network,CNN)和注意力机制(Attention)。首先,采用BERT预训练模型代替传统的词向量生成技术来有效提取文本特征,并捕获底层的语义和语法信息;然后将提取到的词向量特征输入到CNN网络获取隐式情感句的局部重要信息,输出结果通过Bi LSTM的双通道网络来获取词语之间的时序信息并解决隐式情感句长依赖问题,接着引入注意力机制进行情感权重计算,以捕获重要的文本情感信息,最后通过softmax层做最终的情感类别判断。该模型在中文隐式情感分析评测(SMP-ECISA)数据集上进行实验,结果表明该模型相较于一些深度神经网络在中文隐式情感分类任务上取得了较好的性能。(2)在进行隐式情感分析研究时,发现许多目标情感句的情感极性并不明显,只有将其放在相应的上下文语境中才能够更好地体现其情感类别。因此,本文在BCBA模型的基础上融入上下文语义特征,提出一种新的隐式情感分析模型BCBA-CF。采用双向门控循环单元(Bi GRU)和注意力机制提取情感目标句的上下文语义特征,然后使用BCBA模型提取情感目标句的深层特征,接着采用交互注意力机制相互注意这两个特征表示,最后使用softmax层进行最终的情感类别判断。该模型在SMP-ECISA公共数据集上进行实验,结果表明相较于之前的模型,该模型性能得到显著提升。
基于注意力机制的化工产品推荐研究
这是一篇关于化工品,辅助信息,自注意力机制,交互注意力机制,图神经网络的论文, 主要内容为近些年来随着化工行业的迅速发展,化工品的产量与种类也随之增多。但是化工品的销售渠道却没有得到优化。这就导致不能及时的给有需求的用户推荐他们所需要的化工品,同样这也导致化工品的销量有所下降。对化工品行业的发展产生了阻碍。在化工行业飞速发展的同时,人工智能方面的技术也在高速发展。在人工智能领域中的推荐系统,已经被广泛的用到了各大电商网站当中,给用户推荐他们所需的商品,因此,为了解决化工品销售的问题,本文尝试使用推荐系统中的方法对化工品推荐给用户进而解决化工品销量的困境。在推荐系统的研究领域中,大多数的应用场景是针对于各大网上商城,例如淘宝、京东等。针对化工品推荐的场景鲜有研究,本文提出设计了一种新的推荐系统模型并且将其应用在化工品推荐的场景中。在模型中本文使用了注意力机制,用来解决化工品广告点击率的问题,进而提高化工品的销量。同时,本文将使用图神经网络的推荐系统模型使用在化工品推荐中,尝试使用图神经网络模型给用户推荐化工品。本文的研究如下:(1)本文提出了一种深度时空神经网络(Deep Spatio-Temporal Attention Network for Click-Trough Rate Prediction,DSTAN)来有效地利用时间信息和空间信息进行CTR预测。时间信息是用户在某段时间内点击过的化工品广告和未点击的化工品广告,这样本文可以通过时间信息了解用户的喜好;本文考虑到与目标广告在同一页面的化工品广告可能会影响用户的兴趣,因此在辅助信息中添加了空间信息,即与目标广告出现在同一页面中的上下文广告。为了让模型尽可能少的受到数据集中噪音的影响,本研究在模型中添加了自注意力机制,用来降低数据集中的噪声;为了区分不同的辅助信息对目标广告的影响,本文在模型中加了交互注意力机制,用来区分不同辅助信息之间的贡献。最后将异构数据融合到一个连贯的框架中,从而计算出点击目标广告的概率。为了验证模型的有效性,本文将DSTAN模型放到化工品数据集、淘宝数据集进行了离线实验,并发现DSTAN在CTR预测方面优于几种最常见的方法。这表明DSTAN是一种有效的CTR预测方法,可以帮助化工企业更好地了解他们的目标受众,并提高化工品推荐的成功率。(2)图神经网络在推荐系统中被越来越多的使用到,并取得了不错的效果。因此,本文将已有的图神经网络模型(Knowledge Graph Attention Network for Recommendation,KGAT)用于解决化工品推荐问题。KGAT模型采用端到端的方式对知识图谱(KG)中的高阶关系进行显式建模,并且在混合结构中利用这些高阶关系来连接两个项目与一个或多个相关属性,这是推荐成功的重要因素。KGAT使用递归传播嵌入的方法,从节点的邻居(可以是用户、项目或属性)开始,不断细化节点的嵌入,并且使用注意机制来区分邻居节点的重要性。相较于现有基于知识图谱的推荐方法,KGAT的优势在于概念上更为高级。其他方法要么通过提取路径来利用高阶关系,要么通过正则化来隐式建模高阶关系。KGAT模型在化工数据集上的实验结果表明,将图神经网络模型应用在化工场景下取得了良好性能。说明图神经网络能够挖掘出用户-化工品之间的关系,同时也说明了图神经网络具有良好的性能。
基于注意力机制的化工产品推荐研究
这是一篇关于化工品,辅助信息,自注意力机制,交互注意力机制,图神经网络的论文, 主要内容为近些年来随着化工行业的迅速发展,化工品的产量与种类也随之增多。但是化工品的销售渠道却没有得到优化。这就导致不能及时的给有需求的用户推荐他们所需要的化工品,同样这也导致化工品的销量有所下降。对化工品行业的发展产生了阻碍。在化工行业飞速发展的同时,人工智能方面的技术也在高速发展。在人工智能领域中的推荐系统,已经被广泛的用到了各大电商网站当中,给用户推荐他们所需的商品,因此,为了解决化工品销售的问题,本文尝试使用推荐系统中的方法对化工品推荐给用户进而解决化工品销量的困境。在推荐系统的研究领域中,大多数的应用场景是针对于各大网上商城,例如淘宝、京东等。针对化工品推荐的场景鲜有研究,本文提出设计了一种新的推荐系统模型并且将其应用在化工品推荐的场景中。在模型中本文使用了注意力机制,用来解决化工品广告点击率的问题,进而提高化工品的销量。同时,本文将使用图神经网络的推荐系统模型使用在化工品推荐中,尝试使用图神经网络模型给用户推荐化工品。本文的研究如下:(1)本文提出了一种深度时空神经网络(Deep Spatio-Temporal Attention Network for Click-Trough Rate Prediction,DSTAN)来有效地利用时间信息和空间信息进行CTR预测。时间信息是用户在某段时间内点击过的化工品广告和未点击的化工品广告,这样本文可以通过时间信息了解用户的喜好;本文考虑到与目标广告在同一页面的化工品广告可能会影响用户的兴趣,因此在辅助信息中添加了空间信息,即与目标广告出现在同一页面中的上下文广告。为了让模型尽可能少的受到数据集中噪音的影响,本研究在模型中添加了自注意力机制,用来降低数据集中的噪声;为了区分不同的辅助信息对目标广告的影响,本文在模型中加了交互注意力机制,用来区分不同辅助信息之间的贡献。最后将异构数据融合到一个连贯的框架中,从而计算出点击目标广告的概率。为了验证模型的有效性,本文将DSTAN模型放到化工品数据集、淘宝数据集进行了离线实验,并发现DSTAN在CTR预测方面优于几种最常见的方法。这表明DSTAN是一种有效的CTR预测方法,可以帮助化工企业更好地了解他们的目标受众,并提高化工品推荐的成功率。(2)图神经网络在推荐系统中被越来越多的使用到,并取得了不错的效果。因此,本文将已有的图神经网络模型(Knowledge Graph Attention Network for Recommendation,KGAT)用于解决化工品推荐问题。KGAT模型采用端到端的方式对知识图谱(KG)中的高阶关系进行显式建模,并且在混合结构中利用这些高阶关系来连接两个项目与一个或多个相关属性,这是推荐成功的重要因素。KGAT使用递归传播嵌入的方法,从节点的邻居(可以是用户、项目或属性)开始,不断细化节点的嵌入,并且使用注意机制来区分邻居节点的重要性。相较于现有基于知识图谱的推荐方法,KGAT的优势在于概念上更为高级。其他方法要么通过提取路径来利用高阶关系,要么通过正则化来隐式建模高阶关系。KGAT模型在化工数据集上的实验结果表明,将图神经网络模型应用在化工场景下取得了良好性能。说明图神经网络能够挖掘出用户-化工品之间的关系,同时也说明了图神经网络具有良好的性能。
基于注意力机制的方面级情感分类研究
这是一篇关于方面级情感分类,方面词抽取,多头自注意力机制,交互注意力机制的论文, 主要内容为随着现代移动设备和5G通信走进千家万户,传统线下购物逐渐被线上购物所渗透。对电商平台上的评论进行情感分析,有利于商家优化自己的产品和服务,也有利于买家进行选择。不同于传统的粗粒度文本分析,方面级情感分类旨在于识别出文本中的方面词和对应的不同情感,因此方面级情感分类的研究主要还是聚焦在提取文本的语义特征,建立方面词和情感之间的联系,但是目前针对方面词抽取和情感分类任务还是存在一些问题。首先,在方面词抽取的问题中,方面词的界定存在问题,容易出现方面词中嵌套方面词的问题,这就需要使用注意力机制来解决。其次,在情感分类的子任务中,往往容易忽略方面词和文本之间的交互信息,有可能会错误的判断文本具体表达的含义,进而导致情感分类的结果错误。针对现有的这些问题,本文在已有的工作上进行了相应的改进,具体包含以下的研究内容:1、在进行方面级情感分类任务之前,首先需要对评论中的方面词进行抽取。因此,本文提出基于自注意力机制的情感方面词抽取ABSC模型。模型采用ALBERT进行词嵌入表示,并利用双向GRU结构进行上下文信息特征提取,接着通过自注意力模块寻找向量层面的最优序列,最后经过改进型的CRF层,学习相邻标签之间的依赖关系,提取出文本中的方面词。同时,模型通过消融实验,证明了ALBERT在降低训练时间上的有效性,BiGRU在上下文特征抽取的有效性。最终,实验表明,本文的算法比同基线模型在相关数据集上提高了3%的F1值,证明了ABSC模型在方面词抽取任务中的有效性。2、本文提出一种融合交互注意力的BiIAGRU-BERT情感分类模型,对给定方面词和文本进行情感极性分类。模型首先利用BERT进行词嵌入,然后通过交互注意力机制计算捕捉上下文和方面词之间的交互信息,接着分别通过多头自注意力机制来将不同部分的信息整合起来,最后输出对应的情感极性。在SemEval2014数据集的实验中,相比其他模型有5%的精确度的提升。3.基于上文已经提出的模型,借助常见的web开发框架,开发了一个针对电商行业的在线评论情感分析系统,完成对电商用户评论的不同方面进行端到端方面级情感分类任务,并详细阐述了系统需求、系统架构,并对相关页面进行测试,验证系统的有效性。
基于BERT和深度神经网络的隐式文本情感分析研究
这是一篇关于隐式情感分析,BERT模型,双向长短期记忆网络,上下文语境,双向门控循环单元,交互注意力机制的论文, 主要内容为随着互联网技术的不断提升和信息技术革命的持续推进,各种社交网络、论坛和电商平台(如微博、Facebook、知乎和抖音等)相继涌现,同时也催生了海量的文本数据,包含用户分享、交流和购物评价等信息。这些文本数据不仅能够反映用户真实的情感信息,而且也为情感分析提供了广阔的研究空间。因此,对这些文本数据进行情感分析可以很好地挖掘和监控社会观点,具有很强的应用价值。对政府而言,能够随时了解民生状况,对商家而言,可以通过改善服务质量和提高产品质量吸引更多的消费者。对文本数据进行情感分析需要使用文本处理技术(如自然语言处理技术)表示文本特征并对其进行情感分类。文本情感分析作为自然语言处理领域的研究子领域已经成为目前研究热点之一。根据文本中的主观性和客观性,将情感文本中的句子分为显式情感句和隐式情感句两类。目前,对显式情感句的情感分类研究已经取得显著效果。然而,隐式情感句是一种没有任何明确的情感词汇来陈述事实的句子,缺少了情感词作为线索,导致对隐式情感句进行情感分类的难度增大。特别是现有的大多数情感分类方法不能很好地挖掘隐式情感句的深层语义特征且没有充分利用上下文语境信息。对于隐式情感文本来说,句子本身提供的情感信息并不多,大部分情感信息都集中于上下文语境中。为了解决这些问题,本文从隐式情感句本身和上下文语境信息两个方面展开研究工作,主要贡献如下:(1)为了解决现有多数情感分类模型不能很好地提取隐式情感句深层的语法、语义和词向量特征的问题,本文提出一种融合多个神经网络的中文隐式情感分析模型BERT-CNN-Bi LSTM-Attention(BCBA)。该模型融合了BERT(Bidirectional Encoder Representations from Transformers)模型、双向长短期记忆网络(Bi-directional Long ShortTerm Memory,Bi LSTM)、卷积神经网络(Convolutional Neural Network,CNN)和注意力机制(Attention)。首先,采用BERT预训练模型代替传统的词向量生成技术来有效提取文本特征,并捕获底层的语义和语法信息;然后将提取到的词向量特征输入到CNN网络获取隐式情感句的局部重要信息,输出结果通过Bi LSTM的双通道网络来获取词语之间的时序信息并解决隐式情感句长依赖问题,接着引入注意力机制进行情感权重计算,以捕获重要的文本情感信息,最后通过softmax层做最终的情感类别判断。该模型在中文隐式情感分析评测(SMP-ECISA)数据集上进行实验,结果表明该模型相较于一些深度神经网络在中文隐式情感分类任务上取得了较好的性能。(2)在进行隐式情感分析研究时,发现许多目标情感句的情感极性并不明显,只有将其放在相应的上下文语境中才能够更好地体现其情感类别。因此,本文在BCBA模型的基础上融入上下文语义特征,提出一种新的隐式情感分析模型BCBA-CF。采用双向门控循环单元(Bi GRU)和注意力机制提取情感目标句的上下文语义特征,然后使用BCBA模型提取情感目标句的深层特征,接着采用交互注意力机制相互注意这两个特征表示,最后使用softmax层进行最终的情感类别判断。该模型在SMP-ECISA公共数据集上进行实验,结果表明相较于之前的模型,该模型性能得到显著提升。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计货栈 ，原文地址：https://bishedaima.com/lunwen/55992.html
