基于深度学习的方面情感分类方法研究
这是一篇关于交互注意力机制,双向长短时记忆网络,图卷积网络,方面级情感分类,深度学习的论文, 主要内容为近年来,随着互联网技术的发展,人们在网络分享自己的生活,发表对各种事物的看法,各种社交平台和电商平台的用户评论呈爆炸式增长。如何从众多评论中提取出用户对产品或服务在某个方面的具体情感,对商家改进自家产品与服务,以及指导其他用户选购商品都极具现实意义。方面级情感分类任务旨在识别句子中给定方面词的情感极性,从更加精细的角度分析文本评论中不同属性或者方面的情感信息,从而对商品和服务有更加深入、细节的了解。本文针对方面级情感分类任务展开研究,主要研究内容及贡献如下:(1)以往的方法大多基于长短时记忆网络(LSTM)和注意力机制,这种做法很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性,但忽略了句中的语法结构。针对这种缺陷,提出了一种基于图卷积网络(GCN)和注意力机制的方法,不仅利用双向长短时记忆网络(Bi LSTM)建模了句中单词之间的语义信息,还利用图卷积网络进行单词间语法关系的信息传递,最后通过注意力机制建模上下文和方面词之间的关系,用于情感分类。(2)与前面提出的方法类似,现有的几种同样使用图卷积网络传递语法信息的方法,其主体思想是基于依赖关系树的图卷积方法从语法关系上缩短方面词和观点词之间的距离,并利用句子间的语法关系进行信息传递。一方面,这种方法高度依赖语法解析工具,一旦解析错误就不可避免地会导致错误的积累。另一方面,现有的语法解析工具无法很好地解析较长的句子,对于一些特殊句式,如双重否定句、反问句等也无能为力。为了充分利用句子的语法依赖,同时缓解由于解析错误而导致的问题,提出了一种基于交互注意力的图卷积神经网络(IAGCN)的方法,深度建模了句子与方面词的语义信息和语法信息。首先用双向长短时记忆网络学习句子的词序关系,捕捉句中上下文的语义信息;其次引入位置信息后,通过图卷积网络学习句中的语法信息;然后通过一种掩码机制提取方面词;最后使用交互注意力机制,交互计算特定方面的上下文表示,并作为最后的分类特征。通过这种优势互补的设计,模型可以很好地获得聚合了目标方面信息的上下文表示,并有助于情感分类。实验结果表明,模型在多个数据集上都获得了优秀的效果。(3)最后,对整个实验的工作流程进行了可视化,从数据集中选取了各具特色的例句,系统性地分析了省略句、否定句、插入语等不同句式下的方面情感分类任务的难点,并设计并搭建了一个方面级情感分类系统平台,验证了本文设计模型的可用性。
基于依存树和深度学习的方面级情感分类研究
这是一篇关于方面级情感分类,依存树,深度学习,图神经网络,注意力机制的论文, 主要内容为方面级情感分类是文本情感分析领域下的一个细粒度的子任务,其目的是预测句子中每个方面实体的情感极性。随着互联网的发展,各种类型的社交平台和电商平台占据了人们日常生活的每一个角落,人们在各类平台上所发布的海量的带有情感倾向的文本信息给科研和商业领域带来了巨大的研究价值。通过利用这些文本信息,不仅可以监控舆情导向、预测用户喜好,还可以进一步促进人类对于人脑情感认知系统的理解。然而如何结合实际问题高效地利用这些情感信息一直是研究的难点和重点。近年来,得益于深度学习技术的快速发展,自然语言处理的各个研究领域都取得了长足的进步。同样地,方面级情感分类领域近年来也取得了喜人的研究成果。但是现有的方案没有充分考虑到句子的结构信息,在处理包含多个方面词和情感词的句子时模型往往会产生困惑、关注不到与方面词相关的情感词,从而做出错误的情感极性预测。因此,本文针对这一缺陷,提出了将依存树中的句子结构信息与深度学习技术相融合的方法以实现更准确的方面词情感极性预测。本文的主要工作和贡献如下:1.提出了一种注意力增强的图卷积网络(Attention-Enhanced Graph Convolutional Network,AEGCN)。该模型主要解决传统图卷积网络(Graph Convolutional Network,GCN)中的噪声信息问题。AEGCN利用注意力机制计算依存树中相邻节点之间的相关性,使得依存树中的每个节点在更新时可以为与它相邻的各个节点分配不同的关注度,进而区分出各相邻节点的重要性程度,减少噪声信息的传播。此外,该模型还采用了多头注意力机制,通过语义信息和结构信息的交互进一步提升模型的鲁棒性。最后,在五个公共的英文方面级情感分类数据集上的实验结果表明,AEGCN模型通过减少噪声信息有效地提高了分类的准确性,并进一步提升了传统GCN的性能。2.提出了一种三重标签网络(Triple Tag Network,TTN),它由两部分组成,一部分是词性-距离网络,另一部分是关系图注意力网络。该模型主要探索了标签信息对于方面级情感分类任务的影响。依存树中除了包含单词间的邻接关系信息外,还包括词性及依存关系信息。在该模型中,词性-距离网络利用词性标签以及额外添加的距离标签判断各单词节点的重要性程度;关系图注意力网络则是将依存关系标签与图注意力网络相结合,通过依存关系标签计算相邻节点的相关性。最后,在三种类型的标签信息的指导下,将两部分网络捕捉到的特征信息拼接后作为模型最终用于分类预测的特征表示。在三个公共数据集上的实验结果证明了TTN在方面级情感分类任务中的有效性,并且表明了依存树中的词性、距离以及依存关系信息可以作为方面级情感分类任务的指导信息,对情感极性的预测起到了积极的作用。3.提出了一个动态残差图注意力网络(Dynamic Residual Graph Attention Network,DRGAT)。该模型主要解决现有的基于图神经网络和依存树的方法在更新节点信息时所存在的信息丢失和噪声信息的问题。首先在传统图注意力网络(Graph Attention Network,GAT)中引入残差机制,将GAT的输入和输出进行加和归一化,以克服在网络传播过程中原始节点信息丢失的问题。其次为解决噪声信息问题,该模型将四种类型的标签信息同时引入到GAT中,并在传统GAT的基础上实现了动态地规划各类型标签信息的关注度。此外,本方案中还提出了依存树重塑的方法,通过修剪掉在依存树中与方面词距离较远的节点的方式,在另一个角度缓解噪声信息的问题。最后,在三个公共数据集上的实验结果表明DRGAT可以有效地解决信息丢失的问题并在一定程度上缓解噪声信息的问题,同时它还进一步提升了GAT的性能。
基于依存树和深度学习的方面级情感分类研究
这是一篇关于方面级情感分类,依存树,深度学习,图神经网络,注意力机制的论文, 主要内容为方面级情感分类是文本情感分析领域下的一个细粒度的子任务,其目的是预测句子中每个方面实体的情感极性。随着互联网的发展,各种类型的社交平台和电商平台占据了人们日常生活的每一个角落,人们在各类平台上所发布的海量的带有情感倾向的文本信息给科研和商业领域带来了巨大的研究价值。通过利用这些文本信息,不仅可以监控舆情导向、预测用户喜好,还可以进一步促进人类对于人脑情感认知系统的理解。然而如何结合实际问题高效地利用这些情感信息一直是研究的难点和重点。近年来,得益于深度学习技术的快速发展,自然语言处理的各个研究领域都取得了长足的进步。同样地,方面级情感分类领域近年来也取得了喜人的研究成果。但是现有的方案没有充分考虑到句子的结构信息,在处理包含多个方面词和情感词的句子时模型往往会产生困惑、关注不到与方面词相关的情感词,从而做出错误的情感极性预测。因此,本文针对这一缺陷,提出了将依存树中的句子结构信息与深度学习技术相融合的方法以实现更准确的方面词情感极性预测。本文的主要工作和贡献如下:1.提出了一种注意力增强的图卷积网络(Attention-Enhanced Graph Convolutional Network,AEGCN)。该模型主要解决传统图卷积网络(Graph Convolutional Network,GCN)中的噪声信息问题。AEGCN利用注意力机制计算依存树中相邻节点之间的相关性,使得依存树中的每个节点在更新时可以为与它相邻的各个节点分配不同的关注度,进而区分出各相邻节点的重要性程度,减少噪声信息的传播。此外,该模型还采用了多头注意力机制,通过语义信息和结构信息的交互进一步提升模型的鲁棒性。最后,在五个公共的英文方面级情感分类数据集上的实验结果表明,AEGCN模型通过减少噪声信息有效地提高了分类的准确性,并进一步提升了传统GCN的性能。2.提出了一种三重标签网络(Triple Tag Network,TTN),它由两部分组成,一部分是词性-距离网络,另一部分是关系图注意力网络。该模型主要探索了标签信息对于方面级情感分类任务的影响。依存树中除了包含单词间的邻接关系信息外,还包括词性及依存关系信息。在该模型中,词性-距离网络利用词性标签以及额外添加的距离标签判断各单词节点的重要性程度;关系图注意力网络则是将依存关系标签与图注意力网络相结合,通过依存关系标签计算相邻节点的相关性。最后,在三种类型的标签信息的指导下,将两部分网络捕捉到的特征信息拼接后作为模型最终用于分类预测的特征表示。在三个公共数据集上的实验结果证明了TTN在方面级情感分类任务中的有效性,并且表明了依存树中的词性、距离以及依存关系信息可以作为方面级情感分类任务的指导信息,对情感极性的预测起到了积极的作用。3.提出了一个动态残差图注意力网络(Dynamic Residual Graph Attention Network,DRGAT)。该模型主要解决现有的基于图神经网络和依存树的方法在更新节点信息时所存在的信息丢失和噪声信息的问题。首先在传统图注意力网络(Graph Attention Network,GAT)中引入残差机制,将GAT的输入和输出进行加和归一化,以克服在网络传播过程中原始节点信息丢失的问题。其次为解决噪声信息问题,该模型将四种类型的标签信息同时引入到GAT中,并在传统GAT的基础上实现了动态地规划各类型标签信息的关注度。此外,本方案中还提出了依存树重塑的方法,通过修剪掉在依存树中与方面词距离较远的节点的方式,在另一个角度缓解噪声信息的问题。最后,在三个公共数据集上的实验结果表明DRGAT可以有效地解决信息丢失的问题并在一定程度上缓解噪声信息的问题,同时它还进一步提升了GAT的性能。
基于图神经网络的交互推荐算法和方面级情感分类算法研究
这是一篇关于图神经网络,交互推荐算法,强化学习,方面级情感分类的论文, 主要内容为随着互联网的普及和对网民的进一步渗透,互联网平台服务深刻改变了人们的生活。为了使用户享受更好的服务,平台利用数据挖掘技术从海量的用户数据中挖掘有效信息。传统的数据挖掘技术适用于欧式空间数据。而互联网平台中存在大量不具备平移不变性的图结构数据,如用户交互行为数据、社交网络数据等。因此引入图神经网络对这些数据进行结构化信息挖掘的研究十分热门。本文针对交互推荐场景和方面级情感分类场景两个互联网平台中的典型算法场景,结合图神经网络对算法进行优化。交互推荐场景在用户和系统的交互行为中学习用户兴趣,进行个性化推荐,常用于冷启动用户的商品推荐。为提升交互推荐系统的推荐准确度,本文设计了一种图信息增强的交互协同过滤模型,在交互推荐系统中结合协同过滤,使用图注意力网络对用户-商品历史交互行为数据进行信息挖掘。模型利用强化学习框架进行参数学习,平衡对用户已知兴趣的利用和未知兴趣的探索。同时,本文基于站内用户-商品历史交互行为提出了一种较小数据量的商品相似度无向图,包含数据信息的同时提升模型计算效率。所提出的模型以及图结构在公开数据集上进行离线实验。实验结果表明,在针对冷启动用户的交互推荐场景下,图信息增强的交互协同过滤模型能够有效融合站内用户-商品历史交互行为信息,进而有效提升交互推荐准确度;而所提出的商品相似度无向图能够对用户-商品历史交互数据进行高效建模,保留结构信息的同时有效提升训练效率,满足交互推荐系统的推荐速度要求。方面级情感分类算法可用于基于评论进行商品属性或特征的用户情感倾向判断,对商户运营给出更精细化指导。评论文本除了序列关系外还有丰富的句法结构关系。本文提出了一种有向边图注意力网络,在融合节点信息的同时,对依存关系图中边的属性特征和方向特征进行建模,进一步挖掘句法结构信息。然后,本文将有向边图注意力网络与文本表示模型相结合,构建方面级情感分类算法框架,以监督学习的方式进行训练,并在公开数据集上进行实验。实验结果表明,本文提出的有向边图注意力网络能够高效挖掘句法结构信息,所提出的方面级情感分类算法的分类准确度显著提升。最后,本文搭建了一个电影推荐网站系统,模拟互联网平台的数据收集、数据存储和信息挖掘过程,通过推荐业务为用户服务,并收集用户观影评论。本文介绍了系统设计、功能后端处理逻辑以及前端实现样式。网站为本文所提出算法今后的在线实验提供必要的平台条件,并收集数据用于算法的迭代优化。
基于图卷积网络的方面级情感分类方法研究
这是一篇关于方面级情感分类,上下文保持能力,多粒度注意力计算,方面语义强化,语义依赖关系的论文, 主要内容为大数据时代,呈指数级增长的自然语言数据中蕴藏着丰富的情感信息,细粒度的方面级情感分类能够精细地区分语句在不同方面表现的情感极性,在以短文本为主的社交媒体和电商平台等应用场景中具有更重要的应用价值。在基于统计、基于机器学习和基于深度学习的方法中,现有工作大多采用深度神经网络结合注意力机制学习语言特征,其中基于图卷积网络的方法具有良好的表现。但网络传播和池化等操作会带来不同程度的情感信息丢失,而且,特定方面和语句间的复杂依赖关系以及文本丰富多变的语言特征也会影响模型的分类效果和稳定性。本文围绕以上问题展开研究,以ASGCN模型为基础框架,构建了方面级情感分类模型,提升了模型的分类性能。本文的主要工作如下:1.构建了一种基于上下文保持能力的方面级情感分类模型CPGCN-MATT。针对多层神经网络在前向传播中的情感信息损失问题,本文通过在图卷积层中引入上下文门控单元来整合前一层输出中的有用信息。同时,为了强化语句特征的关键信息并且弱化噪声和冗余信息的影响,设计了一种多粒度注意力计算方法。该方法利用了语句的词序特征和方面词的全局语法特征,并在短语级别和词级别上分别计算语义相关性,使模型分配给各词语的关注度更加合理。与基础模型相比,分类性能获得了平均2%左右的提升。2.在CPGCN-MATT的基础上,融合方面词的语义信息和单词间的语义依赖信息,构建了CP2GCN-A-MATT模型。词掩藏操作会影响完整语句特征的提取,而且基于句法依赖树的图卷积对单词在语义方面的依赖关系考虑较少,这会导致模型在句法性能较差的数据集上表现不佳。为了进一步利用完整语句的语法特征并突出对方面词的关注,本文在CPGCNMATT的基础上使用交互注意力机制构建了方面强化的语法特征提取分支,并使用自注意力权重矩阵构建了基于语义依赖的特征提取分支。并行的双分支模型结构可以更好的实现特征信息的互补,增强模型对不同语料的适应性。与CPGCN-MATT相比,分类性能获得了平均0.5%左右的提升。3.将建立的CP2GCN-A-MATT模型应用于爬取的微博中文评论数据,评估了本文提出的模型在实际应用中的分类性能。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设助手 ，原文地址：https://bishedaima.com/lunwen/55983.html
