面向跨领域推荐的多视图知识表示方法研究
这是一篇关于跨领域推荐,图注意力网络,多视图,注意力机制,知识表示的论文, 主要内容为随着大数据时代的快速发展,运用大数据技术学习数据中的有用信息至关重要。推荐系统为解决信息过载提供了有力的支撑,但是当新用户或新项目出现时还存在冷启动问题,因此,学术界提出跨领域推荐技术,通过学习辅助领域的用户偏好或项目知识表示,来解决目标领域的数据稀疏和冷启动问题,提高目标领域的推荐性能。然而目前的跨领域推荐模型在学习领域间的项目关联关系以及共性知识提取方面还有很大的提升空间。近年来,图神经网络在结构数据表示学习方面取得了良好进展,使用图神经网络有助于深层次地学习用户-项目交互、项目-项目关联关系,有助于丰富项目的知识表示学习。本文开展了面向跨领域推荐的项目表示学习研究,针对领域间项目共性知识的学习,提出了基于项目聚类的多视图知识表示方法(Multi-view Knowledge Representation Method for Cross Domain Recommendation,MKRM),设计了学习项目深层次隐式特征的网络,加入多头注意力机制和记忆力模块。在此基础上,最终提出了一个面向跨领域的推荐模型(MKRM-Component Learning,MKRM-CL)。其主要研究内容如下:(1)针对现有的跨领域项目共性知识学习未充分利用项目关联关系的问题,本文构建了辅助领域和目标领域的用户-项目-属性异质信息网络。考虑到领域间项目属性存在不对齐的情况,使用文档词频的统计计算等方法将这些不同的属性进行聚类,获得辅助领域和目标领域共同拥有的属性类,根据属性类将项目划分到多个不同的异质信息网络子图中,形成多个视图。(2)针对项目的知识表示未充分利用项目的多重属性的问题,本文设计了基于多视图的项目表示学习方法,分别从各个视图中学习项目表示中更高阶的图结构信息和隐式的用户偏好信息,并使用图注意力网络对同一个项目的知识表示在不同子视图的特征进行拼接,形成包含多重属性的项目知识表示,提出基于项目聚类的多视图知识表示方法MKRM,并用于下游推荐任务,生成更好的推荐内容。(3)为进一步学习项目的深层次隐式特征,本文在多视图项目聚类,并使用图注意力网络学习项目的知识表示后,构建了学习项目深层次隐式特征的网络使用记忆力模块和多头注意力机制学习项目的每一个组成部分,并且加入用户偏好,挖掘项目的深层次表示信息。最终构建了面向跨领域推荐的模型MKRM-CL。(4)基于本文所提出的MKRM-CL模型,在亚马逊图书和电影数据集,以及和利用爬虫爬取的豆瓣图书和电影数据集上分别进行了实验,并与最新的基线算法进行了对比,验证了模型的有效性,在性能上有5%-10%的提升。
基于全局预训练的小样本知识图谱补全方法研究与应用
这是一篇关于小样本学习,知识图谱补全,图注意力网络的论文, 主要内容为知识图谱是众多自然语言处理应用程序的关键组成部分。由于知识图谱的不完备性,基于已有实体及关系推理出缺失部分的知识图谱补全方法已逐渐成为当今的研究热点之一。传统知识图谱补全方法需要大量训练实例,而现实场景中大多数关系缺乏足够的实体对进行训练。在此背景下,小样本场景的知识图谱补全方法受到越来越多的关注。然而,现有小样本知识图谱补全方法在处理邻居实体时,大多没有考虑不同邻居实体对中心实体的重要性差异。其次,大多数方法在学习实体及关系表示时,只考虑了直接邻域信息的影响,而忽略了间接邻居的影响。上述问题导致现有方法未能充分利用知识图谱中的结构信息与内容信息,降低了所学表示的准确性,进而影响了补全效果。针对上述问题,本文提出了一种基于全局预训练的小样本知识图谱补全方法。一方面,对于知识图谱中的每个实体而言,不同邻居实体及关系与其相关性不同。此外,该实体邻域中还可能存在噪声邻居。因此,本文基于知识图谱的图结构,应用图注意力网络来学习实体及关系的表示,以更准确地体现不同邻居的重要性差异,进而更好地捕获任意实体邻域中的实体特征、关系特征以及语义相似性等信息。另一方面,在知识图谱中,除了实体直接邻居所包含的信息外,实体的多跳邻域还包含了众多潜在有效信息。因此,本文将传统图注意力网络扩展为多层,通过在多跳邻居实体与中心实体间加入辅助关系边来学习中心实体的多跳邻域信息,从而更准确地表示知识图谱中的实体与关系,进而提高模型的补全效果。为了验证本文所提模型的有效性,本文在两个公开数据集上进行了大量对比实验。实验结果表明,该模型可以提高实体及关系表示的质量。相较于其他基准模型,该模型在常见知识图谱补全评价指标上均能取得较优效果。同时,为了进一步体现所提模型在实际应用中的有效性,本文基于该模型设计并实现了一个农业知识问答系统,通过预训练模型得到较准确的实体及关系表示,并通过补全模型对知识图谱补充完善,进而在问答任务中更准确地获取答案。
基于注意力机制的方面级情感分类研究
这是一篇关于方面级情感分类,句法注意力机制,图注意力网络,多重选择注意力机制,残差编解码器的论文, 主要内容为随着互联网的蓬勃发展和移动智能终端的快速普及,用户在社交媒体和电商平台上生成了大量观点和评论。这些观点和评论以文本为主,并逐渐以图文等多模态数据的形式呈现,其内容通常是对某一热点事件的多角度陈述或某种热销商品不同属性的评价,表明了用户鲜明的立场以及丰富的情感。方面级情感分类可挖掘出隐含在这些数据中的细粒度情感信息,精准识别用户对具体方面的情感倾向,对政府部门拟定相关政策法规、企业制定产品升级路线以及心理治疗师分析病情等应用领域具有重要的现实意义。本文围绕方面级情感分类展开研究,主要研究内容及贡献如下:(1)针对现有文本方面级情感分类存在的语义信息提取不充分、注意力机制计算复杂度较高等问题,提出一种基于上下文和图注意力网络的文本方面级情感分类模型。该模型以目标方面为根节点,重构依存句法树以挖掘方面相关的依存句法关系,并使用图注意力网络和上下文注意力网络,充分提取句法结构信息和语义信息。同时,提出一种计算复杂度较低的基于句法相对距离的句法注意力机制,强调句法上与目标方面关联密切的词语。在三个公开数据集上的实验结果表明,所提模型是有效的,能较好地利用句子的语义信息和句法结构信息,提升情感分类的准确率,特别是上下文网络和句法注意力机制,能显著提升情感分类的性能。(2)针对现有多模态方面级情感分类存在的模态信息利用率不高、深层特征提取不充分等问题,提出一种基于多重选择注意力机制的多模态方面级情感分类模型。多重选择注意力机制显式地考虑图像与目标方面的相关性,充分利用图像模态的共性特征和个性特征来增强目标方面的情感表达。在此基础上,提出一种简单有效的残差编解码器来充分挖掘深层情感特征,同时避免梯度消失和网络退化等问题。在两个公开数据集上的实验结果表明,所提模型是有效的,多重选择注意力机制能较好地利用图像信息补充文本语义,残差编解码器能充分提取深层情感信息,提升情感分类的准确率。
基于图注意力网络的关系度量社交推荐算法研究
这是一篇关于社交推荐,关系度量,图注意力网络,邻域交互,自适应边际值学习的论文, 主要内容为在移动互联网时代,爆炸式增长的在线内容使得人们深受信息过载问题的困扰。作为缓解信息过载的利器,推荐系统能够从用户-项目历史交互中挖掘用户的个性化偏好,以过滤掉用户不感兴趣的内容。众所周知,传统推荐模型通常面临着数据稀疏和冷启动等问题,因而近年来越来越多的研究关注于融合社交网络等辅助信息来对用户兴趣进行充分建模,以改进现有推荐算法。然而,本文通过研究发现,现有社交推荐算法还存在以下问题:社交域对用户兴趣相似度的一些基本假设易引入过多噪声、在建模用户特征时仅学习单一的用户表示、没有同时利用项目域和社交域中的高阶邻域信息进行充分建模等。为解决这些问题,本文基于图注意力网络和度量学习技术,从关系建模角度开展了融合社交网络和用户-项目交互信息来构建社交推荐模型的研究。完成的主要工作如下:(1)现有模型通常假设社交网络中相连用户具有相似的兴趣,然而这一假设可能引入过多噪声;此外,单一的用户向量表示无法满足对用户进行细粒度建模的需求。针对这两大问题,本文考虑从关系建模的角度来融合用户-项目交互和社交关系,并提出了基于图注意力网络的关系度量社交推荐模型RML-DGATs。该模型通过在项目域和社交域中分别设计的对偶图注意力网络(DGATs)来自适应聚合用户或项目的邻域信息,然后使用多层网络将对应邻域间的复杂交互建模成关系向量。基于两种关系向量,每个用户均可同时被映射为项目-感知和社交-感知的新表示,实现对用户偏好的细粒度建模。同时,分别提出了距离正则项和邻域正则项以更好地建模邻域特征,然后通过构建一个度量学习框架进行联合训练。(2)进一步地,考虑到项目域和社交域中的高阶邻域信息亦有利于挖掘更深层的用户-项目交互或社交关系,在RML-DGATs模型的基础上,提出了融合高阶邻域信息的关系度量社交推荐模型So HRML。为充分聚合高阶邻域特征,该模型在两个域中分别构建了一种对偶层级聚合(Layer-wise Aggregation)结构,通过堆叠该结构来不断自适应聚合相应的高阶邻域信息,进而建模成关系向量。通过构建矩阵形式的迭代聚合,能够在加速计算的同时避免邻居采样操作。同时,为了优化模型的训练效果,提出一种自适应边际值学习方法来构建损失函数,以更好地建模正负样本对之间的关系,完成在度量学习框架下的联合训练。(3)在Ciao、Epinions和Flixster等数据集上开展了详细的对比实验和结果分析。结果表明,相较于多个先进对比算法,本文所提出的RML-DGATs模型在多个排序指标上能带来1.91%-4.74%的性能提升。通过同时建模两个域中的高阶邻域信息,So HRML能够进一步提升模型的推荐性能。
基于用户观看兴趣和购买偏好的单点付费预测方法研究与系统实现
这是一篇关于付费预测,图注意力网络,序列化推荐,推荐系统的论文, 主要内容为互联网智能电视如今越来越成为智能家居的重要组成部分。基于互联网智能电视平台的推荐系统也在迅速发展,国外的Netflix、Hulu公司,国内的海信聚好看、爱奇艺等公司都在智能电视平台中嵌入了推荐系统的相关功能。在盈利模式上,单点付费视频和套餐付费视频是互联网智能电视平台收入的重要组成部分。单点付费视频是单独付费购买的高质量电影或电视剧,当了解了用户想要购买的单点付费视频后,服务提供商可以发放优惠券,促进用户消费,从而提高用户的付费率。用户也因为系统的推荐和优惠活动降低了时间成本和消费成本,从而提高了用户体验,增强了用户粘性。但是由于互联网智能电视和传统APP的使用环境不同,没有用户评分、评论这种显式反馈,可以使用的反映用户兴趣偏好的隐式反馈只有用户的观看记录和购买记录。而且对于付费视频来说,用户的观看记录的占比明显小于非付费视频。由于以上因素,在互联网智能电视领域关于单点付费预测问题的算法和系统研究起步较晚、困难也较多。互联网智能电视平台单点付费预测问题的主要挑战在于三个方面。第一个挑战在于如何准确地表示视频。因为系统中单点付费视频的观看记录数量明显少于非付费视频,使用传统的视频嵌入表示方法得到的单点付费视频的嵌入表示不充分、不精确。第二个挑战在于如何对时间因素进行建模。因为不仅视频的流行程度随着时间呈现出线性或者周期性的变化,用户的观看兴趣和购买偏好在一天或者一周的不同时间也会发生规律性的变化。第三个挑战在于如何对用户的观看兴趣和购买偏好进行建模。系统中只有用户的观看记录和购买记录分别反映了用户的观看兴趣和购买偏好,但是在很多情况下用户的观看兴趣和购买偏好是不一致的。针对上述挑战,本文在与国内知名互联网智能电视平台合作项目的基础上,提出了基于用户观看兴趣和购买偏好的单点付费预测模型——VICP(single payment prediction model based on user Viewing Interest and Consumption Preference),并对该模型进行了系统实现。本文的主要工作和贡献总结为如下三点:1.本文提出一个基于用户观看兴趣和购买偏好的单点付费预测模型——VICP模型。该模型首先将基于图注意力网络的ET-GAT方法应用于全体用户观看记录组织成的图结构上,并融合了时间嵌入信息,从而获得精确的视频嵌入表示。接着,根据用户的观看记录和购买记录的特点,对用户的短期兴趣使用序列化方式建模,对用户的长期兴趣和购买偏好使用多头注意力机制进行建模。最后,将短期兴趣、长期兴趣和购买偏好的建模结果以及用户特征和视频的嵌入表示向量输入多层前馈神经网络,预测出用户购买具体单点视频的概率。2.本文在两个真实数据集上进行了充分的实验来验证VICP模型的有效性。首先,设计了本模型与基线模型的对比实验,实验结果表明本模型在两个数据集上的评价指标均优于基线模型。接着,通过消融实验验证了 ET-GAT方法、时间嵌入层等模型组件对模型整体效果的影响。最后,通过可视化实验直观反映了 ET-GAT方法的提升效果以及用户观看序列长度对模型效果的影响。3.本文基于互联网智能电视服务平台,对提出的VICP模型进行了系统实现。该系统在服务器端使用HDFS完成海量数据的分布式存储,使用Hive和Spark集群完成数据的并行化处理,使用TensorFlow完成模型的构建和预训练,并将模型服务用到的视频嵌入向量、用户和视频特征存储到内存数据库Redis中,最后将训练好的模型部署到配置好的Docker容器中。当需要预测用户购买具体单点付费视频的概率时,就可以将数据以JSON格式发送到模型服务端口,该端口返回相应的购买概率。
基于图卷积网络的协同过滤推荐方法研究与应用
这是一篇关于推荐系统,协同过滤,图卷积网络,图注意力网络的论文, 主要内容为随着互联网技术的快速发展,生产和传输的信息量已经远超人们接受的速度,“信息过载”的现象越发显著。推荐系统能够通过捕捉用户兴趣点,从海量信息中筛选出针对于用户的个性化信息,从而有效缓解信息过载现象。图卷积网络以图结构数据作为输入,具备融合节点信息与拓扑结构的能力,被广泛应用于推荐系统。现有的基于图卷积网络的推荐模型存在的问题包括节点信息聚合过程中无法有效区分邻居节点重要程度,导致对用户偏好提取不充分;节点信息更新时对节点历史信息使用不足;及堆叠网络层过多会产生过平滑现象。本文针对上述问题,开展了基于图卷积网络的协同过滤推荐方法研究及应用。本文的主要工作及贡献如下:(1)本文研究基于协同过滤的思想,利用用户-项目的历史交互数据来实现Top-N推荐任务。研究使用用户-项目二部图数据,提出一种结合图注意力的增强图卷积网络协同过滤推荐模型(AEGCN),在模型邻域聚合部分,使用结合图注意力与图卷积的嵌入传播层聚合出邻居节点特征,通过图上的传播充分学习用户偏好,有效区分邻居节点的重要性;在模型节点更新部分,使用自信息增强的节点更新算法,增加节点历史信息作为输入,以提升特征学习效果。为验证所提出的推荐模型性能,在三个公开数据集上设置对比实验,结果表明本文提出的AEGCN模型的召回率及NDCG这两个性能指标均优于其他基准算法,同时通过设置消融实验验证了模型的性能及有效性。(2)本文研究针对网络层数堆叠过多可能出现的过平滑现象,提出一种残差增强图卷积网络协同过滤推荐模型(R-AEGCN)。该模型在AEGCN模型的基础上添加残差结构模块,通过提取用户的剩余偏好在进一步提升模型的推荐效果的同时,可以有效地缓解过平滑现象。经过在三个公开数据集上的实验,结果表明R-AEGCN模型在召回率及NDCG这两个性能指标均优于基准模型的基础上,相比于AEGCN模型的推荐性能也有了进一步的提高。同时,通过设置网络层数的超参数实验证明本模型能够有效缓解图卷积网络层数堆叠过多导致的过平滑问题。(3)以电影推荐场景为例,在本文所提出模型R-AEGCN的基础上设计并实现了个性化电影推荐系统。系统采用MVC模式分层架构,前端部分采用Vue框架和Element UI组件库,后端部分采用Springboot框架。实现了基于用户历史交互数据的协同过滤推荐任务。系统可以为用户提供影片库,用户对影片库中的电影进行评分、收藏操作,系统经过模型训练后学习到用户的偏好特征并为用户生成个性化推荐列表。该系统可以有效为用户筛选出其感兴趣的影片信息,缓解信息过载问题。该系统可以迁移至其他推荐场景使用。
基于深度学习的知识图谱实体消歧方法研究
这是一篇关于实体消歧,知识图谱,卷积神经网络,图注意力网络,注意力机制的论文, 主要内容为实体消歧是构建和扩充知识图谱的重要技术,是语义检索系统、问答系统、推荐系统等的重要支撑技术。实体消歧的目标是将文本中提到的提及,映射到给定知识库或者知识图谱中对应实体。当前实体消歧技术存在如下问题:1)现有方法大多使用句子形式表示实体的上下文特征,但是句子中缺乏候选实体的关系信息,所以这种形式表示的上下文信息不够准确。2)现有方法没有充分利用同一文本中提及所对应的实体间的语义关联,使得消歧在实体上下文信息较少时效果不好。为了解决上述问题,本文以知识图谱为链接库,提出了基于深度学习的局部实体消歧方法和基于深度学习的全局实体消歧方法。主要内容如下:(1)嵌入表达。基于深度学习的实体消歧方法要求其深度网络的输入是实值向量,因此,需要将文本数据中的提及相关信息和知识图谱中的实体相关信息,转化为相应的嵌入表达向量。(2)针对现有方法中实体语义信息以及提及语义信息不准确的问题,提出了一种基于深度学习的局部实体消歧方法,该方法融合了提及以及提及上下文信息、实体及实体的局部特征图信息。该方法的工作过程是:首先,使用基于注意力机制的卷积神经网络,学习文本中提及相关信息的语义表示;其次,使用图注意力网络,学习知识图谱中实体相关信息的语义表示;最后,计算上述提及表示和实体表示的相似度,并将该相似度与实体流行度结合训练该模型。在预测时,取排名最高的候选实体作为目标实体。(3)针对局部实体消歧未充分利用文本中提及的语义相关性问题,在局部实体消歧方法的基础上提出了基于深度学习的全局实体消歧方法,该方法结合了局部信息以及全局信息。该方法的工作过程是:首先,将候选实体的全局特征图输入到改进的图注意力网络中,获得候选实体的全局信息得分;然后,将全局信息得分和局部信息得分结合起来训练该模型。在预测时,同样也是取排名最高的候选实体作为目标实体。对局部实体消歧及全局实体消歧模型,在AIDA-train数据集上进行训练,并在AIDA-B等数据集上进行测试。测试结果表明论文中提出的两种模型在消歧效果上优于对比方法,全局实体消歧模型比局部实体消歧效果更好一些。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://bishedaima.com/lunwen/46234.html
