知识图谱嵌入方法的研究
这是一篇关于知识图谱嵌入,链接预测,张量分解,卷积神经网络的论文, 主要内容为知识图谱是现实世界事实的结构化表示。顾名思义,知识图谱以图的形式建模真实世界中万物的联系,但是,它们通常只包含所有可能事实的一小部分。由于知识图谱的不完整性,很多以知识图谱为基础的应用被受限,如:智能问答系统、辅助医疗、推荐系统等。进而,产生了知识图谱补全任务。为了自动补全知识图谱,需要将知识图谱中的元素用连续向量去表示,于是就出现了知识图谱嵌入。因此,如何进行知识图谱嵌入,使其能够更加准确地、高效地补全知识图谱就尤为重要。复杂的知识图谱中的事实能由张量很好地表示,并且张量分解表达能力强,具有可解释性。因此,许多模型以张量分解为基础进行知识图谱嵌入研究。除此,基于卷积神经网络的嵌入模型也是研究热点。尽管这些模型解决了知识图谱嵌入中的一些问题,并提出了新的思路进行研究,但未能完全学习到知识的语义信息。本文的主要内容分为如下两部分:第一,经典的知识图谱嵌入模型,不管是基于张量分解的高效模型,还是翻译系列的简单模型,它们均忽略了实体的成分语义信息。针对这个问题,本文提出了基于张量分解的成对知识嵌入模型。该方法在关系嵌入的空间向量中,将实体的成分语义信息包含进去,这使得模型既能够捕获实体和关系的成分语义交互信息,同时保留了张量分解简单性和效率性的优势。接着,在基准数据集FB15k-237和WN18RR上开展链接预测实验。模型的各个评价指标表现均较好,验证了包含成分语义的嵌入模型的性能。第二,针对以卷积神经网络为基础的经典模型不能够有效地融合实体和关系的语义的问题,本文提出了基于张量积的卷积神经网络。首先通过张量积捕获实体和关系的交互语义,同时,还将一维的表示向量转换成二维的融合矩阵。接着,在张量积后面,紧跟一个卷积神经网络。最后在基准数据集FB15k-237和WN18RR上进行链接预测对比实验,实验结果表明以张量积捕获融合语义信息的卷积神经网络更准确地完成了补全任务,证明了张量积用于融合语义的有效性。
基于神经网络的知识图谱链接预测方法研究
这是一篇关于知识图谱,链接预测,卷积神经网络,图注意力网络的论文, 主要内容为知识图谱以图的形式呈现真实世界,可以处理并展现多源异构数据及其间的复杂关联关系,是以数据和知识为双驱动的认知智能的关键核心技术之一,在电商、医疗等众多领域有广泛应用。然而,事物本身具有多样性和变化性,自动或半自动的知识抽取技术获得的知识通常是不完整的。知识图谱链接预测旨在通过图谱中已知的信息预测出未知的信息,补全知识图谱,促进其在下游任务中的应用。当前基于神经网络的链接预测方法利用卷积神经网络、图注意力网络等充分挖掘信息,获得了优异的预测表现,但仍存在一些不足之处。一方面,大多神经网络模型学习的侧重点都在实体表示,而忽略了关系表示的学习,导致信息损失,从而影响模型的链接预测表现。另一方面,卷积神经网络在学习实体和关系的交互信息时,只注意到部分交互信息,没有充分学习一个三元组内部隐含的信息,不能很好地表示实体和关系。针对上述两个问题,本文通过分别引入参数生成器和自注意力机制,改进神经网络模型,提高链接预测效果。本文主要工作如下:(1)提出关系嵌入参数生成的图注意力网络链接预测模型。模型引入参数生成器,以实体嵌入作为参数生成器的输入,输出网络参数,学习关系的向量表示,实现关系嵌入更新,提高关系嵌入质量,从而提升链接预测效果。实验结果表明,新提出模型在WN18RR和FB15k-237数据集上的链接预测效果优于基准模型,在FB15k-237上,MRR指标平均增长约21.0%,Hits@10指标平均增长约17.4%;在WN18RR上,MRR平均增长约6.4%,Hits@10平均增长约9.1%。(2)提出一种融合自注意力机制的卷积神经网络链接预测模型。该模型为更好地学习三元组内部信息,引入自注意力机制,融合三元组向量表示不同维度信息,实现捕获三元组内部隐含的丰富的实体和关系作用信息,从而提升模型性能。在两个标准数据集上对提出模型进行独立实验,以及将其作为(1)中模型的解码器进行实验,两种实验结果都表现出一定的链接预测效果提升。如两阶段实验中,在FB15k-237上,MRR指标平均增长约15.3%,Hits@10平均增长约10.4%;在WN18RR上,MRR平均增长约9.2%,Hits@10平均增长约6.0%。(3)实现一个基于医疗知识图谱的智能问答系统,构建一个中文医疗知识图谱,利用链接预测模型推理未知的医疗知识,并在此基础上,实现医疗智能问答和实体、关系查询等功能。
应用于作者学术行为预测的异构网络表征学习机制研究
这是一篇关于异构网络,链接预测,网络表征学习,元路径,知识图谱的论文, 主要内容为当今学术社会,科研活动趋向多元化、多方协作化和学科交叉化,学术社交网络已成为包含海量信息的重要数据资源。作者学术行为预测旨在从异构学术网络中挖掘作者的行为关系,以促进科研合作,产出高质量的研究成果。异构网络具有数据的高维稀疏性、节点和边的异质性等特点,导致传统方法性能不佳。同时大多方法未考虑节点的多种特征和节点间边的重要性等,导致学习力度不足,难以有效学习网络中的节点表示。因此,如何有效地融合节点的多种特征,挖掘网络的深层结构特征,学习网络中的节点表示,并高效地实现链接预测已成为异构网络数据挖掘领域的研究热点。为有效提取和融合节点的多种特征和邻居信息,解决传统方法处理异构网络数据困难、未考虑节点多种特征等问题,本文设计了基于元路径和多特征的异构网络表征学习方法 HNEMF(Heterogeneous Network Embedding based on Meta-path and Multiple Features)。HNEMF考虑内容特征、结构特征和社区特征,利用双向长短时记忆和注意力机制融合多条元路径下节点的多种特征和邻居信息,并采用聚类算法捕获全局结构,充分挖掘节点之间的关系,从而有效地学习节点的表示,提升学术行为预测准确率。为深入挖掘节点的结构信息和语义信息,解决大多现有方法采样邻居节点不平衡、需要预先定义元路径采样邻居节点、忽略节点之间边的重要性等问题,本文提出了基于深层结构的异构网络表征学习方法HNEDS(Heterogeneous Network Embedding based on Deep Structure)。HNEDS通过两种基于边信息的平衡化游走算法捕获邻居节点,并利用知识图谱嵌入表示方法加强一阶邻居信息的学习。此外,通过将节点映射至不同的边表示空间中进行学习,解决不同类型边的语义不兼容问题,从而深入地表示节点,最大程度保留原始网络的拓扑结构,提高作者学术行为预测的效果。为有效提取和融合节点内容特征、社区特征和深层结构特征,解决现有方法大多仅从单一角度学习节点信息、未考虑多种特征如何有效融合等问题,本文在HNEMF和HNEDS的基础上实现了基于深层结构的多特征异构网络表示学习方法HNESF(Heterogeneous Network Embedding based on Deep Structure and Multiple Features)。HNESF通过全连接神经网络融合节点的内容特征、社区特征和深层结构特征,并改进现有的知识图谱嵌入表示方法,增加多种节点特征对于节点表示的影响,挖掘内容特征、社区特征和深层结构特征之间的潜在关系,加强一阶邻居信息学习的全面性,从而综合地表示学习节点,进一步提高学术行为预测性能。
基于子空间聚类的链接预测技术研究
这是一篇关于子空间聚类,链接预测,元路径,聚类系数,共同邻居的论文, 主要内容为互联网蓬勃发展使大数据出现爆炸式增长,导致数据规模大、价值密度低,对有效可靠的数据挖掘技术产生了巨大的需求。链接预测是探索实体之间存在关系的可能性,已成为数据挖掘的核心任务,引起广泛重视。链接预测研究促进了对网络演化的认知。但是,现有的链接预测模型难以对复杂网络结构进行有效建模,由于网络的稀疏性,数值价值密度较低,噪声对网络结构干扰较大,导致预测准确性较低。特别是包含丰富语义信息的异质网络,无法充分利用多样的结构类型,从而造成关键信息的缺失或错失。基于上述原因,本文提出了基于子空间聚类的链接预测方法,具体内容如下:(1)针对同构图提出了基于子空间聚类的链接预测方法。首先提出了基于低通滤波的子空间聚类方法。现有图网络中存在高频的噪声信号、会降低聚类的准确率。低通滤波模型可以有效过滤网络中的高频噪声,留下低频真实的特征信号。同时考虑高阶邻居对节点的影响,学习后的网络结构有助于下游的聚类任务以及链接预测任务。其次,基于子空间聚类提供的聚类信息和节点的共同邻居进行链接预测。最后,与传统的基于共同邻居的局部相似性方法相比,效果得到了提升。(2)针对异构图提出了基于子空间聚类的链接预测方法。为利用异质信息网络中包含的丰富的语义信息,首先设计了基于元路径的相似度度量模块,通过学习不同种类元路径的权重,构造具有自表达性的相似度矩阵,完成聚类任务。其次对异构图进行“去异”,把异构图退化为同构图,结合共同邻居和聚类系数进行链接预测任务,实现对异构网络中节点之间关系的预测。最后,与典型的异构图嵌入方法相比,效果得到了提升。(3)开发基于学术网络的学者合作链接预测系统。算法应用落地,结合实际场景需求,设计并开发了基于子空间聚类的链接预测方法开发学术网络场景下学者合作链接预测推荐系统,实现学术信息查询、学者合作关系预测以及学术网络可视化等功能。在未来,学术网络学者合作系统还可以为实现学者人物画像和学者关联关系分析提供有效思路。
基于知识图谱表示学习的链接预测算法研究
这是一篇关于知识图谱,链接预测,随机游走,表示学习的论文, 主要内容为由于数据来源不全面且知识抽取技术尚未成熟,人工或自动构建的知识图谱往往并不完善。知识图谱链接预测旨在基于已有知识推理预测新知识,从而实现知识图谱补全。本文针对大规模开放领域知识图谱的链接预测问题展开研究。现有链接预测算法中,路径排序算法应用于大规模知识图谱时会产生较大的时间开销。因此,本文提出一种基于双采样随机游走的路径排序算法,旨在提高算法的运行效率。在此基础上,针对基于转移的链接预测算法忽略了多步关系路径及复杂推理模式的问题,本文提出一种将双采样随机游走生成的多步路径融合到转移算法中的改进思路,旨在提高链接预测准确率。本文主要研究内容如下:(1)提出一种双采样随机游走路径排序算法(Dual-Sampling Path Ranking Algorithm,DSPRA)。本文改进路径排序算法中的采样策略,提出一种基于双层采样机制的随机游走方法,该方法分别在关系层和实体层进行粒子采样,降低了基于随机游走的路径排序算法的时间复杂度,同时不会显著影响算法的预测准确率,为减小后续融合算法的时间开销奠定基础。(2)提出一种融合双采样路径约束的转移算法(Dual-Sampling Path based TransE,DSP-TransE)。本文提出路径置信度的定义并依据融合路径约束的转移假设将双采样随机游走挖掘出的多步路径融入TransE算法中,使得TransE算法可以同时利用直接关系与多步关系路径进行表示学习,从而得到更准确的知识表示向量,提高链接预测的准确率。同时,在DSPRA算法的高效性的影响下,融合算法的时间开销的增幅显著降低。本文在大规模开放领域知识图谱数据集上进行了链接预测实验,验证了 DSPRA算法和DSP-TransE算法的有效性。
基于三维空间旋转的知识表示学习方法研究
这是一篇关于知识图谱,知识表示学习,链接预测,路径查询回答,规则挖掘的论文, 主要内容为知识图谱是客观世界信息的结构化表示,应用非常广泛,围绕知识图谱的问题与应用有很多相关的任务。知识图谱补全,又称为链接预测,旨在预测知识图谱中缺失的边;路径查询回答旨在给出知识图谱上查询的正确答案;规则挖掘旨在根据知识图谱中已有的事实去挖掘易于理解的规则。完成这些任务需要模型有较好的推理能力。知识表示学习,旨在为知识图谱中的实体和关系学习低维嵌入,是处理上述任务的有效方法,得到了广泛的关注。知识表示学习模型的推理能力很大程度上依赖于其对知识图谱中的各种关系模式建模的能力。知识图谱中主要包括三种关系模式:对称/反对称关系模式、逆关系模式和组合关系模式。组合关系模式又可以分为可交换的组合关系模式和不可交换的组合关系模式。然而,目前绝大多数模型都不能建模不可交换的组合关系模式。为了解决这个问题,本文提出基于三维空间旋转的模型Rotate3D,其将实体映射到三维空间,然后将关系表示为头实体到尾实体的旋转。利用三维空间中的旋转不满足交换律这一性质,Rotate3D可以自然地保留关系复合的顺序。理论分析表明,Rotate3D可以建模知识图谱中所有主要的关系模式,这为Rotate3D的推理能力提供了保障。本文在链接预测、路径查询回答以及规则挖掘任务上验证Rotate3D模型的有效性。对于链接预测和路径查询回答任务,在典型的公开数据集上的实验结果显示Rotate3D的表现优于已知的最先进的模型,证明了Rotate3D优越的推理能力。规则挖掘实验结果表明,基于Rotate3D的规则挖掘算法可扩展性强,可以挖掘到合理的和高质量的规则。此外,为了更好地理解模型,本文基于理论分析的结果,对模型推理三种主要的关系模式通过可视化、直观示例和定量分析进行了案例研究。案例研究表明Rotate3D可以有效地建模三种主要的关系模式,特别是在组合关系模式的建模上有显著的改进。
融合属性推断的社交网络链接预测研究
这是一篇关于属性推断,随机游走,链接预测,图卷积神经网络,社交网络的论文, 主要内容为社交媒体已成为一种日益重要的资源,用于与人联系、处理信息和扩大社会影响。在使用社交媒体时,社交媒体用户希望被推荐感兴趣的内容或朋友等,但又出于隐私考虑,用户不想提供个人信息和披露已有的朋友关系。因此,属性推断和链接预测成为解决此问题的重要办法。属性推断的本质是识别社交网络中节点所缺失的属性。链接预测的本质是预测网络中两个节点之间是否有可能会建立链接。目前关于属性推断的研究大部分是基于社交网络结构或者用户自身行为进行的,鲜少考虑到用户之间本身存在的相似性。除此之外,目前大部分研究将属性推断和链接预测作为两个不同的工作进行研究,但是,两项工作在问题本质和应用场景方面均存在着紧密的联系。针对上述问题,本文在属性推断和链接预测方面进行了如下研究:(1)提出了基于用户相似性和随机游走的属性推断算法(Attribute Inference Based on User Similarity and Random Walk,USRW)。该算法首先通过基于用户的协同过滤方法计算用户对可能缺失的属性的分值。然后在根据社交网络建立的加权异质信息网络进行重启随机游走,利用网络结构和用户现有的社交关系计算用户对属性的分值。最终将两种方法所得到的属性评分结果结合起来进行属性推断,并在真实数据集进行实验。实验表明,本文所提算法融合用户相似性和网络结构因素后,推断准确率较传统算法有较大提升。(2)提出一种基于图卷积神经网络的社交网络链接预测算法(Social Networks Link Prediction Based on Graph Convolutional Neural Networks,GCN-SNLK)。首先进行基于用户相似性和随机游走的属性推断,将属性推断结果融入用户-属性网络,而后使用多层图卷积网络,建模出网络中用户属性之间的多阶连接性,并以此学习用户的嵌入式表示。将学习到的嵌入式表示输入多层感知机,对社交网络中用户之间存在链接的概率进行预测。最后将所提算法在公开数据集Deezer Social Networks上进行实验。通过实验发现,本文提出的GCN-SNLK算法较传统的链接预测算法相比,在归一化累计折损增益和命中率方面均有提高。(3)采用所提的属性推断和链接预测算法设计实现基于属性推断和链接预测的音乐推荐系统。该系统利用基于用户相似性和随机游走的属性推断算法对用户进行属性推断并基于此向用户推荐可能感兴趣的音乐及歌手,使用基于图卷积神经网络的社交网络链接预测算法向用户推荐其可能感兴趣的用户或者潜在好友。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码驿站 ，原文地址：https://bishedaima.com/lunwen/48683.html
