烟草专卖知识图谱推理技术研究
这是一篇关于知识图谱,关系预测,图注意力神经网络,烟草的论文, 主要内容为知识图谱以(主,谓,宾)三元组的形式描述知识,如(张三,国籍,中国)表示张三是中国人的事实。在实际数据中,大量实体可以通过若干种关系紧密关联在一起,从而形成包含多种关系的有向图。但由于数据的不完备性,目前所构建的知识图谱肯定都存在知识缺失的现象,包含实体缺失和关系缺失。以Freebase为例,将近三分之一的人物对象不存在双亲信息。因此,基于知识图谱的推理是当前知识图谱的重点研究方向之一。所谓基于知识图谱的推理,是在三元组的基础上,通过演绎、类比和归纳等方法获得新的知识,并且满足语义。它不仅能够补全缺失的关系或实体,向图谱中添加新的三元组信息,而且还能修复错误的知识、验证已有事实是否正确。所以说,通过推理,可以提升已有知识图谱的覆盖率和正确性。本文基于烟草知识图谱,研究完善和补充烟草专卖知识图谱的预测方法。论文的主要贡献如下:1图神经网络与推理算法结合本文基于图神经网络,提出一种有别于传统嵌入算法的推理模型,该模型通过对图数据卷积推理,充分利用了邻接节点的特征,更加全面准确地表示了节点的特征;2烟草专卖知识图谱构建本次研究紧密结合烟草专卖业务需求,构建烟草专卖行业垂直知识图谱,并通过图注意力的推理模型,实现图谱中知识的补全,推动了烟草专卖行业智能化发展;3知识图谱推理应用的拓展首次基于烟草专卖行业的知识图谱进行推理算法研究,并在此基础上设计和实现了以零售户和卷烟为中心实体的信息检索与推荐系统。是烟草专卖行业信息化一大创新,更是知识图谱应用领域的扩展。
基于联合学习的知识库问答研究
这是一篇关于知识图谱,问答系统,联合模型,实体识别,关系预测的论文, 主要内容为随着海量数据时代的到来,用户对于搜索互联网上纷繁复杂数据的要求越来越高,基于关键字匹配的传统搜索引擎系统已经愈来愈无法满足人们的要求,因此,如何为用户提供一个精准而高效的自动问答系统成为了产业界重要的研究项目。近年来,随着知识图谱的蓬勃发展,基于知识图谱的问答系统无论是在英文还是在中文领域越来越体现其在自动问答领域的重要性。与传统搜索引擎不同的是基于知识图谱的问答系统不再为用户返回一系列匹配文档,而是凭借其智能的精准推荐为用户推送准确答案,显著地提升了用户使用体验,提高了用户使用搜索引擎产品的粘性,进一步也为企业创造了经济价值。因此,越来越多的研究人员投入到知识库问答系统的研究中。基于知识库问答系统主要分为基于语义解析的方法和基于分布式语义表示的方法,其中语义解析的方法受到语义鸿沟的影响,使得问答的准确率和召回率较低,分布式语义表示的方法随着研究的深入逐步超越了语义解析的方法,但是现阶段的基于分布式语义表示知识库问答方法的性能还有待提高,以往的研究中受到语义表示的准确性以及实体与关系之间缺乏联系制约了知识库问答的研究。本文围绕基于简单问题的知识库问答任务,从数据标注、问句多维度表征、联合模型构建等多个方面展开研究,主要的研究内容包括联合学习的实体识别和关系预测的模型的构建,以及基于倒排索引的实体链接和基于路径搜索的答案查找。针对简单问题的知识库问答中实体识别和关系检测这两个组件相互独立,且忽略了实体与关系之间的对应关系的问题,提出一种联合实体识别和关系预测的神经网络模型,采用CNN-BiLSTM-CRF识别问句中的实体,并将CNN-BiLSTM提取的文本特征与问题的标签嵌入特征组合之后进行关系预测,实体识别的F1值相比独立训练的方法提高了1.1%,关系预测的准确率提高了1.6%。为了快速地将问题中的主题实体链接到知识库中,减少复杂网络的训练难度,采用n-grams模型与TF-IDF的相结合进行特征抽取构建实体别名倒排索引,然后建立路径搜索索引进行答案的查找。在流行的SimpleQuestions数据集上分析并验证了所提方法的有效性,实体链接的召回率也有了显著提升,在测试集上问答系统的准确率最终提升了2.6%。
知识图谱构建的方法研究与应用
这是一篇关于知识图谱,图数据库,路径排序算法,关系预测的论文, 主要内容为知识图谱的特点是具有特定的关系结构,其可以非常便利的刻画现实生活中的本体知识、实例和实例之间存在的关联。图结构将网络上的资讯关联成人们所学习的知识,其是一种更优秀的组织和管理的解决方案。有限的使用场景和方法限制了知识图谱的大范围应用。目前行业领域知识图谱非常少,其次各个行业领域对知识图谱的理解、关注角度不同,因此建立的知识图谱很难融合,也为在其上的应用带来了困难。本文为研究构建行业知识图谱的方法,构建了地震领域知识图谱,并开发了一套基于Neo4j图数据库的知识图谱管理系统,然后在构建好的知识图谱上进行关系预测。为了实现地震领域知识图谱的构建、存储、可视化和应用,本课题做了以下研究工作:(1)构建地震领域知识图谱。讲述了构建地震领域知识图谱的详细步骤,首先构建本体,其中一些本体概念是通用的,此外还需要根据应用场景添加特有关系和概念,然后用专业机构提供的数据链接到本体网络。(2)基于地震领域知识图谱进行关系预测,对建立好的知识图谱进一步完善补充。对此本文介绍了一种适用于图结构的路径排序算法,通过将实体之间的关联路径作为特征,对所预测的关系进行打分,最后如果分数高于阈值,则指定关系作为预测结果。(3)基于地震知识图谱的应用,在建立好的知识图谱基础上进行地震建筑物震损预测。本章首先介绍了传统地震建筑物震损预测的步骤,然后针对其中的不足,提出了基于知识图谱和机器学习的方法。该方法避免了传统方法依赖于行业专家的经验水平并会耗费大量人力。(4)知识图谱管理系统的设计与实现。本章设计并实现了一款快速搭建知识图谱原型的软件系统,给出了整体的模块设计并且展示了构建好的地震知识图谱的可视化结果,最后证明了整个原型系统的可行性和实用性。
基于图神经网络的科技大数据的关系预测与推荐
这是一篇关于关系预测,推荐系统,知识图谱嵌入,图神经网络,科技大数据的论文, 主要内容为科技大数据作为一个国家和区域第一生产力和第一动力形成的基础性战略性资源,对从事科学研究的人员有着至关重大的意义。因此,研究科技大数据的关系预测与推荐对增强科技大数据的智能化管理和分析、促进科研合作以及提高科研成果产出有着重要意义。本文通过构建科技知识图谱来研究科技大数据中有价值的知识,运用知识图谱嵌入技术、知识推理技术以及推荐算法,借助多任务学习机制的思想和图神经网络框架对知识图谱的关系预测与推荐做了创新性研究。本文的主要研究工作如下:(1)基于图神经网络和多元关系学习的关系预测(GNNRC)为了解决现有关系预测模型所面临的计算复杂度高和可解释性差的问题,本文提出了GNNRC。首先,让Compl Ex模型与GNN学习任务各种单独训练,利用Compl Ex模型学习知识图谱中多元关系的嵌入。同时,在知识图谱封闭子图上利用图神经网络传递消息,并进行知识推理。然后,将二者后期阶段的预测评分进行集成。最后,将集成后的正负预测评分进行线性转换,以获取最终的预测评分,完成对知识图谱的关系预测。(2)基于多任务学习和图卷积神经网络的强化推荐(MLRR)为了解决传统推荐算法数据稀疏性问题以及实现针对不同用户给出不同推荐的智能化个性化推荐,本文提出了MLRR。首先,借助多任务学习机制的思想,通过桥接单元从知识图谱嵌入模型中获取推荐模块评分数据中项目的额外信息。然后,通过关系评分函数将知识图谱转换为目标用户的加权图。最后,利用GCN学习项目的嵌入表示以及计算用户的潜在兴趣偏好,很好地实现了智能化个性化的推荐。(3)基于科技大数据的推荐系统本文初步搭建了一个线下实际的应用系统——基于科技大数据的推荐系统,该系统的核心功能有知识分析、知识脉络查询、关联关系查询以及智能推荐,实现了智能语义搜索和智能推荐。该系统可以促进学术交流和科研合作,可以提高科研成果产出的数量和质量。
基于子图推理的知识图谱关系预测方法研究
这是一篇关于知识图谱推理,关系预测,子图构建,子图推理,图神经网络的论文, 主要内容为知识图谱作为一种结构化的语义表现形式,可以对现实世界中的实体、概念、属性以及它们之间的关系进行建模。知识图谱推理旨在从现有数据中通过知识推理,推导出实体之间的新关系。知识图谱推理对许多下游任务有着非常关键的作用,包括问答系统、推荐系统、搜索引擎等。鉴于知识图谱广阔的应用前景,对大规模知识图谱的知识推理研究成为近年来自然语言处理领域的一个研究热点。当前的许多研究工作主要将实体与关系映射到某个向量空间中,或者对实体之间的路径进行搜索来解决关系推理问题。这些方法虽然可以获取知识图谱中的关系特征,但都只考虑了单一路径或一阶相邻信息对关系推理的影响,忽视了广泛存在于实体之间的更复杂和高阶的相互关系,无法综合利用多条路径的丰富信息,对实体之间关系特征的捕获并不全面。针对上述问题,本文充分考虑多条路径包含的丰富信息,提出了一种新颖的基于子图的知识图谱关系推理方法Sub GLP(Sub Graph Link Prediction)。通过将多条路径构建成一个子图,然后使用子图推理来预测实体之间的关系,不仅可以带来推理能力的提升,还能缓解路径推理的误差累积问题,提高关系推理的可解释性,进而完成稳定高效的关系推理。模型首先将实体对之间的路径扩展为子图,然后结合图嵌入表示与图神经网络计算子图的高阶特征,最后从子图高阶特征中获取实体对的邻域结构信息,从而实现实体之间的关系预测。随后,针对Sub GLP存在的节点子图关系子图关联度不足的问题,将节点子图和边子图的学习从并行变为串行。在Sub GLP的基础上,提出了基于分层子图的知识图谱关系推理方法HSub GLP(Hierarchical Sub Graph Link Prediction),并在融合预测模块中加入注意力层,辅助进行实体对之间的关系预测。使用两个常用的知识图谱推理基准数据集进行了大量实验。实验结果表明,本文提出的Sub GLP模型优于现有的基准方法,而改进后的HSub GLP在关系推理的准确度方面有了进一步的提升,总体实验结果验证了本文提出的基于子图推理的知识图谱关系预测方法的有效性。
面向高铁运维领域的知识图谱补全算法研究
这是一篇关于知识图谱,知识图谱补全,实体预测,关系预测,深度学习的论文, 主要内容为目前通用领域的知识图谱(Knowledge Graph,KG)较为普及,但特定领域的知识图谱还需要不断发展,如高铁运维领域知识图谱能够为预防、应急、事后处理工作提供丰富的信息和技术支撑,前景广阔。知识图谱补全(Knowledge Graph Completion,KGC)技术对于高铁运维领域知识图谱的自动构建和验证是必要的,它是发现新知识的重要手段,广泛应用于知识图谱的高级任务。但目前针对高铁运维领域知识图谱补全的研究内容较少,将现有模型用于中文领域图谱补全工作还存在许多问题:(1)基于翻译的平移距离模型虽具有较强的可解释性,操作简单并且参数较少等优点,但会导致低质量的学习嵌入向量;(2)基于CNN的模型在一定程度上提升了翻译模型的性能,但其参数过多使得模型复杂性增加,对于大规模知识图谱来说可用性较差;(3)基于图神经网络结构的GNN模型虽从实体和实体附近的关系中聚合有效信息更新迭代中心实体的嵌入向量,但其具有显著缺点,即不区分关系的贡献重要程度,以固定参数学习不同关系信息。基于以上分析,本文针对现有模型的缺点提出一种基于实体关系交叉聚合的广义注意力补全模型,以高铁动车组关键部件牵引电机为例,研究中文领域下高铁运维中的知识补全问题,做出以下几个方面的改进和创新:(1)针对高铁运维领域数据信息较少问题,本文通过收集牵引电机故障信息构建了一个新的知识图谱数据集TMFD(具有牵引电机故障关系类型和修复策略的数据库),该数据集适用于高铁运维领域知识图谱相关研究。(2)本文提出新型关系消息传递机制,在知识图谱上轮流传递实体节点和关系边之间的关系聚合信息,以实现在与沿实体节点传播信息相同的计算复杂度情况下,减少存储实体嵌入的数量,提高存储效率,更符合知识流动的自然性,可解释性加强。(3)本文提出一种基于实体关系交叉聚合的广义注意力补全模型(Generalized attention entity relation cross aggregation completion model,GERCA),对给定中心实体增加了两种邻域拓扑:1)以实体的局部关系子图来表示实体本身,捕获实体更多邻域信息形成关系上下文信息;2)通过关系路径信息确定预测实体在知识图谱中的相对位置,解决关系类型在图谱上分布不均匀,而在空间上彼此相关的问题。经实验验证了GERCA在公开数据集与领域数据集上的先进性。
基于实体类型与路径信息的知识表示学习研究
这是一篇关于知识图谱,知识表示学习,实体类型,关系路径,实体预测,关系预测的论文, 主要内容为随着知识图谱在学术界和工业界的广泛研究和普遍应用,完善与更新知识图谱数据,提升知识图谱质量成为亟不可待的任务,知识表示学习作为知识图谱补全重要的上游技术越来越受到人们的关注。知识表示学习的目标是将知识图中实体和关系嵌入到向量空间中,使它们的语义关联以可计算的形式更好地表达。知识表示学习广泛应用于实体/关系预测与补全等场景。大多数知识表示学习模型基于图结构本身的实体/关系信息,如翻译模型、卷积/图神经网络模型等。一些已开发的模型还使用了补充的附加信息,如TKRL中的实体类型和PTrans E中的多步路径等。然而,这些模型也有各自的局限。例如,面对复杂的关系类型,嵌入的近似向量分布模糊;基于卷积/图神经网络的模型不能预测关系;关系/实体预测的准确性不够;当数据稀疏时,知识图谱补全质量下降等。针对以上问题,本文提出了集成实体和关系附加信息的知识表示学习方法(Integrating Entity and Relation Additional Information for Knowledge Representation Learning,简称IERAI)、融合实体类型和关系路径的知识表示学习研究(Integrating Entity Type and Relation Path Information for Knowledge Representation Learning,简称TP-KRL)和基于间接关系路径投影的知识表示学习方法(Indirect Relation based Path Projection,简称IRPP),在一定程度上解决了已有的知识表示学习方法存在的问题。本文主要研究工作如下:(1)为了同步提高关系和实体向量嵌入的质量,本文提出了集成实体和关系附加信息的知识表示学习方法IERAI。我们首先通过计算间接关系路径和直接关系的共现概率的大小对候选路径进行排序来过滤有效路径信息,接着利用直接关系选择实体类型信息,再对多源信息进行建模并联合训练。类型信息的融合可以减少实体表示的歧义,同时,有效的间接关系可以提高关系表示的精度。在FB15K和FB15K-1855(添加低频关系)数据集上的实验结果表明,IERAI能够有效提高实体与关系预测的质量,多种附加信息的融合一定程度上弥补了数据稀疏时嵌入不准确的问题。(2)提出了融合实体类型和关系路径的知识表示学习研究TP-KRL。基于对IERAI模型的进一步研究,我们发现除了直接关系,路径中的间接关系同样会对头尾实体的类型信息进行限制,并且在某些场景下,直接关系也无法确切选择实体对应的正确类型,此时只有路径中的间接关系可以确定。两步关系路径中的第一步关系会和直接关系共同限定头实体类型信息,第二步关系会和直接关系共同限定尾实体类型信息。于是我们进一步提出融合实体类型和关系路径的知识表示学习算法TP-KRL,在三元组缺失部分预测实验上的结果证明,TP-KRL对实体表示和关系表示的效果均有提升。(3)为了进一步利用关系路径的附加语义,本文提出了一种新的关系路径投影模型IRPP。我们对直接关系和关系路径均设置不同的投影空间,为降低算法复杂度,直接关系映射矩阵由向量乘法构建,关系路径空间的映射矩阵由多个直接关系映射矩阵组合得到。我们将每个实体投影到直接关系和间接关系路径的潜在空间中,利用平移近似原则构建联合得分函数和损失函数,在训练中学习实体与关系的分布式表示。实验结果证明IRPP有助于知识图谱的补全与推理。
基于知识图谱的情报关联分析方法研究
这是一篇关于知识图谱,关联分析,关系预测,RDF查询的论文, 主要内容为知识图谱是近几年提出的新兴技术,其概念一经推出,马上在学术界和工业界得到了广泛关注。由于知识图谱能够很好的表示知识之间的关联,因此将其应用于情报相关性分析领域也是一种必然,并且具有重要的现实意义。近些年针对知识图谱的研究中,面向知识图谱的关系挖掘和检索方法是研究的热点。特别是在大数据背景下,知识图谱中节点和关系的数量也是成指数级增长。如何更好的构建海量知识图谱,以及在大规模知识图谱上的挖掘分析一直是有待解决的难点。虽然学者提出了很多面向知识图谱的模型和方法,但都存在着计算复杂度过高、预测效果不佳等问题。因此,如何在海量知识图谱中进行有效的挖掘和分析,是当前研究的关键问题。本文针对情报知识图谱中关系推理和相关性分析两大任务,提出了改进的关系推理和关联性查询方法。在关系推理方面,本文针对传统方法在多关系预测方面的不足,采用了具有双向语义的无向图概率方法,来衡量关系路径的可靠性。并与嵌入式模型TransE联合构造关系推理方法。在关联性查询方面,本文提出了一种新颖的基于扩展的RDF知识图谱相关性检索方法。该方法思想在于使用关键词和权重扩展了原有RDF的表达方式,在权重的计算方法上考虑了数据分类对结果多样性的影响。并且在扩展的RDF知识图谱上提出了一种三元组相似度的查询松弛模型,相似度的计算采用一种语义重叠和图嵌入的混合评价方法。最后,利用三元组和关键词的权重对查询结果集进行排序,返回top-k个具有关联的查询结果。通过对比实验表明,本文提出的改进的关系推理模型在多关系预测方面,相对于以往的方法在预测准确率上有了明显提升。在关联性查询方面,其实验结果表明在召回率和准确率方面都有很好的提升。而且相对于传统的SPARQL查询,本文提出的方法克服了查询条件的限制,而且查询结果集具有较强的相关性和多样性。
基于知识图谱的关系预测与推荐算法研究
这是一篇关于知识图谱,对比学习,关系预测,偏好传播,推荐系统的论文, 主要内容为在当今互联技术高速发展之下,信息高度过载也随之而来,在海量数据面前,人们难以抉择自己想要的东西。针对此类问题,推荐系统应时而生。传统的推荐算法都面临着交互信息稀疏性和冷启动的问题,它们往往给不了一个令人满意的推荐效果。为了解决这样的问题,大量研究者将知识图谱与推荐系统相互结合,借助知识图谱中实体之间的高阶连通,从中捕获潜在的语义,进而提高推荐的性能。但如今的研究者并没有充分地研究知识图谱的结构信息,面对图谱中出现的新实体时,导致推荐精确度不高。同时,针对大多数算法忽略了知识图谱中实体之间的强协作信号和不同传播层对目标向量表示的不同影响。本文提出了相应的算法模型来解决上述问题:(1)在知识图谱冷启动的问题之上,即知识图谱中出现了新实体的情况下,不能利用先验知识去处理归纳学习以及监督学习不足的问题。因此提出基于BERT与路径对比学习的归纳关系预测的模型。首先,利用卷积神经网络捕获目标三元组子图的上下文邻域的结构信息,并且将以目标三元组为中心的封闭子图线性化并生成关系路径向量;接着,将关系路径输入到BERT中进行特征学习,生成正、负样本关系路径集合;最后,以知识图谱结构信息对比、正负关系路径集合对比和自监督学习三者联合训练进行关系预测。在适用于归纳关系预测的常用数据集上,成功提高了该模型的预测精度。(2)针对忽略了知识图谱中实体之间的强协作信号和不同传播层对目标特征表示的影响,提出了一种基于知识感知与多层结合的推荐算法。首先,加入知识图谱补全技术,进一步完备了图谱的结构信息;其次,以Ripple Net和KGCN两个经典模型为基础进行了融合改进,以端到端的两个视角去学习用户特征和项目特征。在用户表示阶段,以用户历史交互记录为基础,采用偏好传播的方式进行嵌入传播以表示用户向量。在项目表示阶段,对邻域聚合采用乘法聚合器不断聚合高阶邻域信息,强调了项目之间的强协作信号。在表征用户或者项目两个目标向量时,权衡地结合了各阶层学习到的用户或者项目表示;最后,使用这两个目标向量的乘积作为点击预测值。由对比和退化实验结果可知,该算法改善了推荐性能指标,同时在一定程度上缓解了数据稀疏性的问题。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈网 ，原文地址：https://bishedaima.com/lunwen/46254.html
