面向高铁运维领域的知识图谱补全算法研究
这是一篇关于知识图谱,知识图谱补全,实体预测,关系预测,深度学习的论文, 主要内容为目前通用领域的知识图谱(Knowledge Graph,KG)较为普及,但特定领域的知识图谱还需要不断发展,如高铁运维领域知识图谱能够为预防、应急、事后处理工作提供丰富的信息和技术支撑,前景广阔。知识图谱补全(Knowledge Graph Completion,KGC)技术对于高铁运维领域知识图谱的自动构建和验证是必要的,它是发现新知识的重要手段,广泛应用于知识图谱的高级任务。但目前针对高铁运维领域知识图谱补全的研究内容较少,将现有模型用于中文领域图谱补全工作还存在许多问题:(1)基于翻译的平移距离模型虽具有较强的可解释性,操作简单并且参数较少等优点,但会导致低质量的学习嵌入向量;(2)基于CNN的模型在一定程度上提升了翻译模型的性能,但其参数过多使得模型复杂性增加,对于大规模知识图谱来说可用性较差;(3)基于图神经网络结构的GNN模型虽从实体和实体附近的关系中聚合有效信息更新迭代中心实体的嵌入向量,但其具有显著缺点,即不区分关系的贡献重要程度,以固定参数学习不同关系信息。基于以上分析,本文针对现有模型的缺点提出一种基于实体关系交叉聚合的广义注意力补全模型,以高铁动车组关键部件牵引电机为例,研究中文领域下高铁运维中的知识补全问题,做出以下几个方面的改进和创新:(1)针对高铁运维领域数据信息较少问题,本文通过收集牵引电机故障信息构建了一个新的知识图谱数据集TMFD(具有牵引电机故障关系类型和修复策略的数据库),该数据集适用于高铁运维领域知识图谱相关研究。(2)本文提出新型关系消息传递机制,在知识图谱上轮流传递实体节点和关系边之间的关系聚合信息,以实现在与沿实体节点传播信息相同的计算复杂度情况下,减少存储实体嵌入的数量,提高存储效率,更符合知识流动的自然性,可解释性加强。(3)本文提出一种基于实体关系交叉聚合的广义注意力补全模型(Generalized attention entity relation cross aggregation completion model,GERCA),对给定中心实体增加了两种邻域拓扑:1)以实体的局部关系子图来表示实体本身,捕获实体更多邻域信息形成关系上下文信息;2)通过关系路径信息确定预测实体在知识图谱中的相对位置,解决关系类型在图谱上分布不均匀,而在空间上彼此相关的问题。经实验验证了GERCA在公开数据集与领域数据集上的先进性。
基于表示学习的少样本知识图谱补全方法研究
这是一篇关于知识图谱,少样本知识图谱补全,类型感知注意力,结构空间信息,实体预测的论文, 主要内容为随着互联网技术的发展与人工智能技术的不断进步,人类知识得以在网络中广泛传播,为了将杂乱繁多的知识进行有序整合,研究人员提出了知识图谱的概念。知识图谱一经提出,便引起了学术界和工业界的广泛关注,但随着知识图谱的不断发展,其存在的问题也逐渐暴露出来,即知识图谱存在缺失数据的情况,这些缺失的数据严重影响了知识图谱的完整性。知识图谱补全技术的出现很好地解决了这一问题,有助于完善知识图谱中的知识,提高知识图谱的完整性和质量,并促进人工智能的发展,但传统的知识图谱补全方法通常需要大量数据进行训练,在数据稀疏的情况下其性能表现不佳,因此,通过少量样本就能达到较好效果的知识图谱补全方法显得尤为重要。虽然国内外对于少样本知识图谱补全领域已有了一些研究工作,但仍存在一些问题亟待解决:(1)现有少样本知识图谱补全方法在处理复杂关系时,不能很好地区分邻居重要性;(2)这些方法在对实体邻居进行聚合的过程中,往往引入了与任务无关的噪声信息,对聚合的效果产生了不良影响。本文针对少样本知识图谱补全任务中存在的以上两个问题开展研究,并取得了以下成果:(1)提出了一种结合类型感知注意力的少样本知识图谱补全方法。该方法能够充分利用实体邻居信息,首先通过类型感知邻居编码器学习实体邻居中包含的隐含类型信息,得到类型感知注意力,增强实体表示;其次利用Transformer编码器捕获任务关系的不同含义;最后通过联合匹配原型网络聚合参考集得到参考集表示并进行实体预测。该方法在NELL和Wiki两个公共数据集上通过实体预测任务进行了实验验证,实验结果表明,该方法能够通过学习更丰富的实体邻居信息来有效提高少样本知识图谱补全的性能。(2)提出了一种融入结构空间信息的少样本知识图谱补全方法。该方法首先对实体进行k-means聚类,其次通过计算实体间的余弦相似度和杰卡德相似度得到实体在结构空间中的邻居集合,最后结合实体空间邻居和在知识图谱中的语义邻居,进一步对实体邻居聚合时的权重分配进行优化,为后续实体预测提供更有参考价值的实体表示。最终在NELL和Wiki数据集上进行实验验证,该方法进一步取得了具有可比性的结果。(3)基于以上两个研究点,搭建了基于B/S架构和Django框架的交互式知识图谱补全原型系统,将知识图谱可视化的同时,实现知识图谱补全功能,使用户能够以交互式方式,选择自己感兴趣的待预测事实的头实体和关系,并通过模型输出预测结果。
基于表示学习的少样本知识图谱补全方法研究
这是一篇关于知识图谱,少样本知识图谱补全,类型感知注意力,结构空间信息,实体预测的论文, 主要内容为随着互联网技术的发展与人工智能技术的不断进步,人类知识得以在网络中广泛传播,为了将杂乱繁多的知识进行有序整合,研究人员提出了知识图谱的概念。知识图谱一经提出,便引起了学术界和工业界的广泛关注,但随着知识图谱的不断发展,其存在的问题也逐渐暴露出来,即知识图谱存在缺失数据的情况,这些缺失的数据严重影响了知识图谱的完整性。知识图谱补全技术的出现很好地解决了这一问题,有助于完善知识图谱中的知识,提高知识图谱的完整性和质量,并促进人工智能的发展,但传统的知识图谱补全方法通常需要大量数据进行训练,在数据稀疏的情况下其性能表现不佳,因此,通过少量样本就能达到较好效果的知识图谱补全方法显得尤为重要。虽然国内外对于少样本知识图谱补全领域已有了一些研究工作,但仍存在一些问题亟待解决:(1)现有少样本知识图谱补全方法在处理复杂关系时,不能很好地区分邻居重要性;(2)这些方法在对实体邻居进行聚合的过程中,往往引入了与任务无关的噪声信息,对聚合的效果产生了不良影响。本文针对少样本知识图谱补全任务中存在的以上两个问题开展研究,并取得了以下成果:(1)提出了一种结合类型感知注意力的少样本知识图谱补全方法。该方法能够充分利用实体邻居信息,首先通过类型感知邻居编码器学习实体邻居中包含的隐含类型信息,得到类型感知注意力,增强实体表示;其次利用Transformer编码器捕获任务关系的不同含义;最后通过联合匹配原型网络聚合参考集得到参考集表示并进行实体预测。该方法在NELL和Wiki两个公共数据集上通过实体预测任务进行了实验验证,实验结果表明,该方法能够通过学习更丰富的实体邻居信息来有效提高少样本知识图谱补全的性能。(2)提出了一种融入结构空间信息的少样本知识图谱补全方法。该方法首先对实体进行k-means聚类,其次通过计算实体间的余弦相似度和杰卡德相似度得到实体在结构空间中的邻居集合,最后结合实体空间邻居和在知识图谱中的语义邻居,进一步对实体邻居聚合时的权重分配进行优化,为后续实体预测提供更有参考价值的实体表示。最终在NELL和Wiki数据集上进行实验验证,该方法进一步取得了具有可比性的结果。(3)基于以上两个研究点,搭建了基于B/S架构和Django框架的交互式知识图谱补全原型系统,将知识图谱可视化的同时,实现知识图谱补全功能,使用户能够以交互式方式,选择自己感兴趣的待预测事实的头实体和关系,并通过模型输出预测结果。
基于时序信息和统计信息的动态知识图谱推理
这是一篇关于动态知识图谱,知识图谱推理,时序信息,统计信息,实体预测的论文, 主要内容为知识图谱是实体和关系组成的拓扑结构网络,它可以结构化表示现实世界中的知识。动态知识图谱是在经典知识图谱中加入了时间维度信息,在动态知识图谱上做实体或关系预测,属于知识图谱推理的方向之一,在推理中既要预测可能出现的实体也要预测实体对之间可能出现的关系。依据以往对动态知识图谱的研究,为了提升对动态知识图谱的推理能力,本文提出了一种基于时序信息和统计信息的动态知识图谱推理模型。模型考虑了动态知识图谱中事件的时序性和动态性,还把事件的历史统计信息考虑到了对知识图谱的推理中。对于动态知识图谱推理问题,本文提出的模型主要分为了三个模块,分别是时序信息预测模块、统计信息预测模块和事实预测模块。时序信息预测模块是基于动态知识图谱中事件的时序性和动态性进行推理;其中有三个部分,第一部分是聚合器,模型选用的是RGCN作为聚合器,RGCN可以聚合目标实体周围所有关系下的邻近信息,包括聚合目标实体作为主体和客体的邻近信息。第二部分是编码器,为了对知识图谱中的事件有更好的时序编码,本文选用的是LSTM作为编码器,它可以对聚合信息进行时序编码获得事件之间的时序相关性。第三部分是解码器,解码器的功能是对编码信息进行特征提取和多分类预测,得到待预测实体的概率。统计信息预测模块对于给定(s,r,?,t)任务进行实体o预测的问题,首先是在距离当前时刻前m个时间戳下,统计满足(s,r,?)条件下实体o的信息,然后基于统计的历史信息,进行实体o的预测。事实预测模块在得到基于时序信息预测和统计信息预测的预测结果后,为了对(s,r,?,t)有更准确的预测,对于两个模块的预测结果进行加权融合,获得待预测实体o的最终概率。因为RGCN作为聚合器会聚合目标实体周围所有关系下邻近信息,把目标实体作为客体的信息也进行聚合,那么这部分信息就可能对模型的推理造成影响。为了减少聚合信息中可能的干扰信息,本文提出使用邻近向量均值聚合器代替原有的RGCN聚合器,邻近向量均值聚合器只聚合以目标实体为主体的邻近信息,会让聚合的信息更加准确。实验证明,本文提出的模型通过结合事件时序信息和统计信息,并加权融合两种推理方式的预测概率,让模型在动态知识图谱推理上有了更好的效果。在部分数据集中,使用邻近向量均值聚合器由于减少了聚合信息中的干扰信息,让其获得了更好的推理结果。
基于时序信息和统计信息的动态知识图谱推理
这是一篇关于动态知识图谱,知识图谱推理,时序信息,统计信息,实体预测的论文, 主要内容为知识图谱是实体和关系组成的拓扑结构网络,它可以结构化表示现实世界中的知识。动态知识图谱是在经典知识图谱中加入了时间维度信息,在动态知识图谱上做实体或关系预测,属于知识图谱推理的方向之一,在推理中既要预测可能出现的实体也要预测实体对之间可能出现的关系。依据以往对动态知识图谱的研究,为了提升对动态知识图谱的推理能力,本文提出了一种基于时序信息和统计信息的动态知识图谱推理模型。模型考虑了动态知识图谱中事件的时序性和动态性,还把事件的历史统计信息考虑到了对知识图谱的推理中。对于动态知识图谱推理问题,本文提出的模型主要分为了三个模块,分别是时序信息预测模块、统计信息预测模块和事实预测模块。时序信息预测模块是基于动态知识图谱中事件的时序性和动态性进行推理;其中有三个部分,第一部分是聚合器,模型选用的是RGCN作为聚合器,RGCN可以聚合目标实体周围所有关系下的邻近信息,包括聚合目标实体作为主体和客体的邻近信息。第二部分是编码器,为了对知识图谱中的事件有更好的时序编码,本文选用的是LSTM作为编码器,它可以对聚合信息进行时序编码获得事件之间的时序相关性。第三部分是解码器,解码器的功能是对编码信息进行特征提取和多分类预测,得到待预测实体的概率。统计信息预测模块对于给定(s,r,?,t)任务进行实体o预测的问题,首先是在距离当前时刻前m个时间戳下,统计满足(s,r,?)条件下实体o的信息,然后基于统计的历史信息,进行实体o的预测。事实预测模块在得到基于时序信息预测和统计信息预测的预测结果后,为了对(s,r,?,t)有更准确的预测,对于两个模块的预测结果进行加权融合,获得待预测实体o的最终概率。因为RGCN作为聚合器会聚合目标实体周围所有关系下邻近信息,把目标实体作为客体的信息也进行聚合,那么这部分信息就可能对模型的推理造成影响。为了减少聚合信息中可能的干扰信息,本文提出使用邻近向量均值聚合器代替原有的RGCN聚合器,邻近向量均值聚合器只聚合以目标实体为主体的邻近信息,会让聚合的信息更加准确。实验证明,本文提出的模型通过结合事件时序信息和统计信息,并加权融合两种推理方式的预测概率,让模型在动态知识图谱推理上有了更好的效果。在部分数据集中,使用邻近向量均值聚合器由于减少了聚合信息中的干扰信息,让其获得了更好的推理结果。
基于实体感知的医疗对话生成算法研究
这是一篇关于医疗对话生成,实体预测,知识图谱的论文, 主要内容为近年来,医疗对话系统在学术界和工业界受到广泛关注。本论文研究医疗对话系统的子任务医疗对话生成技术,旨在提高系统性能,优化医患体验。现有研究通常引入实体概念表示专业词汇,并引入实体预测和实体感知的对话生成框架以提高自然性和可靠性,但现有方案存在以下局限性:(1)实体预测模型通过知识图谱引入的实体间关系不足,且容易引入大量噪声,且模型未能充分利用对话上下文关系。(2)在生成对话时未充分发挥实体作用,导致信息损失严重。为了解决上述问题,本论文基于真实医疗对话数据集,针对性的设计了独特的知识图谱引入、实体预测和增强的对话生成算法,具体贡献如下:(1)知识图谱引入和实体预测算法:首先,利用Word2Vec学习实体表征之间的相关性,以增强图谱中疾病及其它实体之间的相关性,去掉图谱中不重要的边,减少与对话无关的图谱内容的干扰。其次,改进了现有的GEML实体预测模型,增加了第一层图注意力网络用以捕捉句子之间的关系,并在第二层图注意力网络中引入了整个对话的信息。实验表明:上述两个方法有效地改进了实体预测的准确率。相对于现有算法,F1 Score提高了22.4%。(2)实体增强的对话生成模型:首先,提出了一种实体和对应句子相互重构的预训练方式来增强实体的作用。然后,生成对话时使用时序模型来捕捉实体和对应类别在对话过程中出现的规律,并使用注意力机制来关注重要信息,在与历史对话信息融合后得到实体增强的对话生成模型。实验表明:上述两个方法使生成的对话在自然性和可靠性上都有提高。相比于现有模型,在BLEU-1和BLEU-2上分别提升63%和100%,在Distinct-1和Distinct-2上分别提升71%和129%。本文最后介绍上述模型在景区流量预测中的应用。研究发现:实体预测模型的核心是利用实体之间的关系及它们与对话上下文关系(这些关系可以用图模型来描述)来进行预测,与景区流量预测相通。因此,本文提出关系增强的景点流量预测。具体来说,在利用景点历史流量的相关性和因果性进行建图之后,充分利用景点间关系及其流量时间依赖性,以准确预测景点流量,解决现有方法难以描述不相邻景点间的相关性及数据稀疏的问题。在真实数据集上的实验结果表明,本文提出的算法比现有算法获得了更高的流量预测准确性:相较基线方法,NRMSE改进了2.089%。本文提出的基于实体感知的医疗对话生成系统,有助于提升医疗对话生成的自然性和可靠性,具有广泛应用前景。图34幅,表7个,参考文献56篇。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头 ，原文地址：https://bishedaima.com/lunwen/56157.html
