面向金融知识图谱的推理方法的研究与实现
这是一篇关于知识推理,知识图谱,表示学习,负采样的论文, 主要内容为金融领域在长期发展过程中积累了海量大数据,构建一个具有较强语义理解能力的金融知识图谱则能够充分利用金融大数据的价值,挖掘其中的隐含信息,为金融业务提供帮助。知识图谱虽然以三元组形式存储了大量的知识,但同时也存在着事实缺失的问题,因此利用知识图谱中已经存在的实体、关系或事实信息来推理预测实体间的新关系,亦即知识推理,是目前知识图谱研究领域的重要组成。本文工作起始于金融知识图谱的构建,为了提升图谱的完备性,研究了面向金融知识图谱的知识推理方法。首先,本文根据金融领域数据知识专业、内容丰富、来源广泛的实际特点,设计了一种自顶向下和自底向上相结合的金融知识图谱构建方法,通过模式层指导数据层的构建,利用数据层的内容反哺模式层,补充本体的缺失。本文以此方法构建了一个具备金融机构股权知识与同业关系知识的中文金融知识图谱,支撑金融领域股权穿透与同业关系研究。其次,本文注意到目前的知识推理算法研究中存在两个挑战,分别是:如何使算法在利用知识图谱结构信息的同时,能够利用大规模文本数据中的上下文信息;如何缓解在算法模型训练过程中出现的负采样三元组低质量和假阴性问题。在这样的背景下,本文提出了联合分布式表示学习与预训练语言模型的知识推理算法,并在此基础上提出了引入生成对抗网络增强三元组负采样的知识推理算法。分布式表示学习能够较好学习知识图谱的结构信息,预训练语言模型由于强大的特征捕捉能力能够较好地学习大规模文本数据中的语义信息,二者联合训练有利于应对第一点挑战;通过生成对抗网络中生成器与判别器的对抗性学习,第二点挑战也能够应对。最终本文得到了融合结构与语义信息的对抗学习模型ScKGAN,实验表明,该模型具有良好的知识推理效果。本文在金融知识图谱上应用这一算法并以此为基础实现了一个原型系统,为用户提供图谱查询与推理结果质量评估的功能。
基于图注意力网络的链接预测方法研究
这是一篇关于知识图谱,链接预测,图注意力,负采样的论文, 主要内容为知识图谱以强大的知识表达能力广泛地应用于信息检索、自然语言理解、推荐系统等领域。但知识图谱的不完整性会带来搜索结果不全面、准确性不足以及应用领域受限等问题使得链接预测成为知识图谱扩充和完善的重要方法。在最近研究中,基于图注意力网络模型由于具备较好的局部与全局信息的捕获能力,在链接预测上取得不错的效果,但仍存在初始化阶段实体和关系缺失语义信息、解码阶段忽略三元组的结构特征和负样本集中混入低质量负样本的问题。本文针对上述问题进行研究,主要工作如下:(1)针对初始化阶段实体和关系缺失语义信息的问题,提出了一种使用预训练语言模型编码实体和关系描述信息的方法,该方法保证初始化阶段实体和关系嵌入表示的唯一性,并从实体和关系的描述信息中提取出语义信息,丰富实体和关系初始化阶段的嵌入表示;针对解码阶段忽略三元组结构特征的问题,提出一种基于CNN的解码器,把三元组的嵌入表示拼接成矩阵,再对其进行卷积和池化,保留了三元组的结构特征和重要的嵌入信息。在编码阶段,提出一种基于多头注意力机制的编码器,通过聚合带有权重的邻接实体和关系的嵌入表示,使得目标节点获得更多重要信息。(2)针对负样本集中混入低质量负样本的问题,提出两种负采样优化方法来解决混入低质量负样本的问题。一种是使用基于对抗学习的负采样优化方法,通过判别器和生成器获取高质量的负样本集;另一种是基于缓存的负采样优化方法,设计了一种可以从简单样本到复杂样本学习的缓存机制,并对缓存进行采样和更新,就能从缓存中获取到高质量的负样本集合。(3)知识图谱链接预测系统的设计与实现。通过对链接预测方法的研究,设计开发了知识图谱链接预测系统,并在汉语框架网CFN(Chinese Frame Net)数据集上进行验证。在实现数据导入、导出、可视化、节点和关系增删查改等基本功能基础上,将链接预测方法应用在CFN框架关系预测任务上,实现了对潜在的框架关系的发现。该系统的实现,有利于对CFN数据集的管理及维护,并为CFN知识库的完善提供技术支撑。
面向复杂关系的水产医学知识图谱补全研究
这是一篇关于水产医学,知识图谱补全,混合卷积,负采样,混合正负例信息的论文, 主要内容为水产动物疾病是影响水产健康养殖的重要因素,有效的疾病防治需要完备的水产医学相关知识作为支撑,而知识图谱是水学产医学相关知识表示及应用、实现水产健康养殖的有效手段,图谱补全技术又是提升水产医学知识图谱构建质量的关键。然而在对水产医学知识图谱补全过程中,水产医学相关数据存在稀疏、关系复杂等特点,造成因水产医学知识图谱同类实体语义辨析度低、语义特征不显著等导致水产医学知识图谱复杂关系补全准确率不高的问题,进一步研究发现,补全过程中使用现有方法获取的负例三元组质量较低,影响对图谱中复杂关系的补全效果,为解决上述问题,本文开展引入混合卷积、正负例三元组信息的面向复杂关系水产医学知识图谱补全研究,具体研究内容及创新如下:(1)基于混合卷积(Translating on Hyperplanes+Hybrid Convolution Aquatic Medicine,Trans H+HConv AM)的水产医学知识图谱补全方法。针对水产医学知识图谱因同类实体语义辨析度低、语义特征不显著等导致复杂关系补全准确率不高的问题,提出一种水产医学知识图谱补全方法。为增强同类实体的语义辨析度,采用Trans H作为嵌入模型,通过拆分实体与关系间的向量平面,增强同类实体的语义辨析度;为避免仅用Trans H造成语义特征不明显问题,引入混合卷积思想,通过扩大头尾实体与关系间的交互面积,增强实体关系间的局部交互以及三元组的全局交互,从而提升图谱中复杂关系的补全效果。为验证所提出方法的有效性设计了对比实验,实验结果表明,该方法的MR、MRR、Hit@10值分别为674、0.339、0.361,都优于补全效果较好的Conv R模型。研究表明,该模型能有效解决因复杂关系而导致的图谱补全效果较差问题,并提高水产医学知识图谱的构建质量,为实现智能化水产养殖、提升健康养殖智能化程度提供了技术支撑。(2)混合正负例信息的水产医学知识图谱补全负采样方法。针对水产医学知识图谱补全负采样过程中存在负例三元组质量较低、复杂度高等问题,提出一种应用于水产医学知识图谱补全的负采样方法。为降低负采样过程中复杂度,先利用K-Means聚类算法将各类水产医学实体分簇,后以不同概率来抉择替换头或尾实体,一定程度提高获取负例三元组效率。为解决所获负例三元组质量较差问题,引入混合操作,采用评分函数评分获取高质量负例三元组,再向其注入正样本信息进行混合操作,生成更高质量负例三元组,提高采样负例三元组质量。为验证所提出方法的有效性设计了对比实验,实验结果表明,该方法的MR、MRR、Hit@10值分别达到了489、0.494、0.524,都优于负采样效果较好的Mix KG模型。研究表明,该模型能有效解决负采样过程中负例三元组质量较低、复杂度高等问题,并提高水产医学知识图谱补全效率,为实现智能化水产健康养殖提供了技术保障。
面向知识图谱嵌入的负采样方法研究
这是一篇关于知识图谱嵌入,负采样,生成对抗网络,注意力,推荐系统的论文, 主要内容为随着信息技术和互联网的快速发展,数据资源越发丰富,且数据间的关联也更加复杂多变,仅仅依靠简单文字匹配的信息服务已经难以满足用户需求,知识图谱(Knowledge Graph)应运而生。知识图谱不仅可改良信息服务,其蕴涵的丰富语义关联信息,在知识问答、辅助推理、个性化推荐等领域也表现出重要的应用价值。作为图谱表示的关键技术,知识图谱嵌入(Knowledge Graph Embedding)是将其应用于下游任务的重要前提,学术界提出各种创新模型来提升嵌入效果。但由于知识图谱实体数目庞大,目前在嵌入模型训练中广泛使用的随机负采样效率低下,且容易产生梯度消失和过拟合。为解决上述问题,本文基于生成对抗网络(Generative Adversarial Networks,GAN),充分挖掘实体关系的标签语义,开展了面向知识图谱嵌入模型的负采样方法研究。完成的主要工作如下:(1)现有的嵌入模型缺乏有效的负采样方法,这影响了模型的训练效果;同时,知识图谱中的关系包含丰富的语义信息,但现有嵌入模型对该信息挖掘不够深入。针对这些问题,本文从对关系标签建模的角度,提出一个基于GAN的知识图谱嵌入负采样算法NSGAN,对嵌入模型进行优化。NSGAN分为生成器和判别器两个部分,生成器首先对关系嵌入进行抽象聚类,得出关系标签;随后使用多头注意力机制,自适应地衡量生成的负样本在面对不同的头/尾实体时,蕴涵的关系标签的权重,最终生成假阳性关系向量,并基于该向量从知识图谱中采样出一批负样本实体,用于更新作为判别器的知识图谱嵌入模型。在NSGAN整体训练流程上,是进行初始化嵌入后,以交替更新生成器和判别器的方式进行联合训练。(2)进一步地,本文在NSGAN的基础上,将其扩展到知识图谱应用的重要领域——推荐任务中,提出了一个基于知识图谱嵌入负采样优化的推荐模型NSGAN-RS。该模型首先通过用户项目交互二部图中项目与知识图谱中实体的重叠部分构建了协同图谱,并使用NSGAN优化的Trans R模型对协同图谱进行嵌入表示;在推荐模块中,对目标用户项目采用注意力机制加权并聚合它们的邻域信息得出推荐表示,再将推荐表示和原始嵌入表示进行拼接,进行目标用户对目标项目的偏好值预测。NSGAN-RS模型同样对嵌入损失和推荐损失进行交替优化。(3)在Word Net、Freebase和Amazon-book等多个数据集上进行了详细的对比实验,结果表明,NSGAN优化后的知识图谱嵌入模型均有性能上的提升,且表现优于当前的负采样算法。在下游任务中,NSGAN-RS模型与基线算法的对比实验以及消融实验也进一步验证了NSGAN良好的泛化性能。
基于知识图谱和图卷积网络的推荐算法研究
这是一篇关于知识图谱,推荐系统,特征交叉,麻雀算法,短期偏好,负采样的论文, 主要内容为随着社交媒体的快速发展,个性化推荐系统针对用户对物品的偏好进行建模,可以为用户有效解决互联网时代带来的信息过载问题。传统的推荐算法只对有限的用户历史信息进行分析,存在着严重的数据稀疏问题。知识图谱是一种将现实世界的实体、概念、属性及其之间的关系用图形化的方式进行描述的知识表示模型。近来有许多学者在推荐系统中引入知识图谱对用户的兴趣进行建模,通过挖掘知识图谱中用户与交互项目之间的多跳关系(即路径),提取隐含的用户偏好和其他辅助信息,可以帮助系统更准确地学习用户与项目的相似性,提高推荐精度。但是,现有的基于知识图谱的推荐系统未能充分利用图谱的全局信息来对用户兴趣进行建模,且大多只是对用户的长期兴趣进行学习,忽略了时间因素对用户兴趣的影响。多数基于知识图谱的推荐模型通过计算用户和关系之间的分数得到固定大小的实体邻域结构,不能充分利用知识图谱中的全局信息;且以相同的权值对实体的邻居节点进行聚合,没有考虑到目标实体对不同采样邻居的偏好不同。针对这两个问题提出了融合邻居节点重要度采样和特征交叉池化的图卷积推荐模型。首先,通过融合邻居节点的分数和其中心性感知分数得到邻居节点重要度;然后,引入特征交叉池化层来对目标实体向量和邻域向量进行特征交叉后聚合,得到最终的实体特征表示;最后,使用改进的麻雀算法优化图卷积网络的超参数。在3个数据集上对模型的推荐性能进行验证,结果表明,模型的AUC、Recall和F1指标相比于基线模型均取得了有效的提升。针对现有基于知识图谱的推荐模型仅对用户的长期兴趣进行建模,忽略了短期偏好对用户未来需求的影响,导致最终学习到的用户兴趣不准确的问题,提出了一种融合相似性负采样和用户短期偏好的推荐模型。首先,使用k-means算法将相似向量进行聚类,在每个簇中选择与正样本相似度较高的样本作为负样本,提高负采样的效果。然后,使用图卷积网络来对用户近期交互的K个序列进行特征提取,得到相应的用户和项目特征向量表示,输入到双向门控循环单元中去学习用户的短期兴趣。最后,引入注意力机制对不同短期偏好赋予不同的权重,提高对用户偏好建模的准确性。在3个数据集上对模型性能进行验证,相比于基线模型,在AUC、Recall和F1指标上都有所改善。
知识表示学习中考虑基数约束的筛选方法
这是一篇关于知识图谱,知识表示学习,链接预测,负采样,基数约束的论文, 主要内容为知识图谱(Knowledge graphs,简称KG)是一种表达实体之间关系的语义网络,用节点表示实体,方向表示实体之间的关系,常常表示为三元组的形式,即(头实体,关系,尾实体),记为(?,,)。近年来,知识图谱已经被广泛应用于人工智能(AI)的各个领域。但是,由于现实中的知识是随着时间不断扩大的,知识图谱的补全也是一个动态的过程。所以说,知识图谱缺失大量的三元组,通常是不完备的。知识表示学习方法,将知识图谱中的实体和关系嵌入到稠密低维实值向量中,可以有效地预测知识图谱中缺失的三元组。知识图谱中通常只存储正三元组,然而,负三元组在知识表示学习中同样至关重要。通常情况下,采用随机负采样的方法生成负三元组,但生成的负三元组大多数为简单的三元组,一段时间后,对知识表示学习方法的训练贡献变小,甚至几乎没有贡献。为了缓解这一问题,有研究者提出了基于对抗性学习的负三元组筛选方法——KBGAN筛选方法,可以自动生成高质量的负三元组。但是,该方法存在严重的“假负例”的问题,所谓“假负例”,是指通过筛选方法生成的负三元组实际上是知识图谱已经存储的正三元组。“假负例”的过度训练,会影响训练得到的知识表示学习模型。同时,KBGAN筛选方法没有针对三元组的关系类型进行区分,不同关系的三元组,生成“假负例”的比例是不同的。针对上述问题和现象,本文为知识表示学习的负三元组筛选方法提出了一种针对不同关系类型采取不同的筛选策略的方法——考虑基数约束的筛选方法ECCS。具体工作如下:首先,本文提出一个判定三元组类型的方法,对知识图谱训练数据集中的三元组进行关系类型的判定和分类,并将类型信息标记在三元组数据中;随后,本文提出了两种不同的考虑基数约束的筛选的方法,ECCS-T方法和ECCS-S方法。ECCS-T方法的基本思想是通过自动调节概率分布,使得最可能的“假负例”的概率值降低,从而降低“假负例”被筛选出来的可能性;ECCS-S方法的基本思想是增加一个筛选器,通过筛选器,剔除掉最可能的“假负例”,以缓解筛选出的负三元组为“假负例”的问题。在FB15k237、WN18、WN18RR三个数据集上分别将本文提出的知识表示学习中考虑基数约束的筛选方法——ECCS方法和KBGAN方法进行对比实验。结果表明,ECCS方法在一定程度上缓解了“假负例”的过度训练问题。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设港湾 ，原文地址：https://bishedaima.com/lunwen/47825.html
