基于融合多源信息的知识图谱表示学习研究
这是一篇关于知识图谱,表示学习,文本信息,图注意力网络的论文, 主要内容为知识图谱以结构化三元组的形式将世界知识组织成知识网络,这种结构化的知识网络蕴含着大量有用的信息。表示学习旨在学习知识图谱中实体和关系的向量表示,以实现在具体任务场景中的应用。虽然已有很多方法被提出,但仍存在一些问题,一方面受限于知识图谱中有限的结构化数据,数据较为稀疏;另一方面大多数模型表达能力有限,没有充分利用知识图谱的潜在信息。在表示学习中引入实体的文本描述信息。利用文本中实体的关联词嵌入,生成基于文本信息的表示,同时学习知识图谱的三元组结构表示,联合训练两种表示。考虑了两种不同形式的文本数据,第一种情况有以实体为主题的文本,通过文本中实体关联词向量的加权和生成实体基于文本信息的嵌入,根据关系的不同为关联词设置不同权重。第二种情况,实体名称以单词或短语的形式出现在非结构化语料库中,利用实体名称的词向量合并结构信息嵌入。实验表明,与仅利用三元组结构信息的模型相比,在链接预测和三元组分类任务上有更好的效果。构建融合知识图谱图结构信息的模型,模型由编码器和解码器组成。编码器通过聚合邻居的嵌入和关系感知的全局图结构为每个实体生成新的嵌入,邻居信息的权重由图注意力网络决定。通过与Trans E或Dist Mult结合,编码器不需要引入其他参数就能优化模型。构建了两种卷积神经网络解码器,通过多个不同形状的滤波器或根据关系生成的滤波器,在保留编码器特征的同时捕捉源实体和关系嵌入之间的更多交互,以实现和目标实体的匹配计算。实验结果表明,利用图结构信息的模型在各个任务上均取得了更好的效果,通过消融实验证明了模型各部分的作用。图28幅;表16个;参52篇。
面向知识图谱的知识表示学习算法研究
这是一篇关于知识图谱,知识表示学习,文本信息,链接预测,三元组分类的论文, 主要内容为知识图谱自2012年被提出后得到了迅猛的发展,作为一种新型的知识存储结构,已成为人工智能三大分支之一,是重要的知识支柱。知识图谱可以有效地组织和表示知识,随着智能应用的不断发展,知识图谱在智能搜索和个性化推荐等领域得到了广泛应用。知识图谱是一个多关系有向图,通常以网络的形式表示知识,节点表示实体,边表示实体间的关系,这种以符号逻辑为基础进行知识表示,其特点是易于刻画离散、显性的知识,具有较好的可解释性,但仍有许多不能用符号来刻画连续、隐形的知识,且存在计算效率低、数据稀疏等问题。随着深度学习的快速发展,表示学习技术在知识表示领域取得了巨大成功,知识表示学习技术旨在将知识图谱中的实体和关系映射到稠密低维向量空间中,通过对实体和关系进行表示学习,能够解决传统表示方法面临的数据稀疏、知识推理困难等问题。尽管研究人员针对不同问题提出了不同解决方法,但仍存在一些问题需要解决。一方面,在知识图谱中,一种关系可能存在多种语义,需要对关系进行更细粒度的划分。另一方面,翻译系列模型常常只关注三元组自身结构,孤立地表示每个三元组,未考虑三元组以外的其他信息,如文本描述信息、图像信息等都可以作为三元组嵌入结构向量的语义补充。基于以上两个问题,本文提出以下两个解决方案:(1)针对现有的方法不能很好的解决一种关系存在多种语义问题,提出Trans DTM模型,引入动态映射矩阵的思想,对于头实体和尾实体分别引入两个映射矩阵,来解决关系的多语义问题;为了改变原有的翻译原则,引入动态翻译策略,使翻译原则更灵活;此外,在模型训练时,选用适合该模型的抽样策略,使数据集中尽可能多的实体参与到训练中。具体来说,对于1-N的关系,以更高的概率替换头实体;对于N-1的关系,以更高的概率替换尾实体。同时,利用关系的上下文,提高三元组的置信度。最后在WN18、WN11、FB15K和FB13四个数据集上进行实验验证,实验结果显示,Trans DTM模型与其他基线模型相比在链接预测和三元组分类实验任务中都具有更好的性能优势。(2)传统的表示学习模型常常只关注三元组自身结构,孤立地表示每个三元组,未考虑三元组以外的其他信息,如文本描述信息、图像信息等都可以作为三元组嵌入结构向量的语义补充。针对上述问题,为了增强知识表示能力,提出一个融合文本描述信息和层次类型信息的知识表示学习模型ETLKRL,通过融合三元组自身结构、文本描述和层次类型,充分利用KG以外的信息,提高知识表示和知识推理的准确性和可解释性,解决了外部信息利用不足等问题。为了融合文本描述信息和层次类型信息,使用卷积神经网络引入文本描述信息并从文本描述中提取可靠的特征信息;使用基于注意力机制卷积神经网络,通过为相关文本分配权重,从文本句子中提取有效信息,从而获得区分度高、语义准确度更好的关系向量表示;使用加权层次类型编码器来构造层次类型投影矩阵,并使用特定于关系的类型约束来投影实体。在WN18、WN18RR、FB15K、FB15K-237和YAGO3-10四个数据集上进行链接预测和三元组分类等实验,结果表明,ETLKRL模型与基线模型相比在两项实验任务中具有更明显的优势,能处理外部信息利用不足问题,并具有一定的可扩展性。
联合图上下文和文本信息的知识表示学习方法研究
这是一篇关于知识图谱,知识表示学习,图上下文,文本信息,关系依赖的论文, 主要内容为知识图谱已成为机器学习、数据挖掘和人工智能应用中许多任务的关键资源。典型的知识图谱通常是一个多关系有向图,由一组关系三元组(头实体、关系、尾实体)组成,其中关系表示这两个实体之间的关系。在过去的几十年里,在构建大规模知识图谱方面取得了巨大的进展,然而,它们大多是协同或半自动构建的,往往存在着不完整性和稀疏性,仍然需要进行知识图谱补全。知识表示学习是通过机器学习等方法将知识图谱中的实体和关系蕴含的语义信息嵌入到低维向量空间中来实现知识图谱的推理和补全。近年来,许多的知识图谱表示学习模型,大都是采用了两方面的数据来源:一方面是知识图谱中基于三元组形式组成的结构数据,另一方面是与知识图谱中实体相关的文本或者图像信息。通过对这些模型的研究,发现其中仍存在一些关键性问题——知识图谱可以看作是一个由顶点(即实体)和有向边(即关系)组成的有向图,而大多数现有方法只考虑单个三元组的信息,忽略了更多的全局信息,例如多步路径、给定顶点的k度邻域等图上下文信息;还有很多模型在文本描述上同样取得了很大成功,但对文本描述的处理和结构表征与文本表征的组合方法这些问题上,尚未得到很好的研究;同时,文本描述可以从各个语义方面代表一个实体,而各种关系应该只关注文本中与之相关的语义信息,因此,模型应该根据一定的上下文关系从文本描述中选择特定的信息。本文针对以上问题,提出了两个相关模型:基于图上下文的知识表示学习模型Context_RL,联合结构信息和文本信息的语义向量空间投影模型SVSP。(1)模型Context_RL将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入,通过计算实体和关系的语义相似度,将图上下文信息融入向量表示中,在语义的层面上提高知识图谱表示学习的能力。(2)模型SVSP采用了更加合理的文本预处理方法,通过关系依赖分离实体文本描述的不同方面语义信息,同时,为了更好的平衡结构特征和文本特征的损失,将三元组的结构化语义向量表示投影到文本语义向量上,得到更精确的语义向量表示,从而进一步提高模型在知识图谱的表示学习能力。最后,为了验证上述两个模型的有效性,在有关数据集上进行了实体预测、关系预测和三元组分类的实验和分析。实验结果表明,模型有效利用了图上下文和文本描述的语义信息,提高了知识图谱表示学习的能力。
面向知识图谱的知识表示学习算法研究
这是一篇关于知识图谱,知识表示学习,文本信息,链接预测,三元组分类的论文, 主要内容为知识图谱自2012年被提出后得到了迅猛的发展,作为一种新型的知识存储结构,已成为人工智能三大分支之一,是重要的知识支柱。知识图谱可以有效地组织和表示知识,随着智能应用的不断发展,知识图谱在智能搜索和个性化推荐等领域得到了广泛应用。知识图谱是一个多关系有向图,通常以网络的形式表示知识,节点表示实体,边表示实体间的关系,这种以符号逻辑为基础进行知识表示,其特点是易于刻画离散、显性的知识,具有较好的可解释性,但仍有许多不能用符号来刻画连续、隐形的知识,且存在计算效率低、数据稀疏等问题。随着深度学习的快速发展,表示学习技术在知识表示领域取得了巨大成功,知识表示学习技术旨在将知识图谱中的实体和关系映射到稠密低维向量空间中,通过对实体和关系进行表示学习,能够解决传统表示方法面临的数据稀疏、知识推理困难等问题。尽管研究人员针对不同问题提出了不同解决方法,但仍存在一些问题需要解决。一方面,在知识图谱中,一种关系可能存在多种语义,需要对关系进行更细粒度的划分。另一方面,翻译系列模型常常只关注三元组自身结构,孤立地表示每个三元组,未考虑三元组以外的其他信息,如文本描述信息、图像信息等都可以作为三元组嵌入结构向量的语义补充。基于以上两个问题,本文提出以下两个解决方案:(1)针对现有的方法不能很好的解决一种关系存在多种语义问题,提出Trans DTM模型,引入动态映射矩阵的思想,对于头实体和尾实体分别引入两个映射矩阵,来解决关系的多语义问题;为了改变原有的翻译原则,引入动态翻译策略,使翻译原则更灵活;此外,在模型训练时,选用适合该模型的抽样策略,使数据集中尽可能多的实体参与到训练中。具体来说,对于1-N的关系,以更高的概率替换头实体;对于N-1的关系,以更高的概率替换尾实体。同时,利用关系的上下文,提高三元组的置信度。最后在WN18、WN11、FB15K和FB13四个数据集上进行实验验证,实验结果显示,Trans DTM模型与其他基线模型相比在链接预测和三元组分类实验任务中都具有更好的性能优势。(2)传统的表示学习模型常常只关注三元组自身结构,孤立地表示每个三元组,未考虑三元组以外的其他信息,如文本描述信息、图像信息等都可以作为三元组嵌入结构向量的语义补充。针对上述问题,为了增强知识表示能力,提出一个融合文本描述信息和层次类型信息的知识表示学习模型ETLKRL,通过融合三元组自身结构、文本描述和层次类型,充分利用KG以外的信息,提高知识表示和知识推理的准确性和可解释性,解决了外部信息利用不足等问题。为了融合文本描述信息和层次类型信息,使用卷积神经网络引入文本描述信息并从文本描述中提取可靠的特征信息;使用基于注意力机制卷积神经网络,通过为相关文本分配权重,从文本句子中提取有效信息,从而获得区分度高、语义准确度更好的关系向量表示;使用加权层次类型编码器来构造层次类型投影矩阵,并使用特定于关系的类型约束来投影实体。在WN18、WN18RR、FB15K、FB15K-237和YAGO3-10四个数据集上进行链接预测和三元组分类等实验,结果表明,ETLKRL模型与基线模型相比在两项实验任务中具有更明显的优势,能处理外部信息利用不足问题,并具有一定的可扩展性。
基于视觉信息的推荐系统研究
这是一篇关于视觉信息,电影推荐,视频理解,概率矩阵分解,文本信息的论文, 主要内容为数据稀疏性问题一直是推荐系统中的一个难题,但目前为止仍然没有得到很好的解决。实际的推荐系统获取到的数据往往比较稀疏,传统的推荐算法无法再这种情况下很好的工作。考虑到电影自身的特点,人们对电影的评价大部分都来自于视觉信息,显然视觉特征中包含大量有用的信息,可以作为辅助信息为推荐算法所用进一步提高推荐系统的性能。视觉信息是人们理解世界的一种非常重要的信息,视觉特征中丰富的信息可以帮助人们更好理解推断事物。虽然视觉信息对推荐系统有很重要的利用价值,但是由于图片和视频的隐藏特征比较复杂,提取比较困难,因此研究相对较少。针对这一研究现状,本文对基于预告片视觉信息的电影推荐算法进行了深入的研究。具体研究内容如下:首先,本文对推荐算法的发展进行了回顾,对电影推荐算法以及视觉信息提取算法进行了系统详尽地总结和分析。其次本文设计实现了一种基于预告片视觉信息的电影推荐系统。本文设计的电影推荐系统主要包括三个模块:数据收集模块、预告片视觉信息提取模块和推荐模块。其中与传统的推荐系统不同的是,增加了一个视觉信息提取模块,此模块也是此推荐系统中最重要的模块,它的实现直接影响本文所提出的两个算法。随后,本文提出了基于预告片视觉信息的电影推荐算法。从预告片中提取出来的视觉信息作为一种附加信息,与评分数据相结合,用以提高电影推荐的精确度。因此,此电影推荐算法包括两个重要的部分:预告片视觉信息的提取和电影推荐的生成。预告片视觉信息的提取有两种方法:(1)利用将图片输入到卷积神经网络,输出中间的某一层作为视觉特征向量输出;(2)采用视频描述加标签文本分析的方法,即先通过视频描述过程为每个视频进行标签化描述,然后每个电影得到标签集合,再对标签集合进行标签文本分析,得到特征向量。电影推荐算法采用的是易于扩展且性能优异的概率矩阵分解算法。本文通过大量的实验证明了基于视觉信息推荐算法可以显著提高推荐性能。进一步,考虑到视觉信息所涵盖信息的有限性以及评论文本信息所包含的大量信息,本文提出将评论文本信息加入,与预告片视觉信息共同辅助评分信息,进一步提高推荐的精确度。本算法的实现方式有两种:(1)分别从预告片和评论中将视觉特征向量和文本特征向量提取出来,然后同时将两个特征向量带入到推荐算法中;(2)先利用视频描述过程,对每个视频进行标签化描述,每个视频得到一系列标签之后,将这些标签文本与评论放在一起进行文本分析,得到特征向量,最后将这个特征向量带入到推荐算法中。本文通过多组实验证明了评论文本信息与预告片视觉信息相结合应用于推荐算法中,展现出了有益效果。最后对全文进行了总结,对本文的主要贡献进行了阐述,并对下一步工作进行了展望。
面向知识图谱的知识表示学习算法研究
这是一篇关于知识图谱,知识表示学习,文本信息,链接预测,三元组分类的论文, 主要内容为知识图谱自2012年被提出后得到了迅猛的发展,作为一种新型的知识存储结构,已成为人工智能三大分支之一,是重要的知识支柱。知识图谱可以有效地组织和表示知识,随着智能应用的不断发展,知识图谱在智能搜索和个性化推荐等领域得到了广泛应用。知识图谱是一个多关系有向图,通常以网络的形式表示知识,节点表示实体,边表示实体间的关系,这种以符号逻辑为基础进行知识表示,其特点是易于刻画离散、显性的知识,具有较好的可解释性,但仍有许多不能用符号来刻画连续、隐形的知识,且存在计算效率低、数据稀疏等问题。随着深度学习的快速发展,表示学习技术在知识表示领域取得了巨大成功,知识表示学习技术旨在将知识图谱中的实体和关系映射到稠密低维向量空间中,通过对实体和关系进行表示学习,能够解决传统表示方法面临的数据稀疏、知识推理困难等问题。尽管研究人员针对不同问题提出了不同解决方法,但仍存在一些问题需要解决。一方面,在知识图谱中,一种关系可能存在多种语义,需要对关系进行更细粒度的划分。另一方面,翻译系列模型常常只关注三元组自身结构,孤立地表示每个三元组,未考虑三元组以外的其他信息,如文本描述信息、图像信息等都可以作为三元组嵌入结构向量的语义补充。基于以上两个问题,本文提出以下两个解决方案:(1)针对现有的方法不能很好的解决一种关系存在多种语义问题,提出Trans DTM模型,引入动态映射矩阵的思想,对于头实体和尾实体分别引入两个映射矩阵,来解决关系的多语义问题;为了改变原有的翻译原则,引入动态翻译策略,使翻译原则更灵活;此外,在模型训练时,选用适合该模型的抽样策略,使数据集中尽可能多的实体参与到训练中。具体来说,对于1-N的关系,以更高的概率替换头实体;对于N-1的关系,以更高的概率替换尾实体。同时,利用关系的上下文,提高三元组的置信度。最后在WN18、WN11、FB15K和FB13四个数据集上进行实验验证,实验结果显示,Trans DTM模型与其他基线模型相比在链接预测和三元组分类实验任务中都具有更好的性能优势。(2)传统的表示学习模型常常只关注三元组自身结构,孤立地表示每个三元组,未考虑三元组以外的其他信息,如文本描述信息、图像信息等都可以作为三元组嵌入结构向量的语义补充。针对上述问题,为了增强知识表示能力,提出一个融合文本描述信息和层次类型信息的知识表示学习模型ETLKRL,通过融合三元组自身结构、文本描述和层次类型,充分利用KG以外的信息,提高知识表示和知识推理的准确性和可解释性,解决了外部信息利用不足等问题。为了融合文本描述信息和层次类型信息,使用卷积神经网络引入文本描述信息并从文本描述中提取可靠的特征信息;使用基于注意力机制卷积神经网络,通过为相关文本分配权重,从文本句子中提取有效信息,从而获得区分度高、语义准确度更好的关系向量表示;使用加权层次类型编码器来构造层次类型投影矩阵,并使用特定于关系的类型约束来投影实体。在WN18、WN18RR、FB15K、FB15K-237和YAGO3-10四个数据集上进行链接预测和三元组分类等实验,结果表明,ETLKRL模型与基线模型相比在两项实验任务中具有更明显的优势,能处理外部信息利用不足问题,并具有一定的可扩展性。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码港湾 ,原文地址:https://bishedaima.com/lunwen/56270.html