基于量子理论和双曲空间理论的知识表示学习研究

这是一篇关于知识表示学习,量子嵌入,知识图谱,双曲空间的论文, 主要内容为知识图谱作为信息时代一个十分重要的工具,已经在信息检索,知识问答,推荐系统等诸多方面扮演着愈加重要的角色。随着大数据信息时代的到来,日益增长的数据难以满足人们获取精确信息的需求,知识图谱的构建为人们提供了方便。然而大规模的知识图谱在如何存储、如何表示等方面存在着一定的困难。近年来,各种表示学习技术备受研究人员的关注,为大规模知识图谱的表示作出了一定贡献,但也仍然存在着诸多技术难题。知识图谱一般表示成三元组(实体,关系,实体)的形式,现有的方法一般将这些实体和关系通过向量的形式进行表示,充分利用词向量的特点,有效表示了知识图谱中各类知识元组。分布式表示是近年来比较高效的表示学习技术。以经典模型TransE方法为代表的翻译模型能够有效解决数据稀疏性等问题,但存在对复杂关系的表示不大理想的问题,因此研究一种更科学,更高效的表示学习方法尤为重要。本文在已有研究工作的基础上进一步改进,主要从以下两方面展开研究工作:(1)考虑到知识图谱中知识具备时效性的特点,三元组关系可能随时间改变,而近年来量子理论在机器学习等领域有着显著的应用,提出了基于量子理论的知识表示方法Q-TransX。该方法将知识制备成量子态,结合翻译模型的基本方法,利用量子的多态性解决知识图谱中知识的动态性问题,将词嵌入表示学习方法用来训练量子嵌入,实验结果验证了该方法的有效性。(2)提出基于双曲空间理论的双曲嵌入方法Hyper-TransE。该方法利用双曲空间能够很好地捕获具有层次结构的知识信息等特性,而知识图谱中的知识或是关系存在着大量的层次结构关系。结合欧式嵌入的方法进行双曲嵌入,不仅能捕获到这种层次关系,还可以大大减少嵌入的维数,解决了词向量面临的维数灾难问题,大大提升了表示学习的质量,实验证明了该方法的有效性。本文结合量子理论和双曲空间理论,分别提出了 Q-TransX方法和Hyper-TransE方法来解决知识表示学习面临的一些问题。在一些经典数据集上进行实验,我们的方法在性能指标上都有一定的提升。

基于双曲空间的序列推荐方法与基准测试研究

这是一篇关于双曲空间,序列推荐,双曲嵌入的论文, 主要内容为推荐系统在人们的生产生活中应用广泛,在信息爆炸时代对于信息的过滤、便民服务等方面发挥了重要作用。序列推荐是推荐系统的重要领域,被广泛应用于电影、电商、短视频等行业,其主要任务是通过分析用户与项目之间的交互序列,利用序列之间的依赖性来捕获用户最近期的偏好,从而预测用户下一次可能交互的项目。推荐系统成功的关键是用户偏好和项目特征的准确表示,许多广泛应用的推荐模型都是基于欧几里得空间(即欧氏空间)的表示学习,即使用内积或欧氏距离来计算用户表示和推荐项目表示之间的相似性。随着大数据时代高维数据的爆炸性增长,推荐系统中的推荐项目信息通常带有层次结构的特征信息,如服装商品中分为上衣等类别,上衣中又包含卫衣。传统基于欧几里得空间的推荐模型,在嵌入无标度和分层结构数据表示时会产生较大的失真现象,从而影响推荐的效果。为了减少失真,有必要增加计算空间的规模,但是随着空间规模的扩大,推荐算法所需的计算资源也随之增加。针对序列推荐方法中暴露出的大数据推荐效果失真等问题,文章采用双曲空间对传统序列推荐算法进行优化,设计新的序列推荐模型,给出系列基准测试。双曲空间是曲率为负常数的一种非欧几里得空间,可以看作是树的连续形式,本质上更适合建模层次结构。针对欧几里得空间无法捕获数据中的层次结构等问题,论文提出了一种基于双曲空间的序列推荐算法,该方法融合因子分解机和深度神经网络,在捕获低阶特征和高阶特征的同时加入平移空间来增强表示能力;将表示模型嵌入双曲空间捕获数据中的层次结构信息,提高推荐的效果。针对双曲空间和双曲嵌入虽然在推荐系统中得到了广泛关注,但是没有一个具体的基准测试问题,论文给出了基于双曲空间的推荐算法性能分析,提供了在推荐系统中何时使用双曲空间和双曲嵌入的理论分析和实证结果。为了检验基于双曲空间的序列推荐模型的效果,论文在MovieLens等3个真实世界公开数据集上进行了大量的实验,结果表明与其他方法相比该方法具有更优的表现,验证了基于双曲空间的序列推荐的合理性和有效性。为了对基于双曲空间的推荐算法进行全面的性能分析,本文选取了 5个不同推荐领域常用的模型,在Epinions等6个真实世界公开数据集上进行了实验,通过比较在不同情况下,各个模型在欧几里得空间和双曲空间的性能,最终得出结论:(1)距离模型比投影模型更适合学习双曲嵌入;(2)当数据集的密度比较小时,双曲空间比欧几里得空间更强大;(3)当潜在空间维度较小时,模型在双曲空间的性能优于欧几里得空间。

基于文本—图像的知识图谱补全方法研究

这是一篇关于双曲空间,多模态信息,知识图谱补全,庞加莱球,知识表示学习的论文, 主要内容为现有的大多数知识表示学习模型往往考虑知识图谱中三元组的结构化信息,忽视了知识图谱以外关于实体的文本描述信息和图像信息,且在欧式空间中嵌入具有树状层次结构的知识图谱会引起嵌入向量失真的问题。目前,对于知识图谱补全任务来说,实体的多模态信息包含了大量的背景知识,可以丰富实体的语义表达。相比于欧式空间,双曲空间中的嵌入向量在低维度下和保留数据的树状层次结构方面有很大的优势。因此,为了解决以上问题,本文提出了一种基于双曲空间中庞加莱球模型,联合知识图谱的结构化信息与实体的文本-图像信息的知识图谱补全方法。本课题的主要研究工作如下:1)设计了一种基于双曲空间实体文本描述信息的知识图谱补全方法。对于实体的文本信息采用了句子级的嵌入模型,更好地保留实体上下文之间的语义联系。通过将双曲空间中定义的指数函数作为桥梁,把欧式空间中实体的文本表示映射到双曲空间中,并与双曲空间中知识图谱的结构化表示进行交叉融合,再通过设计平衡因子调节失衡的能量函数,获得具有相应语义信息的三元组的知识表示,提高知识图谱补全的结果。2)设计了一种基于双曲空间实体图像信息的知识图谱补全方法。关于实体的图像信息,同样地通过指数函数将其从欧式空间映射到双曲空间中,并与知识图谱的结构化表示进行融合。由于知识图谱中具有复杂的关系模式(1-N、N-1、N-N)和层次结构,为了能够同时保留知识图谱的这两种特点,通过利用双曲几何中定义的反射和旋转的操作对知识图谱中复杂关系进行建模,并融合实体的图像信息加强三元组的知识表示能力,从而提高实验效果。3)设计了一种基于双曲空间实体文本-图像信息的知识图谱补全方法。通过利用句子级嵌入模型处理实体的文本描述信息,利用VGGNet模型来处理实体的图像信息。关于实体多模态信息融合的方式,提供了向量拼接和向量相加两种方法,并探索了实体文本描述信息和图像信息对实验结果的影响。在考虑知识图谱中复杂关系的基础上,通过改进基于双曲空间三元组距离计算的方式,最后实现了多模态信息在双曲空间中有效的融合,补全知识图谱中缺失的链接。

基于文本—图像的知识图谱补全方法研究

这是一篇关于双曲空间,多模态信息,知识图谱补全,庞加莱球,知识表示学习的论文, 主要内容为现有的大多数知识表示学习模型往往考虑知识图谱中三元组的结构化信息,忽视了知识图谱以外关于实体的文本描述信息和图像信息,且在欧式空间中嵌入具有树状层次结构的知识图谱会引起嵌入向量失真的问题。目前,对于知识图谱补全任务来说,实体的多模态信息包含了大量的背景知识,可以丰富实体的语义表达。相比于欧式空间,双曲空间中的嵌入向量在低维度下和保留数据的树状层次结构方面有很大的优势。因此,为了解决以上问题,本文提出了一种基于双曲空间中庞加莱球模型,联合知识图谱的结构化信息与实体的文本-图像信息的知识图谱补全方法。本课题的主要研究工作如下:1)设计了一种基于双曲空间实体文本描述信息的知识图谱补全方法。对于实体的文本信息采用了句子级的嵌入模型,更好地保留实体上下文之间的语义联系。通过将双曲空间中定义的指数函数作为桥梁,把欧式空间中实体的文本表示映射到双曲空间中,并与双曲空间中知识图谱的结构化表示进行交叉融合,再通过设计平衡因子调节失衡的能量函数,获得具有相应语义信息的三元组的知识表示,提高知识图谱补全的结果。2)设计了一种基于双曲空间实体图像信息的知识图谱补全方法。关于实体的图像信息,同样地通过指数函数将其从欧式空间映射到双曲空间中,并与知识图谱的结构化表示进行融合。由于知识图谱中具有复杂的关系模式(1-N、N-1、N-N)和层次结构,为了能够同时保留知识图谱的这两种特点,通过利用双曲几何中定义的反射和旋转的操作对知识图谱中复杂关系进行建模,并融合实体的图像信息加强三元组的知识表示能力,从而提高实验效果。3)设计了一种基于双曲空间实体文本-图像信息的知识图谱补全方法。通过利用句子级嵌入模型处理实体的文本描述信息,利用VGGNet模型来处理实体的图像信息。关于实体多模态信息融合的方式,提供了向量拼接和向量相加两种方法,并探索了实体文本描述信息和图像信息对实验结果的影响。在考虑知识图谱中复杂关系的基础上,通过改进基于双曲空间三元组距离计算的方式,最后实现了多模态信息在双曲空间中有效的融合,补全知识图谱中缺失的链接。

基于连续情感和流形空间变换的序列推荐研究

这是一篇关于情感表征,流形学习,双曲空间,对比学习,图神经网络,注意力机制,推荐系统,序列化推荐的论文, 主要内容为推荐系统(Recommender Systems,RSs)经过几十年的科研探索以及商业应用,目前已经发展成为一种用途广泛的基本工具,可以在我们工作、生活、商业运作、学习、社交和娱乐等各个日常方面提供更有信息量及效率的选择。在内容服务日益过载的数字经济时代,用户需要从大量快速增长的内容、产品和服务中做出选择,推荐系统的作用已变得不容忽视。由于推荐系统拥有巨大的应用价值,近几十年来它始终处于研究热门领域,而随着数据丰富度及计算效率的提升,序列化推荐作为一种更贴合自然条件下的用户决策建模方式,已成为研究热点。与传统建模相比,序列化推荐试图理解用户和物品时序交互行为,并利用更丰富的用户特征、意图和物品衍进趋势实现更加精细化、定制化和动态化的推荐结果。尽管序列化推荐已取得令人瞩目的成绩,但现有大部分工作仍是通过改变模型结构以提升效果的,这些研究都需要遵循所给出设定来使用,明显的弊端有以几下几点:第一点是改进的结构用于以往的方案中往往较为复杂以及并不能自适应的配置到现有或未来的方案中,易导致大量重复工作,可持续性较低。第二点是现有的序列化推荐方法侧重于对用户行为进行建模,并善于使用额外的物品信息来提高推荐性能。然而,现有的方法很少考虑到用户的连续主观情绪对其行为的影响。通常人的主观情绪变化对其本身的最终偏好起着决定性的作用。第三点是序列化推荐任务中的用户-物品交互一般呈现出内在的幂律分布,这种分布可以看作是层次化结构。而现有的序列化推荐方法为了捕捉用户/物品的基本层次属性,已经引入了各种方法,例如通过长/短的时间段对历史行为进行切分,或者根据经验对交互的物品进行分类。然而,这种操作可能会导致物品/用户表征的畸变,以及在真实的在线场景中的表现不尽如人意。因此本文研究拟探讨的问题是:如何将人类情感用于引导序列化偏好的生成以及如何对于数据中包含的丰富层次化信息进行建模。具体来说,本文拟设计出一类通用化组件,旨在低成本适配到现有或未来方案中,同时带来效果上的提升。综上所述,本文以现有的序列化推荐方案的特性为出发点,以构建组件化提升方案为研究中心,针对序列化推荐任务的特点,我们结合用户兴趣爱好广泛而情感信息未被充分表达的问题以及数据中包含丰富层次化信息但表达不足的情况。我们首先提出SGS模型借助情感信息用于引导用户偏好的生成。其次基于现有欧几里德空间缺乏对层次化信息的表达,且双曲空间中缺乏对比学习方案,本文提出HCGR方法以填补该领域的空白。另外,考虑到现有双曲空间方案的效率以及计算误差,本文从理论的角度优化了双曲空间的内积操作,并设计出全局信息补充的图强化方案PHGR。最后,本文利用公开及工业数据集,设计大量实验,深入分析本文所提出方案得有效性及可迁移性。

基于连续情感和流形空间变换的序列推荐研究

这是一篇关于情感表征,流形学习,双曲空间,对比学习,图神经网络,注意力机制,推荐系统,序列化推荐的论文, 主要内容为推荐系统(Recommender Systems,RSs)经过几十年的科研探索以及商业应用,目前已经发展成为一种用途广泛的基本工具,可以在我们工作、生活、商业运作、学习、社交和娱乐等各个日常方面提供更有信息量及效率的选择。在内容服务日益过载的数字经济时代,用户需要从大量快速增长的内容、产品和服务中做出选择,推荐系统的作用已变得不容忽视。由于推荐系统拥有巨大的应用价值,近几十年来它始终处于研究热门领域,而随着数据丰富度及计算效率的提升,序列化推荐作为一种更贴合自然条件下的用户决策建模方式,已成为研究热点。与传统建模相比,序列化推荐试图理解用户和物品时序交互行为,并利用更丰富的用户特征、意图和物品衍进趋势实现更加精细化、定制化和动态化的推荐结果。尽管序列化推荐已取得令人瞩目的成绩,但现有大部分工作仍是通过改变模型结构以提升效果的,这些研究都需要遵循所给出设定来使用,明显的弊端有以几下几点:第一点是改进的结构用于以往的方案中往往较为复杂以及并不能自适应的配置到现有或未来的方案中,易导致大量重复工作,可持续性较低。第二点是现有的序列化推荐方法侧重于对用户行为进行建模,并善于使用额外的物品信息来提高推荐性能。然而,现有的方法很少考虑到用户的连续主观情绪对其行为的影响。通常人的主观情绪变化对其本身的最终偏好起着决定性的作用。第三点是序列化推荐任务中的用户-物品交互一般呈现出内在的幂律分布,这种分布可以看作是层次化结构。而现有的序列化推荐方法为了捕捉用户/物品的基本层次属性,已经引入了各种方法,例如通过长/短的时间段对历史行为进行切分,或者根据经验对交互的物品进行分类。然而,这种操作可能会导致物品/用户表征的畸变,以及在真实的在线场景中的表现不尽如人意。因此本文研究拟探讨的问题是:如何将人类情感用于引导序列化偏好的生成以及如何对于数据中包含的丰富层次化信息进行建模。具体来说,本文拟设计出一类通用化组件,旨在低成本适配到现有或未来方案中,同时带来效果上的提升。综上所述,本文以现有的序列化推荐方案的特性为出发点,以构建组件化提升方案为研究中心,针对序列化推荐任务的特点,我们结合用户兴趣爱好广泛而情感信息未被充分表达的问题以及数据中包含丰富层次化信息但表达不足的情况。我们首先提出SGS模型借助情感信息用于引导用户偏好的生成。其次基于现有欧几里德空间缺乏对层次化信息的表达,且双曲空间中缺乏对比学习方案,本文提出HCGR方法以填补该领域的空白。另外,考虑到现有双曲空间方案的效率以及计算误差,本文从理论的角度优化了双曲空间的内积操作,并设计出全局信息补充的图强化方案PHGR。最后,本文利用公开及工业数据集,设计大量实验,深入分析本文所提出方案得有效性及可迁移性。

基于量子理论和双曲空间理论的知识表示学习研究

这是一篇关于知识表示学习,量子嵌入,知识图谱,双曲空间的论文, 主要内容为知识图谱作为信息时代一个十分重要的工具,已经在信息检索,知识问答,推荐系统等诸多方面扮演着愈加重要的角色。随着大数据信息时代的到来,日益增长的数据难以满足人们获取精确信息的需求,知识图谱的构建为人们提供了方便。然而大规模的知识图谱在如何存储、如何表示等方面存在着一定的困难。近年来,各种表示学习技术备受研究人员的关注,为大规模知识图谱的表示作出了一定贡献,但也仍然存在着诸多技术难题。知识图谱一般表示成三元组(实体,关系,实体)的形式,现有的方法一般将这些实体和关系通过向量的形式进行表示,充分利用词向量的特点,有效表示了知识图谱中各类知识元组。分布式表示是近年来比较高效的表示学习技术。以经典模型TransE方法为代表的翻译模型能够有效解决数据稀疏性等问题,但存在对复杂关系的表示不大理想的问题,因此研究一种更科学,更高效的表示学习方法尤为重要。本文在已有研究工作的基础上进一步改进,主要从以下两方面展开研究工作:(1)考虑到知识图谱中知识具备时效性的特点,三元组关系可能随时间改变,而近年来量子理论在机器学习等领域有着显著的应用,提出了基于量子理论的知识表示方法Q-TransX。该方法将知识制备成量子态,结合翻译模型的基本方法,利用量子的多态性解决知识图谱中知识的动态性问题,将词嵌入表示学习方法用来训练量子嵌入,实验结果验证了该方法的有效性。(2)提出基于双曲空间理论的双曲嵌入方法Hyper-TransE。该方法利用双曲空间能够很好地捕获具有层次结构的知识信息等特性,而知识图谱中的知识或是关系存在着大量的层次结构关系。结合欧式嵌入的方法进行双曲嵌入,不仅能捕获到这种层次关系,还可以大大减少嵌入的维数,解决了词向量面临的维数灾难问题,大大提升了表示学习的质量,实验证明了该方法的有效性。本文结合量子理论和双曲空间理论,分别提出了 Q-TransX方法和Hyper-TransE方法来解决知识表示学习面临的一些问题。在一些经典数据集上进行实验,我们的方法在性能指标上都有一定的提升。

面向编码模型和表示空间的知识图谱嵌入研究

这是一篇关于知识图谱,知识表示学习,张量分解,双曲空间的论文, 主要内容为知识图谱本质上是一种大规模的语义网络,旨在描述真实世界中存在的各种实体或概念。目前基于知识图谱研究的最新进展主要集中在知识表示学习方面。知识表示学习目的是将实体和关系映射到低维连续向量空间中,同时捕获它们的语义。当前知识表示学习的研究工作主要集中在表示空间、编码模型和辅助信息融合三个维度。在编码模型方面,对于知识图谱中复杂关系的建模表示是研究难点所在;在表示空间方面,欧式空间因其线性运算特性在表示关系非线性特性时受到限制。论文从这两方面着手进行了研究。在编码模型维度,论文将知识图谱视为三阶二元张量,提出了基于Block Term Decomposition(BTD)分解方法的知识图谱嵌入模型Block Term Decomposition Embedding(BTDE)。在数学张量分解方法中,BTD分解是一种更加泛化的分解,它可以更好地更准确地分解形成的因子。在此基础上,通过BTDE模型的训练,可以获得语义信息更丰富的实体和关系的嵌入向量。论文还证明了BTDE与Compl Ex,Simpl E和Tuck ER模型一样具有完全表达性,并且在完全表达时将实体和关系嵌入限制在更小的维度。此外,BTDE在所有五个公开标准数据集上均取得了优异的实验结果。在表示空间维度,为解决双曲空间在不完全分层关系知识图谱上的适用性,论文引入双曲空间洛伦兹模型,并在该空间中进行知识表示学习,提出了基于洛伦兹模型的知识图谱嵌入方法Multi-relational Lorentz Embedding(Mu RL)及其与欧几里得空间混合的Multi-relational Mixed Embedding(Mu RM)模型。链接预测实验显示Mu RL在分层数据集WN18RR上胜过其他欧几里得模型,并且达到了和当前双曲空间方法Mu RP相持平的效果,Mu RM模型能比较好地解决双曲模型在不完全分层关系数据集上表现较差的问题。

基于双曲空间的知识增强推荐算法研究

这是一篇关于推荐系统,知识图谱,双曲空间,多任务学习的论文, 主要内容为推荐系统旨在为用户推荐个性化的在线内容和物品信息,缓解信息过载问题。基于协同过滤的推荐算法取得广泛应用,但是其容易受数据稀疏和冷启动等问题困扰。近年来,研究者尝试引入知识图谱信息,通过构建基于知识图谱的混合推荐系统即知识增强推荐系统,进一步改善推荐性能。知识图谱中丰富的背景信息对提升推荐结果的准确性、多样性和可解释性有很大帮助。然而,现有研究工作普遍在欧氏空间上进行图嵌入的做法可能导致算法无法充分捕获知识图谱中的复杂语义信息。因此,本文针对知识增强推荐任务的数据特性和主要挑战,在表示能力更强的双曲空间上对知识增强推荐算法展开研究,主要研究工作及成果如下:首先,基于双曲几何理论的庞加莱球模型(PoincaréBall Model)构建了一个三层双曲嵌入域。该双曲嵌入空间的内层、中间层和外层分别嵌入协同知识图中的用户节点、物品节点和知识实体节点,以此实现了对知识增强推荐场景数据中“用户—物品—知识属性实体”层次性结构信息的显式建模。在该双曲嵌入空间的基础上,提出一种基于多任务学习的双曲空间知识增强推荐算法。该算法在预设的三层双曲空间中初始化用户、物品和知识实体的嵌入表示,然后通过个性化推荐模块和知识图嵌入模块学习和优化嵌入表示,最后基于多任务学习框架对两个任务进行联合训练。在三个公开推荐系统基准数据集上的实验结果表明该算法与现有算法相比获得了更好的推荐效果。其次,进一步地研究了不完整知识图谱上的知识增强推荐问题。实际知识图谱数据源普遍存在知识信息缺失的问题,而知识缺失可能严重影响现有知识增强推荐算法的性能。因此提出了一种基于异质邻域聚合的双曲空间知识增强推荐算法。该算法改进了知识属性节点的优化策略,在异质邻域信息聚合模块中利用双曲嵌入空间内与待优化知识节点相邻的用户节点集所包含的关联协同信号来减少知识信息空缺带来的影响。在共计15个设置了不同知识信息缺失比例的不完整知识增强推荐数据集上进行了测试,实验结果表明了该算法在不完整知识图上的推荐性能表现优于其他知识增强推荐算法。