融合结构和语义信息的知识图谱补全算法研究
这是一篇关于知识图谱补全,嵌入表示,三角形子图模式,实体语义相似度,问答系统的论文, 主要内容为知识图谱提供了可以被计算机理解的结构化的语义信息,是构建智能系统时必不可少的一部分。虽然在现有的一些大规模知识图谱中存储了大量事实,但远未达到完善的程度,因此对知识图谱自动补全技术的研究意义重大。本文首先对目前在知识图谱自动补全任务上比较热门的嵌入表示模型和图特征模型进行了比较分析,提出可以通过融合知识图谱的结构和语义信息来学习更准确的嵌入表示。进而从两个不同的角度向经典的知识图谱嵌入表示模型引入结构特征,提出了两个融合结构和语义信息的知识图谱补全算法。分别为加入三角形子图结构约束的融合三角形子图信息的知识图谱嵌入表示模型,和加入由结构挖掘的实体语义相似性约束的基于结构信息的语义平滑知识图谱嵌入表示模型。并通过实验验证了两个模型的有效性,从而证实了结构和语义信息的结合有利于知识图谱嵌入表示向量准确训练的观点。此外,本文还探索了知识图谱的新型应用,设计并构建了基于垂直领域知识图谱的旅游景点问答推荐系统,在实际中应用了知识图谱的构建和补全方法,得到了良好的效果。
面向个性化推荐系统的多任务神经协同过滤模型
这是一篇关于推荐系统,协同过滤,矩阵分解,神经网络,多任务学习,嵌入表示的论文, 主要内容为随着互联网的快速发展与普及,网络中的信息量呈现爆炸式地增长,用户很难从海量数据中筛选出其感兴趣的内容,从而出现信息过载的问题。推荐系统是解决信息过载的重要工具,而协同过滤算法是推荐系统中研究与应用最为广泛的算法。近年来,推荐系统不断融入神经网络及深度学习的技术以提升推荐性能。基于神经网络的推荐算法具有更强的表征能力,可以从用户的行为记录中深度挖掘出用户偏好,并一定程度上缓解传统推荐算法的可扩展性问题。推荐系统中存在多种记录用户与物品历史交互的方式,不同方式的交互记录都包含了丰富且有价值的用户偏好信息。因此如何融合这些有效信息,进一步提升推荐系统的推荐性能,是推荐系统中一个有价值的研究课题。同时,推荐系统中用户与物品的数量往往十分庞大,在基于深度学习的推荐算法中,如何利用历史交互数据准确地对用户与物品进行嵌入表示,从而提升推荐模型的收敛速度与推荐准确度,成为了推荐系统领域的研究基础与热点。本文研究基于多任务神经协同过滤的推荐方法,同时探究对用户与物品进行嵌入表示的方法,提升模型的推荐性能。具体工作如下:(1)提出了一种深度融合显式及隐式评分的多任务神经协同过滤模型。显式评分与隐式评分是推荐系统中最常用的两类评分方式。显式评分是指用户对物品的具体评分,可以直观地表示用户对物品的喜爱程度。隐式评分是指用户与物品间是否存在交互行为的记录,可以全面地体现用户可能感兴趣的范围。本模型从网络结构与损失函数两个方面对两类评分信息进行深度融合。在模型的网络结构上,设计两个辅助任务分别学习用户-物品的显式评分特征与隐式评分特征,并将两个特征向量进行拼接输入主任务网络,经多层全连接网络非线性映射得到用户对物品评分的预测。在主任务的损失函数上,根据物品显式评分构建权重项,设计加权二分类交叉熵损失函数,从而将显式评分融入到二分类交叉熵损失函数中,这相当于在损失函数中加入注意力机制,使训练过程中推荐模型投入更多的注意力在高评分的记录上,因而使模型获得了更好推荐性能。(2)提出了一种基于User&Item2vec与深度融合显式及隐式评分的多任务协同过滤模型。本方法为了解决基于端到端深度推荐模型嵌入层在训练过程中参数多、计算开销大以及影响模型主体结构优化的问题,设计User&Item2vec模型首先提取用户与物品的嵌入向量表示,再将用户向量与物品向量输入至深度融合显式及隐式评分的多任务协同过滤模型进行评分预测。User&Item2vec方法根据用户与物品的历史交互记录进行建模,使用单隐层的网络结构快速训练并提取出用户与物品的向量表示。关于真实世界中三个不同规模的数据集的实验结果表明,基于User&Item2vec提取用户与物品的向量表示,并使用深度融合显式及隐式评分的多任务协同过滤模型进行推荐,可以获得更高质量的推荐结果。(3)提出了一种基于User&Item2vec与广义矩阵分解的多任务协同过滤模型。为了进一步提升推荐结果的准确性,在深度融合显式及隐式评分的多任务协同过滤模型的基础上,加入广义矩阵分解模块,使模型对输入特征兼具“泛化能力”与“记忆能力”。同时在模型参数初始化阶段,放弃随机初始化这种不包含先验信息的参数初始化方法,而是利用User&Item2vec提取出的特征向量对广义矩阵分解模块的嵌入层进行初始化,加快模型的收敛速度并提高推荐结果的准确性。实验结果表明,加入广义矩阵分解模块可以加强模型的记忆能力,同时利用先验信息对参数初始化,可以进一步提升推荐模型的性能。
基于知识图谱嵌入的恶意代码检测方法
这是一篇关于恶意代码检测,知识图谱,图神经网络,嵌入表示的论文, 主要内容为目前恶意代码检测方法的研究主要集中在特征表示上,如恶意代码的API调用序列、程序控制流图等,这些方法虽然取得了一定的效果,但可读性和可解释性较差,不利于人们理解恶意代码的行为。本文通过构建恶意代码知识图谱的方法提高恶意代码检测的效果和可解释性,知识图谱是一种由实体和关系组成的知识库,具有形式简洁、可解释性强等特点,经过近几年的快速发展,知识图谱已经运用到了各行各业中,如搜索引擎、推荐系统、智能问答系统等。在恶意代码检测领域,由于知识图谱是由离散的三元组构成的,不能直接运用到恶意代码家族检测等下游任务中,这些任务要求数据以向量的形式作为输入。为了把知识图谱中的实体和关系表示为向量,研究人员提出了知识图谱嵌入技术,但传统的知识图谱嵌入模型只考虑单一的三元组,无法获取知识图谱中图的结构信息,导致模型获得的嵌入向量质量不高。为了获取知识图谱中图的结构信息,使知识图谱更好地运用于恶意代码检测,本文提出了一种结合平移距离模型和图神经网络的新型知识图谱嵌入模型Rotat SAGE。利用图神经网络,Rotat SAGE可以学习到知识图谱中图的结构信息,从而丰富学习到的恶意代码知识图谱嵌入的表达能力。虽然Rotat SAGE可以学习到图的结构信息,但并不区分中心节点的邻居的重要性,而在实际的恶意代码知识图谱中不同的邻居对中心节点的贡献是不一样的。为了区分中心节点的邻居的重要性,本文结合注意力机制提出了第二个知识图谱嵌入模型Rotat GAT。在链接预测实验中,本文提出的Rotat SAGE和Rotat GAT模型都取得了较好的实验结果,表明在传统的知识图谱嵌入模型上引入图神经网络是有效的。本文通过定义恶意代码知识图谱中的实体和关系的具体内容,构建了恶意代码知识图谱,并利用Rotat SAGE和Rotat GAT模型获得恶意代码知识图谱的向量表示,将得到的嵌入向量分别运用于恶意代码家族聚类和恶意代码家族分类两个任务。在恶意代码家族聚类任务中,利用轮廓系数等指标评估嵌入向量的质量,并进行可视化,分析嵌入向量的分布情况。在恶意代码家族分类任务中,本文使用了分类任务中常用的指标评估嵌入向量的区分度,实验结果表明本文提出的方法具有较好的类别区分能力。
基于时空信息的图神经网络推荐算法研究
这是一篇关于图神经网络,多头注意力机制,门控学习网络,序列推荐,嵌入表示的论文, 主要内容为推荐系统旨在为用户在大量过载的信息中筛选出与用户相匹配的信息,在真实生活中,这对用户与商家双方都意义重大。因图神经网络可以利用空间结构去发掘用户与项目之间的联系,所以其在推荐方向的研究中不断蓬勃发展。然而,以往的研究在建模用户序列的过程中,仍存在一些问题:(1)视野局限于在空间结构角度,忽略了时间信息在捕捉用户兴趣任务中的重要性。(2)随着用户序列长度随着时间变化而增长,如何在建模过程中充分考虑长期偏好的影响。为此,提出了基于时空信息的图神经网络推荐模型,主要研究工作及创新点如下:(1)设计了一种新的时空信息聚合算法TAP(Temporal and Positional aggregation algorithm)。它不是仅仅在图的空间结构上聚合邻居信息,而是从空间结构和用户与项目交互的时间顺序上同步聚合嵌入表示信息,进而在推荐中充分考虑时间信息,促进了原有的模型从空间到时空聚合的发展。TAP利用缩放点积注意捕获单跳邻居的时间顺序,并采用多头注意力机制对不同潜在子空间进行联合注意表示。最后,将TAP无差别地加入基于图神经网络的推荐,形成了新的模型TAP-GNN,用以学习用户和项目的嵌入表示。(2)提出了一个记忆增强的时空感知信息的推荐模型MTAP-GNN(Memory enhancement Temporal and Positional Graph Neural Network)。其加入了一个外部记忆网络,并且充分考虑了用户的短期偏好和长期记忆。为了有效融合用户多角度兴趣,在模型框架中引入了门控学习网络,自适应地结合这两种嵌入表示,用以学习用户与项目的嵌入表示。(3)在三个真实的数据集下进行实验,实验结果表明,TAP-GNN模型与MTAP-GNN模型在各自适应的领域下,相较于之前经典的推荐模型都有着出色的表现。
面向个性化推荐系统的多任务神经协同过滤模型
这是一篇关于推荐系统,协同过滤,矩阵分解,神经网络,多任务学习,嵌入表示的论文, 主要内容为随着互联网的快速发展与普及,网络中的信息量呈现爆炸式地增长,用户很难从海量数据中筛选出其感兴趣的内容,从而出现信息过载的问题。推荐系统是解决信息过载的重要工具,而协同过滤算法是推荐系统中研究与应用最为广泛的算法。近年来,推荐系统不断融入神经网络及深度学习的技术以提升推荐性能。基于神经网络的推荐算法具有更强的表征能力,可以从用户的行为记录中深度挖掘出用户偏好,并一定程度上缓解传统推荐算法的可扩展性问题。推荐系统中存在多种记录用户与物品历史交互的方式,不同方式的交互记录都包含了丰富且有价值的用户偏好信息。因此如何融合这些有效信息,进一步提升推荐系统的推荐性能,是推荐系统中一个有价值的研究课题。同时,推荐系统中用户与物品的数量往往十分庞大,在基于深度学习的推荐算法中,如何利用历史交互数据准确地对用户与物品进行嵌入表示,从而提升推荐模型的收敛速度与推荐准确度,成为了推荐系统领域的研究基础与热点。本文研究基于多任务神经协同过滤的推荐方法,同时探究对用户与物品进行嵌入表示的方法,提升模型的推荐性能。具体工作如下:(1)提出了一种深度融合显式及隐式评分的多任务神经协同过滤模型。显式评分与隐式评分是推荐系统中最常用的两类评分方式。显式评分是指用户对物品的具体评分,可以直观地表示用户对物品的喜爱程度。隐式评分是指用户与物品间是否存在交互行为的记录,可以全面地体现用户可能感兴趣的范围。本模型从网络结构与损失函数两个方面对两类评分信息进行深度融合。在模型的网络结构上,设计两个辅助任务分别学习用户-物品的显式评分特征与隐式评分特征,并将两个特征向量进行拼接输入主任务网络,经多层全连接网络非线性映射得到用户对物品评分的预测。在主任务的损失函数上,根据物品显式评分构建权重项,设计加权二分类交叉熵损失函数,从而将显式评分融入到二分类交叉熵损失函数中,这相当于在损失函数中加入注意力机制,使训练过程中推荐模型投入更多的注意力在高评分的记录上,因而使模型获得了更好推荐性能。(2)提出了一种基于User&Item2vec与深度融合显式及隐式评分的多任务协同过滤模型。本方法为了解决基于端到端深度推荐模型嵌入层在训练过程中参数多、计算开销大以及影响模型主体结构优化的问题,设计User&Item2vec模型首先提取用户与物品的嵌入向量表示,再将用户向量与物品向量输入至深度融合显式及隐式评分的多任务协同过滤模型进行评分预测。User&Item2vec方法根据用户与物品的历史交互记录进行建模,使用单隐层的网络结构快速训练并提取出用户与物品的向量表示。关于真实世界中三个不同规模的数据集的实验结果表明,基于User&Item2vec提取用户与物品的向量表示,并使用深度融合显式及隐式评分的多任务协同过滤模型进行推荐,可以获得更高质量的推荐结果。(3)提出了一种基于User&Item2vec与广义矩阵分解的多任务协同过滤模型。为了进一步提升推荐结果的准确性,在深度融合显式及隐式评分的多任务协同过滤模型的基础上,加入广义矩阵分解模块,使模型对输入特征兼具“泛化能力”与“记忆能力”。同时在模型参数初始化阶段,放弃随机初始化这种不包含先验信息的参数初始化方法,而是利用User&Item2vec提取出的特征向量对广义矩阵分解模块的嵌入层进行初始化,加快模型的收敛速度并提高推荐结果的准确性。实验结果表明,加入广义矩阵分解模块可以加强模型的记忆能力,同时利用先验信息对参数初始化,可以进一步提升推荐模型的性能。
基于神经网络的知识图谱链路预测方法研究
这是一篇关于知识图谱,嵌入表示,链路预测,神经网络的论文, 主要内容为知识图谱是对现实世界中信息的结构化表示,在一个知识图谱中,实体用结点来表示,边是连接两个实体的具体的关系。由于知识图谱能够以计算机可读的方式对结构化数据进行建模,因此被广泛应用于自然语言处理领域,比如智能问答和基于内容的推荐系统。尽管知识图谱中包含着非常丰富的数据,但是其完整性还有待提高,如何识别新的知识来补充知识图谱是现在的研究热点,这项任务通常称为知识图谱的补全任务,也称为知识图谱链路预测(链接预测)。但是,目前的部分知识图谱链路预测模型存在以下弊端:(1)一些基于神经网络的模型采用多个卷积层提升性能,使得模型结构变得更深,但是,卷积层数过多会对表面语义知识的保存有负面作用,一定程度上导致表面知识的丢失。(2)大部分卷积神经网络模型只考虑将头实体和关系的特征结合,没有考虑三元组在同维度上的相关性,忽略了三元组的整体特征和翻译特性。针对以上问题,提出本文的主要研究内容如下:(1)为防止表面知识丢失,保留显性知识,提升对于潜在知识的提取能力,本文提出了一个1D和2D卷积组合嵌入的知识图谱链路预测模型。该模型对实体嵌入和关系嵌入进行矢量乘法运算,生成一个便于二维卷积的二维矩阵,矩阵中的每个元素都是实体嵌入和关系嵌入中相应元素的乘积,实现了元素级别的融合,这种机制极大得促进了实体和关系之间的交互。同时适当地使用1D卷积对输入实体嵌入和关系嵌入进行卷积运算,以提取表面和显性知识。(2)为了更好地保留三元组的整体特征和翻译特性,本文提出了一种基于关系记忆网络和卷积神经网络的知识图谱链路预测模型。该模型首先对头部实体、关系和尾部实体的输入序列进行了位置编码。然后,使用Transformer自注意力机制与记忆矩阵互动,产生编码向量,这一操作可以有效地推理实体和关系之间的复杂语义关系,并捕获实体和关系嵌入向量之间的深层关系。最后在卷积解码器部分,本文提出了一个矩阵整形策略,这极大地增加了实体和关系在更多维度上的特征交互。(3)对提出的两个模型在多个数据集上进行了链路预测实验分析,实验结果表明,本文所提出的两个模型在大多数指标上都超过了基线模型,验证了本文算法的实用性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://bishedaima.com/lunwen/48982.html
