面向推荐系统的图卷积网络
这是一篇关于推荐系统,协同过滤,图卷积网络,图表示学习,图信号的论文, 主要内容为基于图的推荐算法能深入刻画推荐系统中的各类交互信息,其中,图卷积网络类方法因具有强大的特征表征能力而得到了越来越多的关注。推荐系统中普遍存在着异质和同质两类交互信息,已有的图卷积类推荐算法无法做到对两类交互信息的统一利用。此外,在显式评分的推荐系统中评分以边权的形式出现,而现有图卷积网络框架下的推荐系统无法对评分边权加以利用。针对现有图卷积网络类推荐系统中存在的问题,本文研究了如何针对推荐系统的特点设计合理的图卷积网络结构,提出了同时利用同质和异质交互信息的图卷积推荐算法,面向以离散评分为边权的交互图的图卷积推荐算法,主要的研究工作如下:(1)推荐系统中存在两种类型的交互,一类是用户与条目间的交互,称为异质交互,刻画了用户对条目的评分模式;一类是用户间的交互和条目间的交互,称为同质交互,刻画了用户间或条目间的相似关系。为合理利用推荐系统的此性质,提出了一种图卷积网络推荐算法GCN4RS(Graph Convolutional Network for Recommender Systems),用于统一利用两类交互信息,通过信息的互惠互利提升推荐系统性能。其中异质顶点卷积用于挖掘交互图谱域中存在的连接信息,同质顶点卷积用于使相似顶点具有相近表示。算法基于神经网络,用两个模块分别提取异质和同质交互信息,并端到端地完成整个网络的学习。(2)在使用图对推荐系统进行刻画时,顶点代表用户和条目等实体,边(链接)代表实体间的交互,而评分则以边权的形式存在。已有的图卷积类推荐算法关注的重点均在于顶点和边(链接),而未能针对边权形式的评分信息进行充分挖掘。为解决此问题,提出了一种图卷积类推荐算法MP-GCN4RS(Meta-Path Based Graph Convolutional Network for Recommender Systems),借助元路径对评分边权进行合理的表征,从而充分挖掘边权中蕴含的评分信息。在真实世界的推荐系统数据集上进行的实验表明,两种算法均能针对推荐系统中不同的结构信息设计合理的图卷积网络进行提取,从而取得良好的推荐效果。
基于图结构模块的图卷积网络研究
这是一篇关于图表示学习,结构模块,共同邻居,图卷积网络,差异图的论文, 主要内容为图是一种描述实体及实体间关系的语言,关于图的研究有着悠久的历史和广泛的现实应用基础。现实生活中存在大量或具体或抽象的实体,同时这些实体之间存在复杂的关系,用图表示实体及实体间的关系更为自然,如计算机网络、分子图、社交网络、知识图谱等。此外,利用图来表示冗杂数据有利于发掘数据中的有效信息。真实图中存在很多结构特殊的子图,这些子图包含丰富的拓扑信息和语义信息,能够反映图的特性,我们称之为结构模块,结构模块是图的重要组成部分。现代机器学习往往用来处理线性数据和网格型数据,这些均为结构规则的数据,而图是一种结构不规则的数据,因此很难将现有的机器学习模型应用到图上。如何将机器学习应用到图上是近些年的研究热点,有效地表示图是解决问题的关键。早期的研究人员试图用人工设置的图特征来表示图,这种方法费时费力,同时效果不尽如人意,后期采用学习的方法来获得图表示,即图表示学习,这种方法大幅提升图相关机器学习任务的表现。其中图卷积网络(Graph Convolution Networks,GCNs)已经成为图表示学习的主流方法,根据卷积运算的不同,图卷积网络被分为谱域和空间域两类,本文主要研究基于空间域的图卷积网络。当前大多数基于空间域的图卷积网络主要采用迭代聚合邻居节点信息的方式生成中心节点的表示,这类图卷积网络存在两个缺点,一是无法完全捕获邻域内的结构模块信息。这些结构模块内部结构复杂,同时包含和中心节点相关的高阶节点,简单的一阶聚合会遗漏很多有用信息,如何充分聚合结构模块信息值得进一步研究。二是这些图卷积网络只能应用于相似图,即图中相连节点相似的图,但这些图卷积网络在差异图上表现较差,而差异图是在现实世界中普遍存在的图,如何将图卷积网络应用于差异图是尚待解决的问题。本文以如何在图卷积网络中充分利用结构模块为出发点展开研究,创新性地提出新的结构模块定义方法,系统分析新结构模块在真实图中的意义,并基于该结构模块提出新的图卷积网络模型,该模型有效解决了上述图卷积网络存在的问题。本文主要研究内容和贡献如下:基于共同邻居的结构模块CN-motif:传统结构模块指的是结构简单,规模较小的子图,这些子图不能很好地表示复杂的图结构。为了解决上述问题,本文基于共同邻居(Common Neighbors,CN)定义新的结构模块CN-motif。CN-motif的定义不依赖于特定的图,不受限于节点数量,因此更具一般性。此外共同邻居理论能够为该结构模块提供良好的可解释性。本文进一步提出CN-motif计数算法,该算法的时间复杂度不受CN-motif节点数量影响,能够快速计算CN-motif的频数。此外,本文通过系统的分析和实验,充分证明了CN-motif的有效性。基于CN-motif的图卷积网络模型:为了捕获结构模块信息,并解决差异图的表示学习问题,本文提出了基于CN-motif的图卷积网络模型CNMPGCN(CN-motifs Perceptive Graph Convolution Networks)。该模型首先根据CN-motif将每个节点的一阶邻居分组,并利用CN-motif提取高阶相关节点构建高阶图。为了显式编码邻域结构信息,该模型将每个组作为一个整体单独编码,为了区分组之间的差异性,本模型通过学习的方法为不同的组分配可正可负的权重。此外,该模型能够利用高阶图来聚合高阶信息。最后,本文通过全面的实验,充分验证了模型的性能,在结点分类任务中,该模型在多个数据集上取得当前最佳的准确率。
基于图关注网络的多场景推荐模型设计及实证分析
这是一篇关于推荐系统,图表示学习,图神经网络,深度学习,关注机制的论文, 主要内容为推荐系统凭借其高效的用户转化率、能最大程度地吸引用户、留存用户等优势被广泛应用于各大门户网站以及互联网应用。在数字化的时代背景下,仅利用用户历史行为信息进行推荐已无法实现企业的战略目标。随着传统推荐方法的能力逐渐趋于饱和,深度学习技术开始在推荐系统领域展开全面技术革新。真实推荐场景中易于收集的先验信息有限,而大多数可获得数据都表现出非欧几里得流形特性,传统的深度学习技术并不适用。图神经网络作为人工智能领域的一项新兴技术,通过挖掘图结构中的复杂关系有效地解决了这一问题。根据真实推荐场景中的先验信息不同,本文以能真实模拟邻居对中心节点具有不同重要性的图关注网络理论为研究基础,设计了两种合理且高效的推荐模型。主要工作包括以下几个方面:针对包含多种先验图数据的推荐场景,提出了一个基于多图关注融合的推荐模型,以给用户提供更好的推荐体验感。双分支残差图关注模块被提出以轻松且有效地从用户图以及物品图中提取邻居的相似特征。通过应用非线性变换操作来捕获多尺度隐矩阵,以降低维度选择的成本。此外,混合融合图关注模块旨在从用户–物品交互图中获取有价值的协同信息,并进一步细化用户和物品的隐特征。最后,整个推荐模型通过几何分解正则化损失进行优化。在合成数据集以及真实数据集上的实验结果表明,与现有方法相比,我们的模型可以在具有一定可解释性的情况下实现更好的推荐性能。针对缺乏部分先验图数据的推荐场景,开发了一个基于影响和偏好关系重构的深度动态图关注推荐模型,以此来促进用户的长期留存。由于该场景缺少用户图或者物品图,因此从影响关系以及偏好关系两个方面重新构建了图结构。在设计两个动态图关注模块时,通过引入重构的影响图和构造的偏好图来打破初始图结构的固定约束。此外,丢弃和保留边的技术用于调整初始图结构,深度特征聚合块和自适应特征融合操作用于获取高阶信息。自适应精细特征提取模块的设计使模型捕获到了更精细的隐特征。在一些基准数据集上的实验结果表明我们的模型相对于大部分现有的推荐模型具有一定的有效性和优越性。
基于图神经网络的推荐算法研究及其应用
这是一篇关于图神经网络,推荐系统,图表示学习,注意力机制,门控图神经网络的论文, 主要内容为推荐系统可以为用户提供感兴趣的推荐项目,在互联网应用中起到重要作用。而图神经网络作为一种新兴的图表示学习方法,可以基于图的结构为用户和项目生成低维特征表示,进而为推荐系统提供包含节点邻居结构信息的特征输入。因此,基于图神经网络的推荐系统具有重要的研究价值和应用前景。近年来,针对图神经网络在推荐系统中的应用研究成果颇多,但其中不少方法仍然存在下列问题:1.针对邻居节点的均匀采样方法可能会忽略掉重要邻居提供的信息;2.没有为评分预测提供合适的可学习参数,限制了图神经网络在推荐任务中的性能表现;3.没有考虑推荐系统中评分图邻居结构存在的时序特性;4忽略了图神经网络中间层输出的浅层结构特征。针对上述问题,本文完成了如下工作:1.提出了一种基于评分可信度采样的图神经网络模型。该模型包括:1)一种基于评分可信度的邻居采样方法,该方法同时考虑了评分图结构中评分的时间信息和节点的度,使得采样过程可以偏向那些更有价值的节点。2)一种基于注意力机制的评分预测方法,衡量了用户和项目的特征表示各个维度在评分预测任务中的重要程度,使得图神经网络在推荐系统中的应用效果得到改善。在六个公共数据集上验证了该模型的有效性:与现有的几种基线模型相比,该算法的MSE损失值最多可以减少27.89%,MAE损失值最多可以减少26.01%。2.提出了一种基于有序输入的门控图神经网络模型。该模型可有效应用于推荐系统。该方法的主要贡献包括:1)关注节点邻居结构的时序特性。让邻居节点按照时间顺序输入到门控图神经网络,进而利用其上下文关系捕获能力捕获邻居结构中的时序特征。2)关注中间层输出的浅层状态输出。采用多头注意力机制融合多层状态输出信息,让中间层提供的浅层结构特征更好地参与到评分预测任务中来。在六个实际数据集上验证了模型有效性:相对于最优基线,模型在其中四个数据集上降低的MSE损失分别为13.36%,8.03%,27.49%和2.52%。3.最后,将两种网络表示学习方法应用于推荐系统,实现书籍推荐。首先对书籍数据进行分析和预处理,搭建出基于评分的推荐系统环境,基于图神经网络为用户和项目生成特征向量表示;然后进一步实现评分预测,根据预测评分的排序结果为系统中的用户推荐若干个项目;系统前后端分离,采用基于Django的后端开发框架和基于VUE与Bootstrap的前端开发框架。
面向异构图节点分类问题的图卷积网络研究
这是一篇关于图神经网络,异构图,节点分类,图信号处理,图表示学习的论文, 主要内容为图作为一种数据结构,广泛存在于现实生活的数据组织形式中,如社交关系图、分子结构图、论文引用关系图、计算机网络、知识图谱等等。与图像、语音、文本等欧式数据不同,图结构数据是一种非欧数据,如何在图结构数据上建模神经网络从而提取信息进行机器学习任务是近些年来的研究热点。传统图卷积网络在图结构数据的机器学习任务上取得了重要的进展。图卷积网络的模型设计建立在同构性假设上,即图中相连节点有较大概率属于同一类别或者有相似的特征。传统图卷积网络采用一种信息传递机制,即相连节点彼此传递特征作为信息,这使得相连结点的特征趋于相似,更易于被分为同一类别。这种设计模式使得传统图卷积网络在同构图的学习任务,特别是节点分类任务上取得非常好的效果。然而,现实世界中存在着许多异构图,即相连节点有较大概率属于不同类别的图。传统图卷积网络在异构图上的节点分类任务上的表现并不理想,如何设计图卷积网络,使其无论在同构图还是异构图上的节点分类任务均能实现良好的表现,是一个目前仍在探索的问题。根据对图结构信息的利用方式的不同,图卷积网络可以被分为空域图卷积网络与频域图卷积网络两种。针对图卷积网络在异构图上的节点分类任务表现不佳的问题,也可以从空域角度和频域角度分别进行分析,因此空域图卷积网络和频域图卷积网络目前均有相关工作尝试解决这个问题。在空域图卷积网络的相关工作中,一种重要思路是设计更合理的信息传递机制,特别是传递有符号的信息,然而,现有的工作没有将点对之间的同构度与异构度对分类结果的影响显式的区分出来,而只是采用一种隐式的方式。如何显式建模点对之间的同构度与异构度,并利用其引导信息的传递,是一个值得研究的问题。频域角度认为,传统图卷积网络实际上起到了低通滤波器的作用,它滤除了高通信号,保留了低通信号。而高通信号对于异构图更为重要,因此频域图卷积网络的相关工作主要尝试设计可学习的图滤波器,使其能够根据图结构数据自适应的调整图滤波器。然而,现有的相关工作主要使用单个可学习的滤波器,异常检测领域中已有工作使用两个滤波器分别学习低频和高频信号。在节点分类任务上能否使用多个滤波器,并使其起到不同的作用,同样是一个值得研究的问题。本文以面向异构图的节点分类问题的图卷积网络为研究方向,分别从空域角度和频域角度设计两种新的图卷积网络节点分类模型。本文主要内容如下:·显式预估的同构度与异构度引导的图卷积网络该模型设计使用一种改善的信息传递机制,该机制使用显式预估的点对的同构度与异构度自适应地引导信息传递,该机制可以使无论同构图还是异构图中属于不同类别的节点所学习到的表征更易于被区分。同时为了能够预估准确的同构度和异构度,该模型使用深度游走算法提取图结构信息来预训练预估器,并联合原始节点属性信息预训练的预估器共同进行预估。本文通过对比实验与消融实验说明了该模型的有效性。·联合多图滤波器的图卷积网络该模型基于针对节点分类问题的可学习多项式滤波器,使用多个图滤波器对节点特征进行滤波,并通过注意力机制加和多个滤波结果。本文通过实验说明了该模型的有效性,同时本文使用频率响应函数和滤波前后的图信号的对比来解释该模型如何在节点分类问题中利用图结构信息,表明该模型具有较好的可解释性。·空域模型与频域模型的优缺点对比。通过从分类效果,可解释性,计算复杂度与时间开销,模型复杂度与模型参数量四个角度对比上述两个模型,以及有代表性的空域和频域对比模型,综合比较空域与频域两种图神经网络的优缺点。
基于图神经网络的多场景推荐任务研究与应用
这是一篇关于推荐系统,图表示学习,图神经网络,自监督学习的论文, 主要内容为信息技术的不断发展,使得互联网已经成为人们日常生活中密不可分的一部分。与此同时,信息过载的问题显得越来越突出,用户在海量数据中难以快速定位到自己的需求。推荐系统的出现正是为了解决这种“信息过载”的问题,例如商品推荐,可以通过深度挖掘用户的偏好来给用户进行精准的商品推荐。与此同时,伴随着实际问题中诸多的复杂场景,推荐任务也随之变得多种多样,用户出发的推荐任务模式和从物品出发的推荐模式也逐渐。近年来,图神经网络的迅速发展,为解决推荐系统中的上述问题提供了强大的基础和机会。事实上,GNN通过传播嵌入信息来迭代地聚合邻域信息。通过堆叠传播层,每个节点可以访问其高阶邻居的信息,这和传统方法那样只访问其一阶邻居信息的方式有所不同。凭借其在处理结构数据和探索结构信息方面独特的优越性,基于GNN的方法已成为推荐系统中最先进的新方法。在学术研究中,大量工作表明,基于GNN的模型优于以前的方法,并在公共基准数据集上取得了大量的最新成果。在工业界,GNN也已部署进大规模的推荐系统中,以产生高质量的推荐结果。为了充分论证GNN在多个推荐场景中的有效性,本文从“多行为推荐”、“捆绑推荐”以及“以物推物”这三种模式出发,分析GNN在具体场景中的可用性和缺陷,并依次完成了对不同推荐场景中图模型的设计与论证。为探究电商场景下“多行为”的推荐模式,本课题首先从数据层次分析了多行为推荐相比单行为推荐的优势,同时分析了引入多行为后的推荐场景固有的先验知识。其次,为了实现多个行为间的“求同存异”,我们设计了一种基于图自监督的多行为推荐模型S-MBRec,设计了一种自适应的半监督任务和星型的自监督任务,两个任务进行联合优化。最后,在公开数据集上的大量实验表明,我们提出的模型能够有效提升多行为下的推荐性能。为探究商品推荐下的捆绑推荐问题,本课题基于中国移动权益套餐推荐的场景,分析得到推荐套餐为组合态(即多个APP的组合套餐)。“用户-套餐-APP”之间的三元关联关系,即:用户和权益套餐有交互信息;其次,套餐和APP也有交互信息,表示每种套餐包里包括哪几种APP;最后,用户和APP之间也有交互,用来表示用户使用过哪些APP。在该研究内容下,我们由浅至深,首先解析了权益套餐推荐背后的业务价值和逻辑,然后针对真实场景数据进行了数据清洗、特征工程。最后给出相应的图模型设计方案,生成挖掘用户在套餐和APP维度上的综合偏好,生成推荐结果,最后将模型部署到移动公司的内部平台。为探究“以物推物”的推荐模式,本课题以美团优选的相似门店检测(输入一个门店数据,返回最相似的若干个门店,以此推荐给管理者)的实际应用出发,深度挖掘以物推物的建模特点和特有的挑战。该研究内容旨在探究图神经网络下的重复&相似实体推荐(检索),思考“如何显式建模实体之间的关联?如何刻画多个模态之间的关联?如何解决真实场景中标签极度匮乏的挑战?”这些问题。在该研究内容下,我们利用多模态特征构建了多关系图,然后设计了有效的对比学习和自训练学习框架,应对标签极度缺失的问题。最后生成了一套图对比自训练的模型(CT-GNN)。通过大量的实验验证,证明了我们提出模型的有效性。
异质图表示学习算法研究及应用
这是一篇关于异质图,图神经网络,图表示学习,元路径,离职预测的论文, 主要内容为现实生活中,很多事物都可以表示为包含多种类型节点和不同交互关系的异质图的形式,如推荐系统、知识图谱等。异质图表示学习方法旨在将其丰富的结构和语义信息映射到低维向量空间,进而将这些特征用于下游的节点分类、链接预测等任务。异质图神经网络模型作为一种结合了深度学习技术的表示学习方法,近年来受到学者的广泛关注,其关键在于如何挖掘并融合异质的结构、语义以及节点属性等信息。此外,现实网络往往具有高度动态性,如何捕获网络的时间敏感特征也成为研究的重点方向之一。本文通过对现有的异质图表示学习模型进行对比分析,并针对其不足提出了相应的解决方案,主要的研究内容包括以下两个方面:(1)在异质图神经网络模型方面,现有的研究往往基于同质邻居之间的信息传递,舍弃了异质邻居丰富的结构和属性信息,或者不加区分地对待同质和异质邻居节点,使得模型的表达能力不足。针对该问题,本文提出了一种基于元路径子图学习的异质图神经网络模型HMSG。具体而言,本文首先通过属性变换将异质节点多维度属性信息映射到相同维度的潜在向量空间;然后按照元路径的规则将异质图分解为多个同质子图和异质子图,每个子图含有其独特的结构和语义信息;接着分别对每个子图应用相应的消息聚合方法,这样不仅可以保留同质子图的结构和语义信息,还可以挖掘到更多的异质属性和结构信息;最终将每个节点在不同子图中的表征进行融合获得完整的特征向量。为了验证所提出模型的效果,本文分别在节点分类、节点聚类、链接预测等任务中使用多个数据集进行实验评估。实验结果显示,本文提出的异质图神经网络模型可以挖掘到更多的信息,与基线模型相比在各项指标中的性能均处于最优。(2)针对现实网络高度动态的特点,本文提出了一种动态二分图表示学习模型DBGE。首先,通过时序随机游走规则进行采样获得按照时序递增排列的节点序列集合,然后应用skip-gram模型获取每个节点的低维向量表示。本文将上述模型应用于员工离职预测问题,具体来说,先将员工的工作记录表示为动态二分图的形式,然后在该二分图上应用DBGE模型学习节点的低维特征表示,最后结合员工基本属性特征,并使用机器学习分类模型进行预测。本文通过对比只使用基本属性特征和结合表示学习特征两种情况下模型的预测效果,验证所提出的动态二分图表示学习模型对员工离职预测问题的有效性。同时利用多个数据集进行了链接预测和可视化实验,验证模型相对于基线模型的优势。
基于模型迁移和领域自适应的轴承故障诊断研究
这是一篇关于轴承,故障诊断,迁移学习,领域自适应,图表示学习的论文, 主要内容为轴承作为旋转机械关键零部件之一,一旦发生故障,轻则影响机械设备运行,重则造成安全生产事故,因此开展轴承故障诊断研究具有重要现实意义。由于深度学习能够从海量数据中自动提取故障特征,在一定程度上能有效降低人工参与的成本投入,然而基于深度学习的轴承故障诊断方法在工程实际应用中仍然存在一定的局限性:1)缺乏大量的有效带标签数据,深度学习模型训练困难;2)轴承运行工况变化,引起训练/测试数据分布差异大,导致模型泛化性能不足;3)学习模型在不同设备间诊断应用中存在适用性差问题。为了解决上述问题,本文将迁移学习相关理论引入到轴承故障诊断中,结合时频分析、深度卷积神经网络和图表示学习等方法,开展基于模型迁移和领域自适应的轴承故障诊断研究,分析解决轴承在相同工况下、不同工况间以及不同设备间三种故障诊断问题。本文的主要工作如下:针对相同工况下轴承诊断学习模型训练过程中存在的有效带标签数据缺失问题,提出基于时频图像和模型迁移的小样本轴承故障诊断方法。首先,通过小波包分解和重构滤除振动信号噪声;然后,利用频率切片小波变换将重构后的信号构造为二维时频图像;最后,采用模型迁移方法,使用预训练好的Res Net50模型提取二维时频图像特征训练softmax分类器,在凯斯西储大学轴承数据集上进行实验验证,平均分类准确率为99.90%。针对不同工况间训练/测试样本数据分布差异问题,提出一种基于混合距离度量和领域自适应的跨工况轴承故障诊断方法。首先,设计一种结合最大均值差异和相关对齐算法的混合距离度量方法,最小化源域和目标域之间的数据分布差异;进一步构建基于领域自适应的深度神经网络模型,通过提高网络深度,能够学习到更加抽象的数据特征;最后,在凯斯西储和帕德博恩大学轴承数据集上进行模型泛化性能验证,平均分类准确率分别为99.48%和99.39%。针对不同设备间轴承故障诊断中学习模型适应性差以及传统欧氏数据无法有效表征关系数据的问题,提出基于图表示学习的跨设备领域自适应故障诊断研究方法。首先,通过快速傅里叶变换提取频谱特征,将源域和目标域样本转换为节点表示;然后,采用K最近邻算法构造源域和目标域图结构;最后,构建域自适应图卷积神经网络,在跨工况和跨设备诊断任务中进行模型适应性验证,平均分类准确率分别为99.89%和92.99%。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设海岸 ,原文地址:https://bishedaima.com/lunwen/48040.html