基于图神经网络的小样本节点分类方法研究
这是一篇关于图表示学习,图神经网络,小样本学习,元学习,节点分类的论文, 主要内容为当前社会的信息传递方式不断迭代,数据形态结构日益复杂。在生物信息学、社交网络分析、交通网络规划等众多领域,图因其独特的数据结构和卓越的表征能力得到广泛应用。随着人工智能和深度学习的不断进步,图表征学习也在不断推进。其中,图神经网络中的节点分类问题是一个重要的研究方向,它能够有效地表示非欧几里得空间的图结构数据,并且得到了越来越多的关注和研究。但在现实世界中,标签样本数据往往很少且标注成本高昂,因此小样本节点分类学习逐渐成为一个热门的研究方向。其核心问题是如何仅使用少量标签数据训练模型,使之具有良好的泛化能力。目前,元学习方法和数据增强方法是两种重要的研究方向。然而,传统基于元学习的技术模型常常受到数据稀缺的限制,难以训练出表现良好的元任务,导致最终效果不佳。另外,基于元学习的方法训练速度慢,数据增强方法通常只关注标签样本数据,忽略大量的无标签数据,且增强样本的表征能力不足。针对这些问题,本文提出了两种改进策略:(1)提出基于子图采样的元学习小样本节点分类模型。首先,使用两层GCN对所有数据进行嵌入学习以得到特征表示。接下来,使用信息熵排序,并选取每个新类的前个样本。然后,将这些样本数据按照标准差和方差生成特征样本数据,并结合基类数据样本进行调整校正。最后,将新生成的特征数据使用高斯分布方式生成新的样本数据,并对这些新数据进行子图生成。将每个子图作为一个元任务,放入MAML框架中进行学习,并在学习参数微调后在查询集上进行小样本节点分类。(2)提出基于置信度标签传播的数据增强小样本节点分类模型。通过子图采样的元学习模型能够很好地提高小样本节点分类的表现,但其非常依赖于生成子图的表征能力,且基于元学习训练速度慢,非常影响模型最后的表现。因此,本文提出图数据增强的小样本节点分类,很好的缓解了第一个方法的训练时间过长问题,然后利用置信度标签传播方法来提高节点特征表示能力。综上所述,本文提出了两种算法模型,来解决当下小样本节点分类研究存在的问题,其分别通过不同的改进方式提高了算法的表现能力。大量的实验与分析验证了这些方法的有效性。
基于图神经网络的社交网络节点分类研究
这是一篇关于节点分类,信息提取,信息融合,图卷积网络,社交网络的论文, 主要内容为社交网络节点分类在社交网络相关研究中居于上游,将网络中代表着人的节点进行精确分类,可以使下游许多研究任务如链路预测,推荐系统等获得实质性进展,具有很大的研究价值。现有节点分类方法存在信息提取不完整,模型分类效果不佳的问题,本文在现有社交网络节点分类研究基础上,对社交网络进行深入分析,深刻理解已有神经网络模型,在其基础上进行改进,进而提高社交网络节点分类精确度。针对传统图卷积网络(Graph Convolutional Networks,GCN)存在的信息提取不完整,社交网络节点分类精确度有待提升的问题,提出融合多角度信息和图卷积网络的社交网络节点分类模型(Multi-Angle Information Fusion-GCN,MAIF-GCN)。首先,利用特征向量和邻接矩阵,分别构造包含节点间同质信息的矩阵和共引信息的矩阵;其次,分别在正则化后的三个矩阵空间进行两层图卷积,得到输入特征在三种空间里的嵌入;接着,将得到的嵌入求和,并且使用注意力机制,实现邻接最近邻、同质最近邻、共引最近邻及三者组合的多角度信息的融合;最后通过训练获得节点分类器。实验结果表明,与现有的GCN变体模型相比,提出的MAIF-GCN模型在社交网络实验数据集上分类准确率提高1%及以上,证明了MAIF-GCN模型具有良好的信息挖掘和信息融合能力。MAIF-GCN的工作有效提高了社交网络节点分类的精确度,但由于其模型固定,在引入更多有效信息后难以复用,不够灵活。为了解决这个问题,进一步提出一种融合多元信息的图卷积网络节点分类模型(Integrating Multiple Information-GCN,IMIGCN)。首先,在上述方法提取出同质信息矩阵和共引信息矩阵的基础上,分析网络中的三角结构,通过转换公式构造包含节点间三角信息的三角信息矩阵。提取三类信息的同时,融入节点自身信息。接着,改进传统的GCN模型。将GCN的单核改进为适应性多核,通过注意力机制将多核学习的结果自适应融合为一个嵌入,达到一次卷积同时融合多元信息的效果。为了学习更多信息,将模型过程中的嵌入设计为多头,通过多头嵌入注意力自适应学习多头嵌入的权重分配。实验结果表明,与现有较优的节点分类模型相比,提出的IMIGCN模型在社交网络上的分类精确度提高0.98%~4%,F1指标提升1%~4%,证明了提出的IMIGCN模型合理有效。
基于表示学习的论文分类方法研究
这是一篇关于表示学习,节点分类,社交网络,人工神经网络的论文, 主要内容为网络表示学习旨在通过算法自动学习实体的特征来为下游任务提供信息量更加丰富、更加便于利用的实体表示,目前已经在计算机视觉、自然语言处理和推荐系统等多个领域的研究中得到了大量的应用。图卷积神经网络(GCN)是一种具有代表性的结合了神经网络的表示学习方法,可以针对特定的下游任务学习合理的网络实体特征。但是普通的图卷积神经网络主要侧重于特征在网络结构中的传输和聚合,忽视了实体在特征空间中的相对位置,从而使得表示能力存在不足。此外,普通的图卷积神经网络基于平均操作来聚合特征信息,在可解释性方面有一定的欠缺。这些问题限制了图卷积神经网络在各项下游任务中所取得的效果的进一步提高。针对图卷积神经网络所存在的上述缺陷,本文在学术网络领域内提出了一种改进的基于网络表示学习的论文分类算法,它同时利用文本的特征信息以及论文引用网络中的链接信息来进行半监督学习,从而达到仅仅使用数量比较少的标注数据和比较多的无标注数据就能训练出一个拥有较高分类性能的论文分类器的目的。具体而言,本文提出了一种新型的图卷积神经网络结构RW-GCN,它通过谱图卷积的方式进行节点之间的特征聚合,然后遵循神经网络的训练模式来对隐藏层的参数进行训练,与普通GCN相比,其主要优势在于,根据网络结构对节点的隐藏层特征在特征空间进行了动态的调整,因而获得了更强的结构信息学习能力。此外,RW-GCN通过随机游走的方式生成关系矩阵,然后进行特征聚合,这一操作相比于普通GCN获得了更强的可解释性。我们在三个广泛使用的学术文献引用网络数据集上进行了对比实验,以网络结构和属性特征信息作为输入来预测文献类别,并且以精确度作为评价指标。实验结果显示,与对比方法相比,在不同的数据集中,本文所提出的方法都获得了显著的准确率提升。
基于图表示学习的节点聚合方式优化
这是一篇关于图表示学习,图神经网络,PageRank,节点分类,马尔可夫扩散核的论文, 主要内容为图结构数据在现实生活中广泛存在,能够广泛的构建实体与实体之间的联系,现实生活中很多网络,如社交网络,引文网络,交通网络,推荐系统,生物化学中蛋白质的构建等,都可以用图结构数据所表示。节点聚合方式是指将邻居节点的信息汇总到中心节点,生成新的节点向量表示的过程,优化节点聚合方式可以提高图表示学习的性能,是图表示学习领域最重要的问题之一。随着深度学习在各领域获得了成功,将深度学习迁移到图表示学习上已经成为当前研究的一个热点。在当前的图表示学习中,常用的节点聚合方式为图神经网络,具体为:图卷积网络(GCN)、简化图卷积(SGC),图注意力网络(GAT)、PPNP等。然而,这些方法仍然存在一些问题,现有图神经网络在处理图结构数据中不够强大,无法充分挖掘图结构数据中潜在信息和潜在联系。在传播过程中,邻域大小往往难以扩展,且节点的传播只考虑了最近的邻居节点,在进行多次卷积操作之后,传统图神经网络有着过平滑,泛化性能差等问题。为了解决这些问题,本文进行了以下工作:(1)针对图神经网络无法充分提取出节点特征和图结构中的相关信息,存在过平滑等问题,本文提出一种基于Page Rank的图混合随机网络方法(PMRGNN)。为了能够有效的聚合多阶邻域信息,提出一个带有Page Rank的随机传播策略的图数据随机增强模块,其次,设计了混合网络结构,通过多层感知机(MLP)和卷积层相结合,使得节点和其邻居的信息得到有效利用。此外设计了特征提取器损失和图正则化项,通过最小化两个特征提取器之间的距离,使两个特征提取器提取出的信息保持一致性,同时加入图正则化项,有效利用节点与其邻居信息,提高了模型的泛化性能。(2)针对传统图神经网络算法存在着过平滑,泛化性能差,鲁棒性不高的特点,本文提出了基于马尔可夫扩散核的自适应图随机神经网络(ARM-net)。首先,使用伯努利分布对特征矩阵进行随机数据增强,使节点对特定邻域不敏感,从而提高模型的鲁棒性。其次,引入可学习参数,基于马尔可夫扩散核定义自适应传播过程,在传播过程中,将传播和特征转换分离,先进行传播,再进行特征转换。通过解耦传播和特征转换,有效拓展了节点的邻域,使得节点和其邻居的信息得到有效利用,平衡了来自每个节点的局部和全局邻域信息,也降低了过平滑的风险。最后本文设计了图正则化项,一定程度上降低了过拟合,增强了模型的泛化性能。为了验证论文中模型的有效性,在Cora,Citeseer,Pubmed三个数据集上分别进行了实验,并对实验结果进行综合性分析,在不同的评价指标下,本文所提出的方法都有较好的效果。
基于网络采样与特征编码的图表示学习算法设计与实现
这是一篇关于表示学习,网络采样,特征编码,节点分类,图结构数据的论文, 主要内容为表示学习可以将图结构数据中的信息编码到低维向量空间中,以便计算机对图结构数据进行处理与计算,这不仅对基于图结构数据的知识推理计算具有重要意义,而且能有效促进知识图谱在社会智能化发展中的落地应用。本文通过总结当前表示学习领域研究现状,提出基于网络采样与特征编码的图表示学习算法框架,同时发现当前算法存在几个不足:第一,以整个网络为算法输入易忽略同一个节点在不同局部网络结构中的不同特征,导致模型在复杂图结构数据中难以区分部分相邻节点;第二,基于节点和属性均匀采样的模型不能有效区分不同属性对节点间产生关联的重要性,导致在单个节点的有限次采样中,所得采样序列蕴含的网络信息有限。针对上述问题,本文分别从多重网络分析与属性加权采样两个方面提出了解决方案,同时研究如何设计有效的特征编码模型提取采样序列特征。主要创新与贡献点如下:(1)提出了基于多重网络分析的表示学习算法,在节点属性混合采样的基础上通过设置不同跳数获得包含不同子网结构的采样子序列,实验结果表明,该算法可有效区分不同局部网络结构下的节点特征,且在三个公开数据集上的节点分类实验结果表现明显优于相关工作,整体平均准确率性能提升约12.59%;(2)提出了基于节点与加权属性混合采样的表示学习算法,一方面,该算法通过节点间的共有属性分布计算属性采样权重,再通过节点与加权属性混合采样得到采样序列,实验结果表明,该混合采样方法可以区分不同属性对节点间关联信息的重要性,使采样序列中含相同标签的节点采样概率增加,从而令网络采样序列中包含更多有效信息;另一方面,提出一种结合双向长短期记忆与注意力机制的特征编码模型,用于提取采样序列中的网络结构和语义特征,实验结果发现,该表示学习算法在三个公开数据集上的节点分类平均准确率为82.41%,性能表现比相关工作高1.20%。基于上述工作,本文开发了一个表示学习算法应用验证系统,该系统通过可视化方式实现了不同算法在图结构数据上的应用效果对比与分析。结合实际应用表明,本文所提算法可在一定程度上缓解大规模网络和含属性的稀疏网络中的节点特征提取问题,提高图结构数据的向量表达质量与下游任务性能。
基于消息传递的异构网络表示学习研究
这是一篇关于异构信息网络,网络表示学习,图卷积网络,节点分类,推荐系统的论文, 主要内容为异构信息网络是对真实世界多元化实体及实体间复杂关系的一种抽象表示,如社交网络、电商网络等。随着各种线上平台的不断发展和网络规模的不断扩大,异构信息网络中除了网络结构信息之外,还有复杂的异质性信息,比如多样化的节点属性信息和交互附带的额外信息。在大规模异构网络中挖掘出有价值的信息是异构网络表示学习的内容,也是近年来大规模网络数据挖掘领域最为热门的课题。早期网络表示学习大多采用矩阵分解的方式,具有高计算复杂度,且忽略网络异质信息,不适用于规模庞大、内容丰富的异构信息网络。学者们开始利用被忽略的异质信息,设计有效的异构网络表示学习模型。但是,如何有效融合网络中异质性信息,并部署于大规模异构信息网络的应用仍是一个很大的挑战。本文根据异构网络表示学习的发展动态,对近几年具有代表性的一些异构网络表示学习模型进行了总结和分析,根据研究内容和方法将其主要分为四类:基于边采样的方法、基于随机游走的方法、基于子图的方法、基于图神经网络的方法,并对这四类方法进行比较和分析。传统的图卷积过程中矩阵运算对输入有较高的约束,且对于结构异质性不易区分,考虑异构信息网络结构不平衡问题,本文采用灵活性更高的基于消息传递的图卷积方式,完成了对异质信息融合和推荐任务的有效探索,主要有以下贡献:(1)针对现有异构网络表示学习方法对异质性信息利用不足的问题,本文提出了类型感知的异构图卷积网络(ETAGCN)。模型在局部聚合过程中引入邻居注意力和类型注意力量化邻居实体和邻居实体簇在聚合过程中对中心节点特征的影响。然后将每次GCN迭代结果构造成节点嵌入演化序列,通过引入LSTM学习演化特征,避免近邻信息弱化问题。实验结果表示模型在节点分类、可视化任务均表现良好。(2)针对推荐系统中交互规模庞大,一些现有推荐模型无法有效部署于大规模异构信息网络问题,本文提出用于推荐的局部采样异构图卷积网络(HGCNLS)。模型在局部邻居采样过程中引入元路径游走的方式进行多跳邻居的采样,以上次采样的终点作为下一次采样的起点,经过多次采样获得中心节点的多阶局部网络。在局部网络信息聚合过程中引入节点在原始网络中的度信息,将原网络结构信息作为邻居信息聚合的权重依据,有效融合节点属性特征和网络结构特征。从实验中的推荐任务中可以看出,模型在三个真实推荐数据集尤其是大规模网络中表现优秀,性能好于对比方法。
基于图神经网络的社交网络节点分类研究
这是一篇关于节点分类,信息提取,信息融合,图卷积网络,社交网络的论文, 主要内容为社交网络节点分类在社交网络相关研究中居于上游,将网络中代表着人的节点进行精确分类,可以使下游许多研究任务如链路预测,推荐系统等获得实质性进展,具有很大的研究价值。现有节点分类方法存在信息提取不完整,模型分类效果不佳的问题,本文在现有社交网络节点分类研究基础上,对社交网络进行深入分析,深刻理解已有神经网络模型,在其基础上进行改进,进而提高社交网络节点分类精确度。针对传统图卷积网络(Graph Convolutional Networks,GCN)存在的信息提取不完整,社交网络节点分类精确度有待提升的问题,提出融合多角度信息和图卷积网络的社交网络节点分类模型(Multi-Angle Information Fusion-GCN,MAIF-GCN)。首先,利用特征向量和邻接矩阵,分别构造包含节点间同质信息的矩阵和共引信息的矩阵;其次,分别在正则化后的三个矩阵空间进行两层图卷积,得到输入特征在三种空间里的嵌入;接着,将得到的嵌入求和,并且使用注意力机制,实现邻接最近邻、同质最近邻、共引最近邻及三者组合的多角度信息的融合;最后通过训练获得节点分类器。实验结果表明,与现有的GCN变体模型相比,提出的MAIF-GCN模型在社交网络实验数据集上分类准确率提高1%及以上,证明了MAIF-GCN模型具有良好的信息挖掘和信息融合能力。MAIF-GCN的工作有效提高了社交网络节点分类的精确度,但由于其模型固定,在引入更多有效信息后难以复用,不够灵活。为了解决这个问题,进一步提出一种融合多元信息的图卷积网络节点分类模型(Integrating Multiple Information-GCN,IMIGCN)。首先,在上述方法提取出同质信息矩阵和共引信息矩阵的基础上,分析网络中的三角结构,通过转换公式构造包含节点间三角信息的三角信息矩阵。提取三类信息的同时,融入节点自身信息。接着,改进传统的GCN模型。将GCN的单核改进为适应性多核,通过注意力机制将多核学习的结果自适应融合为一个嵌入,达到一次卷积同时融合多元信息的效果。为了学习更多信息,将模型过程中的嵌入设计为多头,通过多头嵌入注意力自适应学习多头嵌入的权重分配。实验结果表明,与现有较优的节点分类模型相比,提出的IMIGCN模型在社交网络上的分类精确度提高0.98%~4%,F1指标提升1%~4%,证明了提出的IMIGCN模型合理有效。
基于图神经网络的社交网络节点分类研究
这是一篇关于节点分类,信息提取,信息融合,图卷积网络,社交网络的论文, 主要内容为社交网络节点分类在社交网络相关研究中居于上游,将网络中代表着人的节点进行精确分类,可以使下游许多研究任务如链路预测,推荐系统等获得实质性进展,具有很大的研究价值。现有节点分类方法存在信息提取不完整,模型分类效果不佳的问题,本文在现有社交网络节点分类研究基础上,对社交网络进行深入分析,深刻理解已有神经网络模型,在其基础上进行改进,进而提高社交网络节点分类精确度。针对传统图卷积网络(Graph Convolutional Networks,GCN)存在的信息提取不完整,社交网络节点分类精确度有待提升的问题,提出融合多角度信息和图卷积网络的社交网络节点分类模型(Multi-Angle Information Fusion-GCN,MAIF-GCN)。首先,利用特征向量和邻接矩阵,分别构造包含节点间同质信息的矩阵和共引信息的矩阵;其次,分别在正则化后的三个矩阵空间进行两层图卷积,得到输入特征在三种空间里的嵌入;接着,将得到的嵌入求和,并且使用注意力机制,实现邻接最近邻、同质最近邻、共引最近邻及三者组合的多角度信息的融合;最后通过训练获得节点分类器。实验结果表明,与现有的GCN变体模型相比,提出的MAIF-GCN模型在社交网络实验数据集上分类准确率提高1%及以上,证明了MAIF-GCN模型具有良好的信息挖掘和信息融合能力。MAIF-GCN的工作有效提高了社交网络节点分类的精确度,但由于其模型固定,在引入更多有效信息后难以复用,不够灵活。为了解决这个问题,进一步提出一种融合多元信息的图卷积网络节点分类模型(Integrating Multiple Information-GCN,IMIGCN)。首先,在上述方法提取出同质信息矩阵和共引信息矩阵的基础上,分析网络中的三角结构,通过转换公式构造包含节点间三角信息的三角信息矩阵。提取三类信息的同时,融入节点自身信息。接着,改进传统的GCN模型。将GCN的单核改进为适应性多核,通过注意力机制将多核学习的结果自适应融合为一个嵌入,达到一次卷积同时融合多元信息的效果。为了学习更多信息,将模型过程中的嵌入设计为多头,通过多头嵌入注意力自适应学习多头嵌入的权重分配。实验结果表明,与现有较优的节点分类模型相比,提出的IMIGCN模型在社交网络上的分类精确度提高0.98%~4%,F1指标提升1%~4%,证明了提出的IMIGCN模型合理有效。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码港湾 ,原文地址:https://bishedaima.com/lunwen/48553.html