基于知识蒸馏的多源跨网络节点分类方法研究
这是一篇关于图节点分类,知识蒸馏,多源迁移学习,图嵌入表示,分布差异的论文, 主要内容为网络,即具有图结构的数据,作为一种能够有效表达实体间关系的数据结构,被广泛应用于推荐系统,社交网络分析等领域。但是对图数据进行挖掘和分析需要大量的标注数据,即图节点带有标签。但是在现实生活中得到的图数据往往没有大量的标注信息,只有少量的标注信息甚至完全没有。而图数据往往规模庞大,甚至可能有数十亿个节点,如果进行人工标注将耗费大量的人力、物力和时间。并且可能会导致用户隐私数据泄露的风险。跨网络节点分类,旨在利用网络嵌入、迁移学习技术将从含有丰富标注的源网络中学到的节点嵌入表示,迁移到目标网络,解决目标网络中节点标注信息稀疏的问题。将知识蒸馏技术引入到多源跨网络节点分类方法中,能够有效提高学生模型的分类概率中的信息量。图可以按照节点和边是否只有一种类型分为同构图和异构图两种类型。同构的节点和边都只有一种类型。而异构图相比同构图更为复杂,节点和边至少一个不只一种类型。在研究图节点分类任务时,如果简单的将异构图看作同构图处理,忽略不同类别的节点和边的差异,是无法充分利用图中包含的信息,也无法在分类精度上获得令人满意的结果。因此本文中对于同构图和异构图分别提出了跨网络节点分类方法。针对多源同构跨网络节点分类问题,本文提出了一种基于节点蒸馏的对抗跨网络节点嵌入方法,该方法首先利用源域网络数据进行教师模型的训练,训练出网络嵌入模块和节点分类器模块,并且利用对抗域适应的方法让网络嵌入模块能够学习到既能够区分节点类别,又能够学习网络数据的领域不变性的表示。其次,通过计算源网络节点和目标域网络节点之间分布差异,选择一定比例的和目标域网络数据相似的源域网络节点训练学生模型。最后,将目标网络数据作为输入,输入到多个学生模型获得多个目标域网络中节点的预测结果。通过对这些预测结果进行加权聚合得出最终预测结果。在引文网络和蛋白质交互网络上的实验。大量试验表明,本文所提出的多源同构跨网络节点分类模型的分类准确率优于现有的最先进的模型。针对多源异构跨网络节点分类问题,本文提出了一种基于元路径蒸馏的共享参数网络嵌入方法,该方法首先利用源域网络数据进行教师模型的训练,在不同的元路径的条件下,用共享参数的网络嵌入模块提取源网络和目标网络的特征信息。使用最大均值差异MMD和L1归一化来对异构网络节点进行语义级嵌入和节点级嵌入进行对齐,让网络嵌入模块能够学习异构网络数据节点的领域不变性表示。其次,本文对源域异构网络数据的元路径进行蒸馏,选取一定比例的与目标网络元路径分布最为接近的元路径,训练学生模型。最后,将目标网络数据作为输入,输入到多个学生模型。对得到的多个预测结果进行加权聚合得出最终预测结果。在多个异构引文网络上的大量实验表明本文所提出的多源异构跨网络节点分类模型的分类准确率优于现有的最先进的模型。
门控图注意力网络的研究与应用
这是一篇关于注意力机制,门控机制,图节点分类,癌症分类,链接预测的论文, 主要内容为现实生活中有很多场景是用更普遍的图结构进行表示的,如引文网络、蛋白质分子网络、知识图谱等等。传统的卷积神经网络在挖掘图结构数据的特征和模式方面显得无能为力。为了能够在图结构数据上进行卷积操作,研究者提出了图卷积神经网络以解决图结构数据上平移不变性缺失所造成的问题。近几年,图卷积神经网络发展迅速,在用户推荐系统、舆情监控和控制、癌症预测等领域都得到了大量的成功应用。为此,本文在详细研究图卷积神经网络的网络结构和发展历程后,总结出了图卷积神经网络目前存在的两大主要挑战:一是缺乏多阶邻域信息的聚合;二是缺乏先验知识的加强。在此基础上,提出一种基于门控机制的图注意力卷积神经网络,并将其应用到图节点分类任务上;然后对提出的模型进行适应性修改,分别提出了两个新的模型以应用到癌症分类任务、知识图谱链接预测任务上;最后验证本文提出的模型的有效性和可解释性。本文提出的三个模型如下:1.提出门控图注意力网络(Gated Graph Attention Network,GGAT)并将其应用到图节点分类任务上。GGAT模型通过引入门控机制以突破主流图神经网络只能依赖短程信息的限制,并能够对信息进行选择和过滤。在基准图数据集Cora、Citeseer、Pubmed上的实验结果表明GGAT模型在图节点分类任务上较传统神经网络模型获得更高的分类准确率。2.提出融合先验知识的门控图注意力网络(GGAT with Prior Knowledge,PK-GGAT)并将其应用到癌症分类任务上。实验结果表明原始GGAT模型在癌症分类任务上较传统机器学习算法以及神经网络模型获得更高的分类准确率;在融合先验知识后,PK-GGAT模型比GGAT模型取得更好的分类准确率,这表明先验知识能够加强模型性能。另外,本文还提出一个混合特征选择算法(Hybrid Feature Selection,HFS)以减少传统机器学习算法的训练时间。3.提出关系门控图注意力网络(Relational Gated Graph Attention Network,R-GGAT)并将其应用到知识图谱链接预测任务上。在知识图谱数据集FB15k、FB 15k-237、UMLS、WN18RR上的实验结果表明R-GGAT模型在链接预测任务上较传统神经网络模型获得更高的预测效果。
基于结构学习的网络嵌入增强技术研究
这是一篇关于网络嵌入,网络结构学习,图节点分类的论文, 主要内容为网络嵌入,又称网络表示学习,在社交网络、推荐系统、知识图谱、自然语言处理等领域都有着广泛的应用。典型的网络嵌入技术以应用中的网络结构等信息为输入,通过嵌入模型获取网络节点的低维特征,基于这些低维特征可以方便的进行如节点分类、聚类等机器学习任务。现实世界的网络结构数据往往存在各种缺陷,如网络结构中边的遗失、噪音等问题,已有的网络嵌入模型被应用在具有缺陷的网络结构数据上时往往效果大打折扣。目前的网络嵌入工作鲜有考虑网络结构数据本身的缺陷问题。本文工作针对网络嵌入中数据存在的诸如边缺失、稀疏、错误等网络结构缺陷问题进行研究,提出一种迭代式方法进行网络结构学习,从而提高网络嵌入的效果。具体而言,本文工作的主要内容包括:1.针对存在边缺失缺陷的网络结构,提出一种迭代式的网络结构学习方法IAL。该方法在每一轮的学习中包括子集筛选、边评价、网络结构更新、网络结构评价等模块。该方法对具有边缺失、边稀疏等缺陷的网络结构数据具有增强作用,能提高网络嵌入的表现。2.针对存在边错误缺陷的网络结构,基于错边数据的具体特征,提出一种两步处理的网络结构学习方法IAL-REC。该方法能有效提高含有边错误等缺陷的网络结构的质量,增强网络嵌入的表现。3.将方法整理成实用性较强的工具。根据方法的具体特性对工具进行模块分离和整理,对预处理、网络结构学习、常用算法、网络嵌入模型等模块进行整理实现。使用者可以方便的根据不同任务的特点选择合适的训练策略,提高开发效率。4.在常用的网络结构数据集上进行半监督图节点分类实验,验证了本文网络结构学习方法的有效性,实验表明,本文方法能有效提高网络结构数据的质量,提高网络嵌入模型的效果。
门控图注意力网络的研究与应用
这是一篇关于注意力机制,门控机制,图节点分类,癌症分类,链接预测的论文, 主要内容为现实生活中有很多场景是用更普遍的图结构进行表示的,如引文网络、蛋白质分子网络、知识图谱等等。传统的卷积神经网络在挖掘图结构数据的特征和模式方面显得无能为力。为了能够在图结构数据上进行卷积操作,研究者提出了图卷积神经网络以解决图结构数据上平移不变性缺失所造成的问题。近几年,图卷积神经网络发展迅速,在用户推荐系统、舆情监控和控制、癌症预测等领域都得到了大量的成功应用。为此,本文在详细研究图卷积神经网络的网络结构和发展历程后,总结出了图卷积神经网络目前存在的两大主要挑战:一是缺乏多阶邻域信息的聚合;二是缺乏先验知识的加强。在此基础上,提出一种基于门控机制的图注意力卷积神经网络,并将其应用到图节点分类任务上;然后对提出的模型进行适应性修改,分别提出了两个新的模型以应用到癌症分类任务、知识图谱链接预测任务上;最后验证本文提出的模型的有效性和可解释性。本文提出的三个模型如下:1.提出门控图注意力网络(Gated Graph Attention Network,GGAT)并将其应用到图节点分类任务上。GGAT模型通过引入门控机制以突破主流图神经网络只能依赖短程信息的限制,并能够对信息进行选择和过滤。在基准图数据集Cora、Citeseer、Pubmed上的实验结果表明GGAT模型在图节点分类任务上较传统神经网络模型获得更高的分类准确率。2.提出融合先验知识的门控图注意力网络(GGAT with Prior Knowledge,PK-GGAT)并将其应用到癌症分类任务上。实验结果表明原始GGAT模型在癌症分类任务上较传统机器学习算法以及神经网络模型获得更高的分类准确率;在融合先验知识后,PK-GGAT模型比GGAT模型取得更好的分类准确率,这表明先验知识能够加强模型性能。另外,本文还提出一个混合特征选择算法(Hybrid Feature Selection,HFS)以减少传统机器学习算法的训练时间。3.提出关系门控图注意力网络(Relational Gated Graph Attention Network,R-GGAT)并将其应用到知识图谱链接预测任务上。在知识图谱数据集FB15k、FB 15k-237、UMLS、WN18RR上的实验结果表明R-GGAT模型在链接预测任务上较传统神经网络模型获得更高的预测效果。
门控图注意力网络的研究与应用
这是一篇关于注意力机制,门控机制,图节点分类,癌症分类,链接预测的论文, 主要内容为现实生活中有很多场景是用更普遍的图结构进行表示的,如引文网络、蛋白质分子网络、知识图谱等等。传统的卷积神经网络在挖掘图结构数据的特征和模式方面显得无能为力。为了能够在图结构数据上进行卷积操作,研究者提出了图卷积神经网络以解决图结构数据上平移不变性缺失所造成的问题。近几年,图卷积神经网络发展迅速,在用户推荐系统、舆情监控和控制、癌症预测等领域都得到了大量的成功应用。为此,本文在详细研究图卷积神经网络的网络结构和发展历程后,总结出了图卷积神经网络目前存在的两大主要挑战:一是缺乏多阶邻域信息的聚合;二是缺乏先验知识的加强。在此基础上,提出一种基于门控机制的图注意力卷积神经网络,并将其应用到图节点分类任务上;然后对提出的模型进行适应性修改,分别提出了两个新的模型以应用到癌症分类任务、知识图谱链接预测任务上;最后验证本文提出的模型的有效性和可解释性。本文提出的三个模型如下:1.提出门控图注意力网络(Gated Graph Attention Network,GGAT)并将其应用到图节点分类任务上。GGAT模型通过引入门控机制以突破主流图神经网络只能依赖短程信息的限制,并能够对信息进行选择和过滤。在基准图数据集Cora、Citeseer、Pubmed上的实验结果表明GGAT模型在图节点分类任务上较传统神经网络模型获得更高的分类准确率。2.提出融合先验知识的门控图注意力网络(GGAT with Prior Knowledge,PK-GGAT)并将其应用到癌症分类任务上。实验结果表明原始GGAT模型在癌症分类任务上较传统机器学习算法以及神经网络模型获得更高的分类准确率;在融合先验知识后,PK-GGAT模型比GGAT模型取得更好的分类准确率,这表明先验知识能够加强模型性能。另外,本文还提出一个混合特征选择算法(Hybrid Feature Selection,HFS)以减少传统机器学习算法的训练时间。3.提出关系门控图注意力网络(Relational Gated Graph Attention Network,R-GGAT)并将其应用到知识图谱链接预测任务上。在知识图谱数据集FB15k、FB 15k-237、UMLS、WN18RR上的实验结果表明R-GGAT模型在链接预测任务上较传统神经网络模型获得更高的预测效果。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码客栈 ,原文地址:https://bishedaima.com/lunwen/56301.html