基于子图的图卷积网络推荐模型研究
这是一篇关于图卷积网络,子图划分,过度平滑的论文, 主要内容为图卷积网络可以利用来自高阶邻接点的协同信号学习用户和物品嵌入,因此被广泛用于推荐系统之中。但是与其他图卷积模型一样,基于图卷积网络的推荐模型会遇到过度平滑问题,即当堆叠更多层时,节点嵌入会变得更相似,最终变得不可识别,从而导致推荐性能下降。在这样的背景下,对图卷积网络推荐模型进行研究,提出了一种基于子图的图卷积网络推荐模型,该模型通过对子图进行高阶图卷积的方式解决在图卷积网络推荐模型中出现的过度平滑问题。该模型首先对所有用户和物品建立交互图,再通过随机匹配算法进行粗化将邻接点聚合,大规模图转换为小规模图,然后通过递归多级二分划分法,对小规模图进行初始划分,最后逐级细化还原为原图,得到划分后的关系子图。将划分后的子图与原图作为图卷积网络的输入,在多卷积层上分别进行高阶和低阶图卷积操作,因此该模型可以避免将高阶邻域的负信息传播到嵌入学习中。然后将节点的原始输入与多卷积层生成的嵌入加权求和生成最终嵌入,最后对用户和物品的最终嵌入做内积运算,生成预测分数。最后,对基于子图的图卷积网络推荐模型进行了设计以及实现,在完善测试环境的基础上和当前主流的图卷积网络推荐模型进行性能比较与分析,在数据集Gowalla、Yelp2018、Amazon-Book上的实验结果表明,该模型显著优于现有的基于图卷积网络的推荐模型。
面向大规模图数据的表示学习技术
这是一篇关于图表示学习,模型压缩,对抗训练,子图划分,强化学习的论文, 主要内容为由于图结构数据普遍存在于实际生活中,面向图结构数据的表示学习技术在社交数据挖掘、生物制药、知识图谱推理等众多领域均取得了显著的进展,规模化应用曙光初现。然而,随着数据量的激增,现存的图表示学习方法普遍难以适应大规模工业场景。图数据的规模提升为深层图模型的训练带来挑战,而训练好的深层图模型又由于参数量庞大而面临工业部署的难题。本文研究面向大规模图数据的表示学习方法,旨在以较低的显存占用和较少的模型参数,在大规模图数据上完成对图模型的高效训练和前向推理。此方面研究有助于加速图表示学习技术在大规模工业场景中的落地应用,可以有效降低模型的部署成本,并提升模型训练和推理的效率。当前,图数据上的表示学习方法存在两方面亟待解决的问题。第一,为在大规模图数据上取得优异表现,图模型往往具有过深的网络层数和复杂的网络结构,导致实地部署内存占用大、模型运行峰值显存高、前向推理时间延迟长。第二,由于图上各节点不服从独立同分布假设,节点数激增使得图上全批量梯度下降算法的显存占用极高,无法支撑图模型的训练和运行。为解决上述关键问题,本文构建了新颖的可伸缩图表示学习训练与部署方法。主要创新点概括如下:1.对于给定预训练深度图模型的场景,本文提出了基于对抗训练的知识蒸馏框架,引入可训练的判别器以取代启发式的距离函数。通过开发向量表示判别器和对数几率判别器充分利用教师模型中蕴藏的两种信息,即节点之间的拓扑联系和类别之间的相似相关。学生模型被视为生成器,与判别器轮流进行迭代对抗训练,判别器致力于区分学生模型和教师模型,而生成器的目标是骗过判别器使其无法区分。在多个基准数据集上的实验表明,所提出的对抗知识蒸馏框架使得学生模型以教师模型两成的参数量取得了接近乃至超越教师模型的分类表现,优于所有其他同类方法。2.对于没有预训练图模型的情形,只有通过从零开始训练才能得到符合要求的图模型。本文提出基于强化学习的自适应子图划分方法以实现高效训练,先使用基于伊辛模型的可微组合优化求解器对图数据集做预划分以加快后续训练,再由强化学习在预划分的基础上进行探索,结合下游具体任务的反馈结果来调整子图采样的具体动作,形成端到端任务自适应的分批训练方法,从而避免误差累积和陷入局部最优。实验表明,所提方法可以显著降低大规模图数据上的训练成本,并在节点分类任务中稳定地超越其他子图采样算法的性能表现。
面向大规模图数据的表示学习技术
这是一篇关于图表示学习,模型压缩,对抗训练,子图划分,强化学习的论文, 主要内容为由于图结构数据普遍存在于实际生活中,面向图结构数据的表示学习技术在社交数据挖掘、生物制药、知识图谱推理等众多领域均取得了显著的进展,规模化应用曙光初现。然而,随着数据量的激增,现存的图表示学习方法普遍难以适应大规模工业场景。图数据的规模提升为深层图模型的训练带来挑战,而训练好的深层图模型又由于参数量庞大而面临工业部署的难题。本文研究面向大规模图数据的表示学习方法,旨在以较低的显存占用和较少的模型参数,在大规模图数据上完成对图模型的高效训练和前向推理。此方面研究有助于加速图表示学习技术在大规模工业场景中的落地应用,可以有效降低模型的部署成本,并提升模型训练和推理的效率。当前,图数据上的表示学习方法存在两方面亟待解决的问题。第一,为在大规模图数据上取得优异表现,图模型往往具有过深的网络层数和复杂的网络结构,导致实地部署内存占用大、模型运行峰值显存高、前向推理时间延迟长。第二,由于图上各节点不服从独立同分布假设,节点数激增使得图上全批量梯度下降算法的显存占用极高,无法支撑图模型的训练和运行。为解决上述关键问题,本文构建了新颖的可伸缩图表示学习训练与部署方法。主要创新点概括如下:1.对于给定预训练深度图模型的场景,本文提出了基于对抗训练的知识蒸馏框架,引入可训练的判别器以取代启发式的距离函数。通过开发向量表示判别器和对数几率判别器充分利用教师模型中蕴藏的两种信息,即节点之间的拓扑联系和类别之间的相似相关。学生模型被视为生成器,与判别器轮流进行迭代对抗训练,判别器致力于区分学生模型和教师模型,而生成器的目标是骗过判别器使其无法区分。在多个基准数据集上的实验表明,所提出的对抗知识蒸馏框架使得学生模型以教师模型两成的参数量取得了接近乃至超越教师模型的分类表现,优于所有其他同类方法。2.对于没有预训练图模型的情形,只有通过从零开始训练才能得到符合要求的图模型。本文提出基于强化学习的自适应子图划分方法以实现高效训练,先使用基于伊辛模型的可微组合优化求解器对图数据集做预划分以加快后续训练,再由强化学习在预划分的基础上进行探索,结合下游具体任务的反馈结果来调整子图采样的具体动作,形成端到端任务自适应的分批训练方法,从而避免误差累积和陷入局部最优。实验表明,所提方法可以显著降低大规模图数据上的训练成本,并在节点分类任务中稳定地超越其他子图采样算法的性能表现。
面向大规模图数据的表示学习技术
这是一篇关于图表示学习,模型压缩,对抗训练,子图划分,强化学习的论文, 主要内容为由于图结构数据普遍存在于实际生活中,面向图结构数据的表示学习技术在社交数据挖掘、生物制药、知识图谱推理等众多领域均取得了显著的进展,规模化应用曙光初现。然而,随着数据量的激增,现存的图表示学习方法普遍难以适应大规模工业场景。图数据的规模提升为深层图模型的训练带来挑战,而训练好的深层图模型又由于参数量庞大而面临工业部署的难题。本文研究面向大规模图数据的表示学习方法,旨在以较低的显存占用和较少的模型参数,在大规模图数据上完成对图模型的高效训练和前向推理。此方面研究有助于加速图表示学习技术在大规模工业场景中的落地应用,可以有效降低模型的部署成本,并提升模型训练和推理的效率。当前,图数据上的表示学习方法存在两方面亟待解决的问题。第一,为在大规模图数据上取得优异表现,图模型往往具有过深的网络层数和复杂的网络结构,导致实地部署内存占用大、模型运行峰值显存高、前向推理时间延迟长。第二,由于图上各节点不服从独立同分布假设,节点数激增使得图上全批量梯度下降算法的显存占用极高,无法支撑图模型的训练和运行。为解决上述关键问题,本文构建了新颖的可伸缩图表示学习训练与部署方法。主要创新点概括如下:1.对于给定预训练深度图模型的场景,本文提出了基于对抗训练的知识蒸馏框架,引入可训练的判别器以取代启发式的距离函数。通过开发向量表示判别器和对数几率判别器充分利用教师模型中蕴藏的两种信息,即节点之间的拓扑联系和类别之间的相似相关。学生模型被视为生成器,与判别器轮流进行迭代对抗训练,判别器致力于区分学生模型和教师模型,而生成器的目标是骗过判别器使其无法区分。在多个基准数据集上的实验表明,所提出的对抗知识蒸馏框架使得学生模型以教师模型两成的参数量取得了接近乃至超越教师模型的分类表现,优于所有其他同类方法。2.对于没有预训练图模型的情形,只有通过从零开始训练才能得到符合要求的图模型。本文提出基于强化学习的自适应子图划分方法以实现高效训练,先使用基于伊辛模型的可微组合优化求解器对图数据集做预划分以加快后续训练,再由强化学习在预划分的基础上进行探索,结合下游具体任务的反馈结果来调整子图采样的具体动作,形成端到端任务自适应的分批训练方法,从而避免误差累积和陷入局部最优。实验表明,所提方法可以显著降低大规模图数据上的训练成本,并在节点分类任务中稳定地超越其他子图采样算法的性能表现。
面向大规模图数据的表示学习技术
这是一篇关于图表示学习,模型压缩,对抗训练,子图划分,强化学习的论文, 主要内容为由于图结构数据普遍存在于实际生活中,面向图结构数据的表示学习技术在社交数据挖掘、生物制药、知识图谱推理等众多领域均取得了显著的进展,规模化应用曙光初现。然而,随着数据量的激增,现存的图表示学习方法普遍难以适应大规模工业场景。图数据的规模提升为深层图模型的训练带来挑战,而训练好的深层图模型又由于参数量庞大而面临工业部署的难题。本文研究面向大规模图数据的表示学习方法,旨在以较低的显存占用和较少的模型参数,在大规模图数据上完成对图模型的高效训练和前向推理。此方面研究有助于加速图表示学习技术在大规模工业场景中的落地应用,可以有效降低模型的部署成本,并提升模型训练和推理的效率。当前,图数据上的表示学习方法存在两方面亟待解决的问题。第一,为在大规模图数据上取得优异表现,图模型往往具有过深的网络层数和复杂的网络结构,导致实地部署内存占用大、模型运行峰值显存高、前向推理时间延迟长。第二,由于图上各节点不服从独立同分布假设,节点数激增使得图上全批量梯度下降算法的显存占用极高,无法支撑图模型的训练和运行。为解决上述关键问题,本文构建了新颖的可伸缩图表示学习训练与部署方法。主要创新点概括如下:1.对于给定预训练深度图模型的场景,本文提出了基于对抗训练的知识蒸馏框架,引入可训练的判别器以取代启发式的距离函数。通过开发向量表示判别器和对数几率判别器充分利用教师模型中蕴藏的两种信息,即节点之间的拓扑联系和类别之间的相似相关。学生模型被视为生成器,与判别器轮流进行迭代对抗训练,判别器致力于区分学生模型和教师模型,而生成器的目标是骗过判别器使其无法区分。在多个基准数据集上的实验表明,所提出的对抗知识蒸馏框架使得学生模型以教师模型两成的参数量取得了接近乃至超越教师模型的分类表现,优于所有其他同类方法。2.对于没有预训练图模型的情形,只有通过从零开始训练才能得到符合要求的图模型。本文提出基于强化学习的自适应子图划分方法以实现高效训练,先使用基于伊辛模型的可微组合优化求解器对图数据集做预划分以加快后续训练,再由强化学习在预划分的基础上进行探索,结合下游具体任务的反馈结果来调整子图采样的具体动作,形成端到端任务自适应的分批训练方法,从而避免误差累积和陷入局部最优。实验表明,所提方法可以显著降低大规模图数据上的训练成本,并在节点分类任务中稳定地超越其他子图采样算法的性能表现。
面向大规模图数据的表示学习技术
这是一篇关于图表示学习,模型压缩,对抗训练,子图划分,强化学习的论文, 主要内容为由于图结构数据普遍存在于实际生活中,面向图结构数据的表示学习技术在社交数据挖掘、生物制药、知识图谱推理等众多领域均取得了显著的进展,规模化应用曙光初现。然而,随着数据量的激增,现存的图表示学习方法普遍难以适应大规模工业场景。图数据的规模提升为深层图模型的训练带来挑战,而训练好的深层图模型又由于参数量庞大而面临工业部署的难题。本文研究面向大规模图数据的表示学习方法,旨在以较低的显存占用和较少的模型参数,在大规模图数据上完成对图模型的高效训练和前向推理。此方面研究有助于加速图表示学习技术在大规模工业场景中的落地应用,可以有效降低模型的部署成本,并提升模型训练和推理的效率。当前,图数据上的表示学习方法存在两方面亟待解决的问题。第一,为在大规模图数据上取得优异表现,图模型往往具有过深的网络层数和复杂的网络结构,导致实地部署内存占用大、模型运行峰值显存高、前向推理时间延迟长。第二,由于图上各节点不服从独立同分布假设,节点数激增使得图上全批量梯度下降算法的显存占用极高,无法支撑图模型的训练和运行。为解决上述关键问题,本文构建了新颖的可伸缩图表示学习训练与部署方法。主要创新点概括如下:1.对于给定预训练深度图模型的场景,本文提出了基于对抗训练的知识蒸馏框架,引入可训练的判别器以取代启发式的距离函数。通过开发向量表示判别器和对数几率判别器充分利用教师模型中蕴藏的两种信息,即节点之间的拓扑联系和类别之间的相似相关。学生模型被视为生成器,与判别器轮流进行迭代对抗训练,判别器致力于区分学生模型和教师模型,而生成器的目标是骗过判别器使其无法区分。在多个基准数据集上的实验表明,所提出的对抗知识蒸馏框架使得学生模型以教师模型两成的参数量取得了接近乃至超越教师模型的分类表现,优于所有其他同类方法。2.对于没有预训练图模型的情形,只有通过从零开始训练才能得到符合要求的图模型。本文提出基于强化学习的自适应子图划分方法以实现高效训练,先使用基于伊辛模型的可微组合优化求解器对图数据集做预划分以加快后续训练,再由强化学习在预划分的基础上进行探索,结合下游具体任务的反馈结果来调整子图采样的具体动作,形成端到端任务自适应的分批训练方法,从而避免误差累积和陷入局部最优。实验表明,所提方法可以显著降低大规模图数据上的训练成本,并在节点分类任务中稳定地超越其他子图采样算法的性能表现。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工厂 ，原文地址：https://bishedaima.com/lunwen/55961.html
