面向移动边缘网络的联邦学习激励机制研究

这是一篇关于移动边缘网络,联邦学习,分布式激励,斯塔克尔伯格博弈,交替方向乘子法的论文, 主要内容为随着无线通信技术的迅速发展和智能设备功能的不断增强,万物互联的物联网时代已经到来。各种应用场景不断丰富着人们的生活,网络中的终端设备数量以及设备产生的数据量出现爆发式增长。为了弥补传统网络架构如集中式的移动云计算在物联网中的不足,移动边缘计算作为一种新的分布式计算范式成为物联网研究领域的热点。移动边缘计算将数据的存储、传输、计算和实时业务的卸载处理下沉至网络边缘的通信节点上,如边缘服务器、智能终端设备等,从而满足低时延、高带宽的用户需求。移动边缘网络中海量的设备数量和数据量为人工智能技术的发展应用提供了沃土,已经在教育、医疗、电商等领域发挥了重要推动作用。然而,随着数据安全问题和隐私泄露威胁日益突出,人们对个人的数据隐私愈发重视,不再轻易共享本地的数据。联邦学习作为一种典型的分布式机器学习框架,在打破因隐私保护形成的“数据孤岛”方面优势显著。分布式系统的稳定高效依赖所有个体的质量与合作,这就要求在联邦学习中要尽可能地鼓励客户端参与,并保证挑选的客户端是高质量和可靠的。如果客户端在联邦学习过程中是无利可图的,那么是不可能自愿参与联邦学习的。因此,本文的研究重点就在于移动边缘网络中不同场景下联邦学习激励机制的设计,实现联邦学习系统的可持续高效运行。首先,为了保证激励机制的贡献公平性,本文提出一个基于更新显著性的贡献度衡量模型。不仅考虑客户端在训练过程中的能量消耗,还考虑了客户端的本地更新对全局模型更新的影响。我们使用客户端的训练轮数和其本地模型与全局模型的偏差来衡量客户端的贡献大小。联邦学习全局模型的性能和收敛速度与参与的客户端质量是直接相关的,但是客户端可能会执行不可靠或者恶意的本地更新。因此,本文提出一个基于主观逻辑和贡献模型的信誉机制,以实现学习系统中不可靠的或恶意的客户端被及时清除。然后,针对单联邦学习任务,分别考虑静态移动边缘网络和动态移动边缘网络两种场景。在两种场景下,激励机制都被设计为基于斯塔克尔伯格博弈的两阶段决策模型,其中聚合者作为领导者,决定给予客户端的奖励大小,客户端作为跟随者,决定参与程度。客户端的决策过程被设计为一个非合作的博弈,证明了其纳什均衡的存在性和唯一性,并给出具体的算法描述。而动态场景下,客户端集合可能是时变的,我们将激励的粒度下沉到客户端的本地更新中。因此动态激励机制中客户端的决策是在本轮全局更新中本地训练的轮次数,静态激励机制中客户端决定的是参与全局更新的轮次数。结果显示,所提出的方案可以挑选高质量的客户端集合,从而加快模型的收敛和提升模型性能,并实现整体社会福利最大化。最后,针对多联邦学习任务,提出任务满意度和客户端能耗均衡的激励机制,并且将激励方案转换为斯塔克尔伯格博弈问题,使用交替方向乘子法进行分布式求解。一方面,聚合者希望所有的学习任务都能由最匹配的客户端集合参与训练,其目标是最大化基于任务匹配度的满意度函数。另一方面,客户端由于计算资源是有限的,需要对计算资源作出最优配置,其目标是最小化能量消耗。为了平衡满意度和能耗,聚合者需要对客户端作出激励。实验仿真的结果证明,提出的激励机制具有快速收敛性且能有效均衡满意度和能耗,得到最优的联邦学习训练方案。

网络表示学习及其在推荐系统中的应用研究

这是一篇关于网络表示学习,推荐系统,交替方向乘子法,非负矩阵分解,社区检测的论文, 主要内容为随着社交网络以及电商平台成为生活中不可或缺的一部分,如何为用户提供感兴趣的推荐项目成为各大平台需要重点研究的问题。网络表示学习力求真实反映用户和项目之间的关系,有助于实现项目的精准推荐。因此,基于网络表示学习方法的研究具有重要的意义与价值。现有的网络表示学习方法及其在推荐系统中的应用广泛,成果较多,但仍然存在以下问题:1.忽略了全局拓扑结构,只关注网络图的局部结构,需要加入对称约束优化节点表示;2.推荐系统的性能有待提升,基于单元素矩阵分解的协同过滤需要结合属性信息和行为历史提高预测精确度,传统的混合推荐需要结合单元素矩阵分解的优势来降低时间消耗。针对上述问题,本文提出了两种提升网络表示学习性能的方法:1.为了更好地保留网络拓扑结构,提出了一种基于交替方向乘子法(ADMM),对称及非负性约束的网络表示学习方法。首先,提出加入对称限制的目标函数,通过模块度,社区属性,对称性以及节点间相似度共同约束节点的网络表示;然后,采用基于单元素的交替方向乘子法对目标函数中未知元素的更新公式进行推导;最后,对更新得到的网络表示结果进行聚类,在真实数据集上的结果证明了模型的有效性。2.为了解决推荐场景中预测精准度以及时间消耗等问题,提出了一种基于非负矩阵分解(NMF),适用于混合推荐系统的网络表示学习方法。算法首先通过用户属性,行为历史以及项目属性等信息计算用户相似度矩阵和项目相似度矩阵;然后,对目标函数采用单元素非负矩阵分解方法完成推导,得到用户和项目的表示矩阵;最后,将用户表示结果和项目表示结果进行相似度计算,为用户推荐感兴趣的项目。3.基于提出的混合推荐算法,针对电影推荐场景,设计并实现了一套推荐系统框架。具体包括数据的分析与预处理,各种类型数据的向量化,结合Django+VUE+Bootstrap的Web的开发框架,最终为用户完成精准的电影推荐。

网络表示学习及其在推荐系统中的应用研究

这是一篇关于网络表示学习,推荐系统,交替方向乘子法,非负矩阵分解,社区检测的论文, 主要内容为随着社交网络以及电商平台成为生活中不可或缺的一部分,如何为用户提供感兴趣的推荐项目成为各大平台需要重点研究的问题。网络表示学习力求真实反映用户和项目之间的关系,有助于实现项目的精准推荐。因此,基于网络表示学习方法的研究具有重要的意义与价值。现有的网络表示学习方法及其在推荐系统中的应用广泛,成果较多,但仍然存在以下问题:1.忽略了全局拓扑结构,只关注网络图的局部结构,需要加入对称约束优化节点表示;2.推荐系统的性能有待提升,基于单元素矩阵分解的协同过滤需要结合属性信息和行为历史提高预测精确度,传统的混合推荐需要结合单元素矩阵分解的优势来降低时间消耗。针对上述问题,本文提出了两种提升网络表示学习性能的方法:1.为了更好地保留网络拓扑结构,提出了一种基于交替方向乘子法(ADMM),对称及非负性约束的网络表示学习方法。首先,提出加入对称限制的目标函数,通过模块度,社区属性,对称性以及节点间相似度共同约束节点的网络表示;然后,采用基于单元素的交替方向乘子法对目标函数中未知元素的更新公式进行推导;最后,对更新得到的网络表示结果进行聚类,在真实数据集上的结果证明了模型的有效性。2.为了解决推荐场景中预测精准度以及时间消耗等问题,提出了一种基于非负矩阵分解(NMF),适用于混合推荐系统的网络表示学习方法。算法首先通过用户属性,行为历史以及项目属性等信息计算用户相似度矩阵和项目相似度矩阵;然后,对目标函数采用单元素非负矩阵分解方法完成推导,得到用户和项目的表示矩阵;最后,将用户表示结果和项目表示结果进行相似度计算,为用户推荐感兴趣的项目。3.基于提出的混合推荐算法,针对电影推荐场景,设计并实现了一套推荐系统框架。具体包括数据的分析与预处理,各种类型数据的向量化,结合Django+VUE+Bootstrap的Web的开发框架,最终为用户完成精准的电影推荐。

面向移动边缘网络的联邦学习激励机制研究

这是一篇关于移动边缘网络,联邦学习,分布式激励,斯塔克尔伯格博弈,交替方向乘子法的论文, 主要内容为随着无线通信技术的迅速发展和智能设备功能的不断增强,万物互联的物联网时代已经到来。各种应用场景不断丰富着人们的生活,网络中的终端设备数量以及设备产生的数据量出现爆发式增长。为了弥补传统网络架构如集中式的移动云计算在物联网中的不足,移动边缘计算作为一种新的分布式计算范式成为物联网研究领域的热点。移动边缘计算将数据的存储、传输、计算和实时业务的卸载处理下沉至网络边缘的通信节点上,如边缘服务器、智能终端设备等,从而满足低时延、高带宽的用户需求。移动边缘网络中海量的设备数量和数据量为人工智能技术的发展应用提供了沃土,已经在教育、医疗、电商等领域发挥了重要推动作用。然而,随着数据安全问题和隐私泄露威胁日益突出,人们对个人的数据隐私愈发重视,不再轻易共享本地的数据。联邦学习作为一种典型的分布式机器学习框架,在打破因隐私保护形成的“数据孤岛”方面优势显著。分布式系统的稳定高效依赖所有个体的质量与合作,这就要求在联邦学习中要尽可能地鼓励客户端参与,并保证挑选的客户端是高质量和可靠的。如果客户端在联邦学习过程中是无利可图的,那么是不可能自愿参与联邦学习的。因此,本文的研究重点就在于移动边缘网络中不同场景下联邦学习激励机制的设计,实现联邦学习系统的可持续高效运行。首先,为了保证激励机制的贡献公平性,本文提出一个基于更新显著性的贡献度衡量模型。不仅考虑客户端在训练过程中的能量消耗,还考虑了客户端的本地更新对全局模型更新的影响。我们使用客户端的训练轮数和其本地模型与全局模型的偏差来衡量客户端的贡献大小。联邦学习全局模型的性能和收敛速度与参与的客户端质量是直接相关的,但是客户端可能会执行不可靠或者恶意的本地更新。因此,本文提出一个基于主观逻辑和贡献模型的信誉机制,以实现学习系统中不可靠的或恶意的客户端被及时清除。然后,针对单联邦学习任务,分别考虑静态移动边缘网络和动态移动边缘网络两种场景。在两种场景下,激励机制都被设计为基于斯塔克尔伯格博弈的两阶段决策模型,其中聚合者作为领导者,决定给予客户端的奖励大小,客户端作为跟随者,决定参与程度。客户端的决策过程被设计为一个非合作的博弈,证明了其纳什均衡的存在性和唯一性,并给出具体的算法描述。而动态场景下,客户端集合可能是时变的,我们将激励的粒度下沉到客户端的本地更新中。因此动态激励机制中客户端的决策是在本轮全局更新中本地训练的轮次数,静态激励机制中客户端决定的是参与全局更新的轮次数。结果显示,所提出的方案可以挑选高质量的客户端集合,从而加快模型的收敛和提升模型性能,并实现整体社会福利最大化。最后,针对多联邦学习任务,提出任务满意度和客户端能耗均衡的激励机制,并且将激励方案转换为斯塔克尔伯格博弈问题,使用交替方向乘子法进行分布式求解。一方面,聚合者希望所有的学习任务都能由最匹配的客户端集合参与训练,其目标是最大化基于任务匹配度的满意度函数。另一方面,客户端由于计算资源是有限的,需要对计算资源作出最优配置,其目标是最小化能量消耗。为了平衡满意度和能耗,聚合者需要对客户端作出激励。实验仿真的结果证明,提出的激励机制具有快速收敛性且能有效均衡满意度和能耗,得到最优的联邦学习训练方案。

面向移动边缘网络的联邦学习激励机制研究

这是一篇关于移动边缘网络,联邦学习,分布式激励,斯塔克尔伯格博弈,交替方向乘子法的论文, 主要内容为随着无线通信技术的迅速发展和智能设备功能的不断增强,万物互联的物联网时代已经到来。各种应用场景不断丰富着人们的生活,网络中的终端设备数量以及设备产生的数据量出现爆发式增长。为了弥补传统网络架构如集中式的移动云计算在物联网中的不足,移动边缘计算作为一种新的分布式计算范式成为物联网研究领域的热点。移动边缘计算将数据的存储、传输、计算和实时业务的卸载处理下沉至网络边缘的通信节点上,如边缘服务器、智能终端设备等,从而满足低时延、高带宽的用户需求。移动边缘网络中海量的设备数量和数据量为人工智能技术的发展应用提供了沃土,已经在教育、医疗、电商等领域发挥了重要推动作用。然而,随着数据安全问题和隐私泄露威胁日益突出,人们对个人的数据隐私愈发重视,不再轻易共享本地的数据。联邦学习作为一种典型的分布式机器学习框架,在打破因隐私保护形成的“数据孤岛”方面优势显著。分布式系统的稳定高效依赖所有个体的质量与合作,这就要求在联邦学习中要尽可能地鼓励客户端参与,并保证挑选的客户端是高质量和可靠的。如果客户端在联邦学习过程中是无利可图的,那么是不可能自愿参与联邦学习的。因此,本文的研究重点就在于移动边缘网络中不同场景下联邦学习激励机制的设计,实现联邦学习系统的可持续高效运行。首先,为了保证激励机制的贡献公平性,本文提出一个基于更新显著性的贡献度衡量模型。不仅考虑客户端在训练过程中的能量消耗,还考虑了客户端的本地更新对全局模型更新的影响。我们使用客户端的训练轮数和其本地模型与全局模型的偏差来衡量客户端的贡献大小。联邦学习全局模型的性能和收敛速度与参与的客户端质量是直接相关的,但是客户端可能会执行不可靠或者恶意的本地更新。因此,本文提出一个基于主观逻辑和贡献模型的信誉机制,以实现学习系统中不可靠的或恶意的客户端被及时清除。然后,针对单联邦学习任务,分别考虑静态移动边缘网络和动态移动边缘网络两种场景。在两种场景下,激励机制都被设计为基于斯塔克尔伯格博弈的两阶段决策模型,其中聚合者作为领导者,决定给予客户端的奖励大小,客户端作为跟随者,决定参与程度。客户端的决策过程被设计为一个非合作的博弈,证明了其纳什均衡的存在性和唯一性,并给出具体的算法描述。而动态场景下,客户端集合可能是时变的,我们将激励的粒度下沉到客户端的本地更新中。因此动态激励机制中客户端的决策是在本轮全局更新中本地训练的轮次数,静态激励机制中客户端决定的是参与全局更新的轮次数。结果显示,所提出的方案可以挑选高质量的客户端集合,从而加快模型的收敛和提升模型性能,并实现整体社会福利最大化。最后,针对多联邦学习任务,提出任务满意度和客户端能耗均衡的激励机制,并且将激励方案转换为斯塔克尔伯格博弈问题,使用交替方向乘子法进行分布式求解。一方面,聚合者希望所有的学习任务都能由最匹配的客户端集合参与训练,其目标是最大化基于任务匹配度的满意度函数。另一方面,客户端由于计算资源是有限的,需要对计算资源作出最优配置,其目标是最小化能量消耗。为了平衡满意度和能耗,聚合者需要对客户端作出激励。实验仿真的结果证明,提出的激励机制具有快速收敛性且能有效均衡满意度和能耗,得到最优的联邦学习训练方案。

基于Retinex模型的低照度图像增强算法研究

这是一篇关于低照度图像增强,Retinex理论,交替方向乘子法,卷积神经网络的论文, 主要内容为由于低光照环境下光子不足、信噪比低,采集到的图像信号存在亮度与对比度低、颜色偏差、噪声干扰等严重的质量问题,影响到视觉主观感受,同时使得图像中的信息难以被有效提取。因此,低照度图像增强成为计算机视觉和多媒体应用中一个关键且具有挑战性的课题。针对以上问题,本文以低照度图像为研究对象,从基于Retinex分解出发,探索Retinex模型中光照分量及反射分量对于图像增强的影响,提出了三种低照度图像增强算法,以解决现有算法面临的问题。本文主要研究内容如下:1.低照度图像的亮度与对比度低,导致图像的结构和纹理信息不明显。针对此问题,提出了一种基于结构与纹理感知的Retinex变分模型。充分考虑光照分量和反射分量在梯度场上的分布差异,利用该分布差异构建局部相关差异化的结构感知约束和纹理感知约束,提高光照分量的空间分段平滑特性和反射分量的分段连续性,提升了模型对于结构和纹理信息的感知能力。2.低照度图像在拍摄时受到场景光线微弱和电子传感器性能局限性等影响,从而图像难以避免地会受到噪声干扰。针对该问题,提出了一种基于低秩逼近约束的Retinex变分模型。通过在变分模型中引入核范数约束项,并利用核范数最小化方法解决图像矩阵低秩逼近问题,从而降低图像的噪声影响。同时引入交替方向乘子法,将光照分量与反射分量的估计问题分离为单独问题求解,避免两者在迭代过程中造成的噪声放大问题。3.基于深度学习的低照度图像增强方法往往依赖于具有正常光照的训练集,但是训练数据集的收集限制了深度神经网络模型的性能。针对该问题,提出基于Retinex模型的无监督深度学习网络架构。该网络有两个U-Net分支,分别用于估计反射分量与光照分量。由于反射分量相较于光照分量包含更多图像信息,在反射分量估计分支中采取更深的网络结构,并引入压缩激励模块以增强图像的细节,弱化背景噪声,使最后输出的特征图包含更多有用的语义信息。

通信高效的分散式宽度学习系统研究

这是一篇关于宽度学习系统,分布式学习,无向图,有向图,交替方向乘子法的论文, 主要内容为随着智能设备的普及,各行各业不断产生大量数据。处理、分析和应用这些海量数据已成为各行各业的重要任务。目前,使用分布式方法处理海量数据集的优势越来越明显。在分布式算法中,训练数据分布在一个由若干智能体相互连接的网络中。由于资源限制或隐私问题,智能体之间被禁止共享原始数据。在这种分布式范式中,智能体之间的通信是一个值得研究的重要问题。此外,宽度学习系统是一种高效的学习模型,在机器学习和各种应用领域中取得了巨大成功。因此,本文基于宽度学习系统研究了一类分布式学习算法。主要研究内容如下:本文研究了在无向图上的分散式弹性网络宽度学习系统。在无向图上,智能体之间双向传输信息会导致通信资源消耗。为了节省通信资源,本文提出了一种更高效的分散式弹性网络宽度学习系统算法。该算法引入了量化和通信审查策略,改善了通信过程,并在最小化性能下降的情况下将通信成本最小化。具体来说,该算法采用量化策略减少了每次传输的比特数,并采用通信审查策略减少了传输的总次数。此外,本文还将训练问题表述为有限和最小化,并采用交替方向乘子法以分布式的方式求解优化问题。实验结果表明,该算法可以在保持测试数据集性能相近的情况下,降低通信成本。由于有向图在实际生活中应用更广泛且能够实现单向信息传输,本文研究了有向图上的分散式弹性网络宽度学习系统,进一步降低通信成本。在有向图上的分散式弹性网络宽度学习系统研究中,通过引入AB/Push-Pull算法求解分布式优化问题。该算法采用构造行随机矩阵来混合决策变量和列随机矩阵来跟踪平均梯度,并引入了ABN和ABm两种加速算法以改善收敛速度。最终仿真实验结果表明,该算法具有可行性。由于弹性网络宽度学习系统受到浅层结构的限制,本文提出了一种分散式的模糊宽度学习系统算法。该算法融合了宽度学习系统和模糊识别系统的优点,并由两部分的分布式优化训练过程组成。其中,模糊C-means的分布式优化主要用于确定模糊子系统中前导层的参数,而模型顶层输出参数的分布式优化则用于求解最终的输出权重。这两部分的分布式优化问题通过交替方向乘子法求解。最后,在分类数据集上进行的仿真实验验证了该算法的有效性。

基于模型与数据协同驱动的图像压缩感知方法研究

这是一篇关于图像压缩感知,深度学习,图像重建,交替方向乘子法,零值域分解,变分自编码器,协同驱动的论文, 主要内容为在图像信号的采集、处理和传输过程中,如何以最少的资源对信号采样并在接收端高质量地重建是值得研究的问题。压缩感知理论致力于解决在低采样频率下尽可能保证重建精度的问题。不过,现有的传统算法计算复杂度高,重建速度较慢,而深度学习方法存在模型可解释性差,模型结构容易盲目设计等问题。这些都会对图像重建性能产生影响。针对上述问题,本文将深度学习方法和优化理论或数学先验知识结合,与现有的模型和数据混合驱动的方法相比,深度学习方法能使优化算法的模型求解过程高效进行,既增强了优化方法的数据拟合、挖掘信号特征的能力,又赋予了深度学习方法更确切的可解释性,真正体现模型与数据协同驱动的效果,理论上可使图像得到高精度重建。基于协同驱动方法,本文设计了几种深度图像压缩感知(DCS)模型。主要内容如下。(1)基于交替方向乘子法(ADMM)提出了DU-ADMM-Net。ADMM是一种效果明显、适用于大规模数据和并行计算的凸优化方法。在ADMM的变量分裂和求解过程中会涉及大量线性和非线性运算,考虑到卷积神经网络(CNN)的基本结构——卷积和激活函数本质上可起到线性和非线性计算的作用,故不妨将所涉及的上述两类运算用CNN模拟,必将推动整体优化过程更高质量地进行。另外,重建部分会面临矩阵求逆的问题,直接求逆会提升计算复杂度,本文试图基于深度学习方法展开诺依曼级数,用多卷积层替代级数的项,从而使矩阵求逆转化为多项式线性累加,等效于多卷积层级联,可有效降低计算负载。对于非线性映射部分,化用卷积稀疏编码(CSC)中的方法,将稀疏基以卷积字典相替代,将分段线性函数(PLF)用于稀疏正则化项,便于使稀疏正则化过程融入神经网络而参与模型的整体优化。该模型以端到端训练的方式学习各类不确定的参数、函数,在提高模型性能的同时,令数据驱动的深度学习方法与模型驱动的优化理论协同发挥作用,使网络模型结构更易于设计。(2)为进一步提升图像重建精度,基于零值域分解(RND)提出了RND-Net。RND是一种针对图像逆问题构造的数学模型,有助于获取图像的低频分量和高频分量。本工作将深度学习方法与其结合,将零值域分解的步骤网络化,以比较新颖的方式获取图像的低频与高频信息,最终重建后的图像在性能指标、视觉效果上均比较出色。(3)在RND过程中,生成零域提取项是一个重要步骤,并与零域部分的获取乃至图像的高概率重建密切相关。为使零域提取项包含更全面的特征信息,提高模型重建性能,提出了RV-CSNet。该模型将零域提取项灵活换用为其他领域应用广泛的变分自编码器(VAE),这一深度生成模型有助于使解码器的输出结果保留编码器输入信息的更多特征。鉴于此,将训练好的VAE模型的解码器用于零域提取项的生成过程,以采样信息作为输入,所得的零域提取项含有更丰富的特征信息,较之输入图像差别很小。另外,该网络模型的损失函数要兼顾RND和VAE的内在约束,将训练VAE和整个端到端模型的损失条件都纳入其中,故最终构造的损失函数涵盖了多重约束,使模型经训练后的图像重建能力得以提升。基于RND提出的两种深度学习模型充分利用了数学先验知识和深度学习方法的协同优势,在增强模型可解释性的同时促进了模型性能和图像重建精度的上升,并大大降低单幅图像重建时间,对模型在实际场景中的应用有积极意义。