基于深度学习的个性化推荐系统研究
这是一篇关于时间卷积网络,残差,因果空洞卷积,个性化推荐的论文, 主要内容为随着人工智能技术的快速发展,人们获取信息的方式也发生了显著的变化。在PC互联网时代,用户通过搜索引擎搜集信息,到移动互联网时代,用户主要借助推荐系统来获取信息,这对推荐算法提出了很高的要求。但实际中,传统推荐算法往往只适合串行处理日志数据,随着5G和云计算时代的到来,海量实时的序列数据产生,没有合适的算法会大大影响推荐效果。因此,对于并行处理序列数据的推荐算法的研究具有重要意义。本文提出一种基于TCN的会话序列推荐模型R-TCN,通过水平和垂直的双向卷积并行处理,敏锐捕获会话短期动态兴趣信息,配合用户长期兴趣信息,完成推荐。实验结果表明,相比其他算法,R-TCN的推荐效果更好,用时更短。主要的研究内容如下:1、通过梳理传统推荐方法和深度学习推荐方法的发展过程,归纳出深度学习推荐方法的通用范式,总结了现有的推荐方法的优点和弊端。2、为了解决现有方法的弊端,本文提出一种卷积序列嵌入推荐模型R-TCN,作为Top-N序列推荐的解决方案。论文首先介绍R-TCN模型架构和其设计思想,接着阐述各大模块的设计细节,然后试验验证模型的实际表现,最终证明基础R-TCN模型的可靠性能。3、通过对基础R-TCN模型的实验分析,我们进一步提出改进的R-TCN模型。为了继续捕捉更加细腻的信息,在基础R-TCN模型架构的基础上,引入双向卷积的策略。最终实验表明,改进的R-TCN模型相比基础R-TCN模型和对照组模型均有全方位的指标提升,该模型一方面有效捕获了用户的一般兴趣和短时兴趣,另一方面精确的捕获了用户的兴趣跳跃行为。综上,本文提出的R-TCN模型是一种优秀的Top-N序列推荐模型。
基于深度学习的个性化推荐系统研究
这是一篇关于时间卷积网络,残差,因果空洞卷积,个性化推荐的论文, 主要内容为随着人工智能技术的快速发展,人们获取信息的方式也发生了显著的变化。在PC互联网时代,用户通过搜索引擎搜集信息,到移动互联网时代,用户主要借助推荐系统来获取信息,这对推荐算法提出了很高的要求。但实际中,传统推荐算法往往只适合串行处理日志数据,随着5G和云计算时代的到来,海量实时的序列数据产生,没有合适的算法会大大影响推荐效果。因此,对于并行处理序列数据的推荐算法的研究具有重要意义。本文提出一种基于TCN的会话序列推荐模型R-TCN,通过水平和垂直的双向卷积并行处理,敏锐捕获会话短期动态兴趣信息,配合用户长期兴趣信息,完成推荐。实验结果表明,相比其他算法,R-TCN的推荐效果更好,用时更短。主要的研究内容如下:1、通过梳理传统推荐方法和深度学习推荐方法的发展过程,归纳出深度学习推荐方法的通用范式,总结了现有的推荐方法的优点和弊端。2、为了解决现有方法的弊端,本文提出一种卷积序列嵌入推荐模型R-TCN,作为Top-N序列推荐的解决方案。论文首先介绍R-TCN模型架构和其设计思想,接着阐述各大模块的设计细节,然后试验验证模型的实际表现,最终证明基础R-TCN模型的可靠性能。3、通过对基础R-TCN模型的实验分析,我们进一步提出改进的R-TCN模型。为了继续捕捉更加细腻的信息,在基础R-TCN模型架构的基础上,引入双向卷积的策略。最终实验表明,改进的R-TCN模型相比基础R-TCN模型和对照组模型均有全方位的指标提升,该模型一方面有效捕获了用户的一般兴趣和短时兴趣,另一方面精确的捕获了用户的兴趣跳跃行为。综上,本文提出的R-TCN模型是一种优秀的Top-N序列推荐模型。
基于深度学习的SDN网络故障预测研究
这是一篇关于软件定义网络,故障预测,时间卷积网络,长短期记忆网络,生成对抗网络的论文, 主要内容为随着计算机网络与人们关系日益亲密,新需求不断诞生,对于网络的性能要求也逐渐提高,但一些传统网络渐渐无法满足要求。软件定义网络(Software Defined Networks,SDN)和传统网络相比,实现控制平面和数据平面的分离,降低了网络复杂程度,便于人员开发和管理。但与传统网络一样,SDN网络也存在例如交换机设备故障、链路拥塞等故障,因此对于SDN网络的故障研究同样是SDN网络的研究重要方向。相比于故障检测和诊断,故障预测在故障发生前提前预警,让网络维护人员拥有更多的准备时间,在提高网络可靠性方面具有很高的实用价值。深度学习在故障预测领域展现出了较好的预测能力,同时针对SDN网络的故障研究中遇见的故障数据不足的难点问题,本文进行了如下工作:(1)基于Mininet仿真平台搭建自定义SDN,设计网络业务产生不同的网络故障,采集和存储当前的网络故障数据。对当前的网络进行状态评估,结合已有数据得到原始数据集。(2)由于故障的偶然性和不确定性,发生次数较少,导致SDN正常的运行中获取的故障样本数量少、类型少,用于故障预测的数据集不完善,对结果产生较大影响。因此基于生成对抗网络(Generative Adversarial Networks,GAN)学习真实数据后可生成近似真实数据的数据特点,设计SDN网络故障数据生成算法。该算法结合卷积思想并使用加入梯度惩罚的Wasserstein距离作为损失函数,设计一种DCWGAN-GP模型,实现故障数据的生成,获得更多的网络故障数据。经过测试,与传统GAN等模型相比,DCWGAN-GP的生成数据更为接近真实数据。(3)根据SDN网络故障数据呈现时间序列特点,依靠循环神经网络对时间序列的预测能力和卷积网络对数据的提取能力,分别设计CNN-LSTM和TCNBi LSTM两种故障预测算法。卷积神经网络(Convolutional Neural Networks,CNN)和结合Attention机制的时间卷积网络(Temporal Convolutional Network,TCN)实现特征提取,长短期记忆网络(Long Short-term Memory,LSTM)和双向长短期记忆网络(Bi-directional Long Short-Term Memory,Bi LSTM)对网络故障数据进行学习找到深层次特征,实现对未来时间的故障预测。经过测试,与LSTM、CNN-LSTM等模型相比,结合Attention机制的TCN-Bi LSTM网络的预测能力较为优异。
基于图注意力网络的链路预测及其应用研究
这是一篇关于图注意力网络,时间卷积网络,链路预测,知识图谱,多层网络的论文, 主要内容为链路预测作为网络分析领域的研究热点,旨在利用网络已知的信息,推断系统中潜在或未知链接。通过链路预测可以解决网络连接不完整的问题,获取缺失的数据,鉴别虚假交互,评估网络演化机制等。知识图谱是对事实的结构化体现,由实体和关系组成。利用知识图谱能够整合分散的信息资料,建立一种强大的语义信息网络,进而为解决实际问题创造良好条件。伴随着知识的丰富,知识图谱也需要持续的更新和完善,对于怎样推测实体间的隐含关系与潜在连接,始终是研究者关注的问题。本文针对静态知识图谱、时序知识图谱和多层网络等多种模型中的链路预测问题进行研究,主要工作如下:(1)针对静态链路预测中实体被孤立处理的问题,提出一种拓展的关系图注意力网络,充分捕捉实体邻域的特征,挖掘三元组之间的隐藏信息。同时,设计了一种实体和关系的新型嵌入方法,在向量空间下实现实体和关系多角度的融合,该嵌入方法同时考虑了实体和关系潜在的语义信息,能够实现实体和关系的融合嵌入。(2)针对时序链路预测中时频特征细粒度融合的问题,设计迭代双线性融合方法,以一种新的迭代方式改进实体和关系的跨域特征表示。同时,引入时间卷积网络捕捉跨时间相邻事实之间的顺序模式,解决实体嵌入收敛到相同值的过平滑问题。此外,引入余弦相似性衡量实体特征之间的相似度。该工作采用并行方式获取时间-频谱特征,有效地实现了时频特征间的跨域交互。(3)针对多层网络链路预测中“节点对”离散、孤立处理的问题,提出两级图注意力机制,通过节点级的注意力机制实现小范围节点邻域特征的精细提取,通过“节点对”级的注意力机制实现大范围“节点对”拓扑特征的融合。同时,采用多指标融合方式更全面表征同层节点间的相似程度,并基于余弦定理衡量层间相似度,实现目标层与多辅助层预测权重的有效衡量。进而,设计一种端到端的多层网络链路预测框架,将“节点对”特征学习和预测器相融合,从而有效提高链路预测精度。
基于多行为特征的知识追踪模型优化及应用
这是一篇关于知识追踪,深度学习,行为特征,遗传算法,时间卷积网络的论文, 主要内容为近年来,高效智能化的在线教育逐渐展现出传统线下教育某些方面无法替代的优势。在此背景下,知识追踪作为在线教育数据挖掘中最重要的环节之一,其目标在于根据学生的答题情况,跟踪他们的知识状态,预测他们对知识的掌握程度。深度知识追踪模型作为当今智慧教育领域的研究热点,许多学者忽略了学生在学习过程中多种行为特征的影响,虽然有部分研究人员运用决策树对行为特征建模,但该算法极易导致实现结果陷入局部最优的陷阱。除此之外,传统建模方法无法同时考虑到不同学生行为特征的差异和对同一学生在时间序列下的学习行为模式分析。针对上述两个问题,本文提出两种方法,并应用到个性化习题推荐系统中。具体研究内容如下:1.提出一种基于DKVMN-GADT的改进多行为特征知识追踪方法。针对决策树易陷入局部最优的问题,该方法首先引入了一个基于遗传算法的双层CART决策树:第一层利用遗传算法找到最优的行为特征序列;第二层是在第一层的基础上,利用遗传算法将最优的特征权重作为决策树分裂点。其次,将决策树响应与学生的答题情况做交叉计算。最后,以DKVMN为底层模型,预测学生未来的答题情况。这种通过不断的遗传操作找到最优特征的方法,提高了决策树的分类精度,有效缓解了局部最优问题。该方法在三个公开数据集上(ASSISTments2009、ASSISTments2012、Algebra2005-2006)与经典的知识追踪模型(DKT、DKVMN、DKVMN-DT)相比,AUC指标均有提高。2.提出一种融合时间序列行为特征和学习能力时间遗忘特征的知识追踪方法。针对学生在学习过程中,表现出的具有时序性的行为特征对知识追踪模型预测的影响,该方法引入了一个时间卷积网络对时序行为特征进行预处理,时间卷积网络主要由因果卷积、膨胀卷积和残差连接组成。同时考虑到答题时间间隔对不同学生的学习能力和学习遗忘的影响,利用预处理结果对学习能力进行初步计算,然后加入基于学习能力的增强时间遗忘效应机制,加强长时间间隔对学生知识状态变化的影响,使知识追踪模型更加符合学生学习的时间遗忘规律。最后将所提模型分别在两个公开数据集上(ASSISTments2012、Algebra2005-2006)与具有代表性的模型(DKT、DKVMN、DKVMN-DT)作对比实验,结果表明AUC和ACC指标均有不同程度的提升。3.实现了一种基于多行为特征知识追踪算法的个性化习题推荐系统原型。该系统主要利用改进的知识追踪算法,追踪学生学习情况,预测学生的答题结果。方便教师了解学生对不同知识点的掌握情况,并为学生推荐适合的习题,提高学生学习的主动性,实现个性化的学习目标。
基于双路多尺度时空图卷积神经网络的交通流预测研究
这是一篇关于交通预测,时空相关性,图卷积网络,时间卷积网络的论文, 主要内容为交通预测任务基于交通大数据,由于交通受到道路类型、交通状况、天气状况等外因,交通大数据具有很强的不确定性,因此交通预测是一项较为有挑战性的研究。它需要动态的捕获道路之间的空间依赖以及路口的历史信息依赖。为了进一步建设智慧交通系统,近年来,越来越多的研究人员开始关注于交通预测。交通预测任务属于时空大数据挖掘问题,现有的方法对时空大数据的挖掘尚未充分。为了更加深层次的挖掘时空大数据之间的隐藏关联关系,本研究设计了两种不同的模型来提升交通预测的性能,主要研究内容如下:1.针对传统模型在时空图数据信息捕获上的缺失,提出了一种新颖的基于多尺度时间卷积网络的双注意力特征融合模型用于长时间的交通预测(DAFF-Net,Double Attentional Feature Fusion)。DAFF-Net将输入数据通过局部注意力和全局注意力分成两条路径分别进行建模后融合,增强了模型捕获时空相关性的性能。为了更好的处理时间序列,利用一维卷积网络构造了一种多尺度卷积融合的时间卷积网络(MS-TCN,Multi-Scale Temporal Convolutional Network),用于捕获时间维度的特征,增强了时空图卷积层的泛化能力,从而有效地提升了交通预测性能。2.由于现有的预测模型对时空图信息上全局特征捕获仍有不足,所以本研究构建了基于双路信息时空图卷积网络模型(D-STCNet,Dual Path Information SpatialTemporal Convolutional Net)。D-STCNet中的混合跳跃图卷积网络通过自适应学习出图的邻接矩阵,动态的捕获时空图的空间特征,提高了图卷积网络的学习能力。其次,D-STCNet中的扩张时间卷积网络结合扩张卷积和因果卷积门控机制,使扩张时间卷积网络能更好的适应复杂的交通时序数据。最后,对于加强全局特征的捕获能力,本研究提出了三重池化注意力机制(T-Pool Attention,Triple-Pool Attention),通过对通道采用不同的池化方式再汇集特征,以此获得丰富的特征信息。最后为验证DAFF-Net和D-STCNet模型的预测性能,本研究在选择了两个真实路网数据集基础上进行了实验,将实验结果与其他预测模型比较并进行了分析,从而验证了模型以及相关模块的有效性。
数据驱动的聚酯纤维聚合过程特性粘度预测方法
这是一篇关于聚酯纤维,聚合过程,特性粘度预测,过程参数选择,时间卷积网络的论文, 主要内容为纺织行业是我国支柱产业之一,聚酯纤维作为最重要的纺织品原料,其产量占我国纺织材料总产量的八成左右。聚合是聚酯纤维熔体直纺工艺的首要工序,聚合过程质量对聚酯纤维产品质量以及后续工艺流程都有重要影响,而特性粘度是聚酯纤维聚合过程中的关键质量指标之一,特性粘度波动过大会造成纺丝成型不良、飘丝、并丝等诸多质量问题。目前,聚酯纤维聚合过程特性粘度主要以事后检测为主,该方式具有滞后性,不能提前介入生产过程参数调控,造成生产过程损耗大,生产效益低等问题。特性粘度波动受聚合过程多阶段众多过程参数影响,同时,考虑到聚合过程参数的高维时序性、时滞性、非线性等复杂特性,当前的预测方法难以适用。因此,针对上述问题,本文对聚酯纤维聚合过程特性粘度预测问题展开如下研究:1)针对聚酯纤维聚合过程的时滞性、过程参数的维度高、参数间冗余性强且数据缺陷显著的特点,提出基于时滞相关性分析的过滤式过程参数选择方法,通过该方法输出预测模型的输入参数子集。首先,针对过程参数的数据缺陷,对原始数据集进行预处理;然后针对过程参数间的时滞性、高维度,以最大信息系数为过程参数重要性评价标准,融合最大交叉相关性时滞计算方法,对过程参数和特性粘度间做相关性分析;其次,针对过程参数集中的冗余过程参数,提出基于近似马尔科夫毯的冗余性分析方法,去除数据集冗余过程参数;最后通过方法实验和案例实验验证本文方法的有效性。2)针对聚酯纤维聚合过程特性粘度影响参数众多,反应过程复杂,数据间具有非线性时序关系的特点,以过程参数选择方法的输出作为模型的输入对象,提出一种基于时间卷积与注意力门控神经网络的特性粘度预测方法。该方法通过时间卷积网络挖掘高维时序数据特征内部空间关联,强化模型了特征提取能力;通过门控神经网络挖掘多维度时序数据长期依赖关联关系,同时,引入注意力机制,给予门控神经网络模型隐含层状态不同的权重,减少深层特征掩盖并加强重要时序特征的影响。最后,通过实际生产数据对比其他文献所提不同算法的预测精度,验证本文所提方法的有效性。最后,以浙江省某聚酯纤维生产企业聚酯车间为工程背景,分析基于微服务架构的特性粘度预测系统的实际需求,设计和开发了聚酯车间特性粘度预测系统,并通过工程案例予以验证,为聚酯车间特性粘度调控提供了有效手段。
基于混合神经网络的序列推荐方法研究
这是一篇关于序列推荐,时间卷积网络,长短期记忆网络,注意力机制的论文, 主要内容为本文基于序列推荐的思想,针对推荐系统存在的推荐准确度较低等问题,在推荐模型的项目嵌入阶段与序列建模阶段进行了改进以提高推荐的性能,具体问题与改进方法阐述如下。在对用户交互序列的处理中,现有的推荐模型在嵌入时仅仅关心用户的交互项目的顺序,忽略了用户交互序列项目属性与内容的相关性,对此本文在项目嵌入阶段引入了相关领域的知识图谱来获得辅助信息,通过丰富用户交互信息的形式改进了常规的嵌入方法。在实验中与先前主流的方法和未加入数据集相关领域知识图谱的方法进行了比较,结果证明提高了嵌入方法的性能。在序列建模阶段,现有模型大部分使用循环神经网络(Recurrent Neural Network,RNN)对于用户交互序列进行建模,与循环神经网络相比,时间卷积网络(Temporal Convolutional Network,TCN)的并行性较好,对比循环神经网络存在结构上的优势,并且在自然语言处理领域已经证明有着不错的效果。在用户的近期交互阶段,偏好变化较为频繁,时间卷积网络因为其结构上的优势,更有益于用户的近期交互建模。所以本文引入时间卷积网络对于用户近期交互序列进行建模来提高近期偏好获取的准确性。除近期阶段建模的问题之外,针对没有充分考虑用户交互序列导致推荐准确度较低的问题,本文在考虑用户近期交互序列的基础上,也在建模过程中加入了用户长期交互序列,充分考虑到了用户各阶段的交互序列来提高推荐模型的性能。同时考虑到用户的长期与近期偏好是有益的,但是简单的对于用户两个阶段的偏好相结合并不会起到很好的推荐效果,本文在同时考虑用户的近期偏好与长期偏好的基础上,基于注意力机制动态地融合了用户的近期与长期两个交互序列的偏好,从而提高了推荐的准确性。综上所述,针对以上提到的目前推荐方法的不足,本文在嵌入阶段引入相关领域的知识图谱来丰富交互信息,引入时间卷积网络以提高用户近期偏好建模的准确度,同时在模型最后加入注意力机制来动态融合用户各阶段偏好,从而提高了推荐的性能。最后,在实验环节中,在电影与音乐领域的公共数据集Movie Lens与Last FM上进行了实验,结果证明提出的模型发挥了作用,起到了较好的效果。
基于图注意力网络的链路预测及其应用研究
这是一篇关于图注意力网络,时间卷积网络,链路预测,知识图谱,多层网络的论文, 主要内容为链路预测作为网络分析领域的研究热点,旨在利用网络已知的信息,推断系统中潜在或未知链接。通过链路预测可以解决网络连接不完整的问题,获取缺失的数据,鉴别虚假交互,评估网络演化机制等。知识图谱是对事实的结构化体现,由实体和关系组成。利用知识图谱能够整合分散的信息资料,建立一种强大的语义信息网络,进而为解决实际问题创造良好条件。伴随着知识的丰富,知识图谱也需要持续的更新和完善,对于怎样推测实体间的隐含关系与潜在连接,始终是研究者关注的问题。本文针对静态知识图谱、时序知识图谱和多层网络等多种模型中的链路预测问题进行研究,主要工作如下:(1)针对静态链路预测中实体被孤立处理的问题,提出一种拓展的关系图注意力网络,充分捕捉实体邻域的特征,挖掘三元组之间的隐藏信息。同时,设计了一种实体和关系的新型嵌入方法,在向量空间下实现实体和关系多角度的融合,该嵌入方法同时考虑了实体和关系潜在的语义信息,能够实现实体和关系的融合嵌入。(2)针对时序链路预测中时频特征细粒度融合的问题,设计迭代双线性融合方法,以一种新的迭代方式改进实体和关系的跨域特征表示。同时,引入时间卷积网络捕捉跨时间相邻事实之间的顺序模式,解决实体嵌入收敛到相同值的过平滑问题。此外,引入余弦相似性衡量实体特征之间的相似度。该工作采用并行方式获取时间-频谱特征,有效地实现了时频特征间的跨域交互。(3)针对多层网络链路预测中“节点对”离散、孤立处理的问题,提出两级图注意力机制,通过节点级的注意力机制实现小范围节点邻域特征的精细提取,通过“节点对”级的注意力机制实现大范围“节点对”拓扑特征的融合。同时,采用多指标融合方式更全面表征同层节点间的相似程度,并基于余弦定理衡量层间相似度,实现目标层与多辅助层预测权重的有效衡量。进而,设计一种端到端的多层网络链路预测框架,将“节点对”特征学习和预测器相融合,从而有效提高链路预测精度。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设客栈 ,原文地址:https://bishedaima.com/lunwen/48685.html