面向序列化推荐的用户偏好挖掘方法研究
这是一篇关于推荐系统,注意力网络,门控循环单元,门控图神经网络的论文, 主要内容为在当前互联网飞速发展的背景下,传统的推荐方法逐渐被淘汰,新兴的社会化推荐,序列化推荐逐渐成为主流推荐方法。当前序列化推荐研究者把重点放在建模用户交互序列中的物品上,捕获物品与物品之间的顺序过渡模式。因此忽略了用户在交互序列中所做出的行为,无法捕获用户更深层次的兴趣。同时当前序列化推荐研究者也没有考虑用户交互序列中会出现物品稀疏的问题。最后,序列化推荐研究者也没有考虑到不同交互上下文对于待推荐物品的影响也是不同的,在不同上下文下用户的长短期偏好所起到的影响程度也是不同的。借着前人的研究工作,本文所做的工作以及贡献如下:(1)针对现有序列化推荐模型将重点放在对会话中物品进行建模,而忽略了会话中用户和物品的交互方式的问题,本文提出一种改进的序列化模型SR-IUB。该模型一方面通过区分会话中用户与物品之间不同的交互行为获得用户对物品的深层次兴趣,进而丰富用户嵌入表示;另一方面,将会话信息转为有向加权图,设计一种边权重计算方法衡量物品之间的关联性。实验表明,SR-IUB在电商数据集亚马逊上,评价指标击中率、平均倒数排名提高了1.41%到3.12%,证明了该模型的合理性和有效性。(2)针对现有的序列化推荐中出现的物品上下文关联性单一的问题,在SR-IUB基础上提出新模型SR-IUB&IA。该模型在原有基础上利用物品属性(如:价格,材料,产地等)学习物品上下文关联性,并缓解数据稀疏问题。具体地,模型利用知识图谱构建物品属性图获取物品属性信息,通过物品间属性解释物品上下文之间的关联,并提出主从任务范式将物品属性特征作为额外信息辅助主任务进行推荐。实验结果表明,新提出的模型较其他模型在数据稀疏的情况下也有比较好的效果,在击中率、平均倒数排名评价指标上提高了5.25%～6.72%。(3)针对现有的序列化推荐模型把会话中用户所交互的物品视为对下一项待推荐物品有相同的重要程度,以及用户长短期偏好在当前上下文推荐过程中所占比重不清楚的问题,提出了双层网络挖掘用户偏好的算法。在第一层注意力网络结构中,本文采用带有注意力机制的神经记忆网络结合用户历史会话嵌入计算当前序列中物品的注意力权重。在第二层注意力网络中,将带权重的上下文信息结合门控循环单元的当前隐藏层输出组成的神经网络记忆单元,再用注意力机制计算出当前记忆单元所占的权重,即短期偏好的权重。然后结合用户历史购物信息和当前上下文的嵌入通过注意力机制计算出当前上下文的长期偏好所占权重。实验结果表面,在击中率评价指标上提高了3%左右,归一化折扣累积增益评价指标提高了7%左右。
基于GRU的序列化数据推荐算法研究
这是一篇关于推荐算法,XGBoost,门控循环单元,Dropout网络,停留时间的论文, 主要内容为随着信息过载问题日渐严重,推荐系统的研究成为了计算机领域的焦点问题。传统推荐系统过度关注了单一项目的分类和评分,忽略了推荐系统的本质:为用户提供感兴趣商品清单。针对传统推荐系统的缺陷,本文基于用户会话的推荐算法,提出了一种融合XGBoost和门控循环单元(Gated Recurrent Unit,GRU)的排名推荐算法。充分利用XGBoost优化数据模型进行特征提取,对用户隐性反馈数据进行分析,从而挖掘用户潜在兴趣,提高推荐系统性能,提升用户体验,具体研究内容如下:(1)传统的树提升模型仅关注了数据集上的训练损失,从而导致数据模型过于复杂,不利于进行特征提取工作。针对这一问题,本文创新地引入了 XGBoost。XGBoost的优势在于损失函数中不仅定义了数据训练损失,还定义了控制数据模型复杂度的正则项。同时,为了更好地对商品项目进行相关度建模,引入了皮尔逊相关系数。结合皮尔逊相关系数,构建了融合XGBoost和GRU的序列推荐算法。实验结果表明,使用XGBoost进行特征提取比使用树提升模型进行特征提取在MRR指标上有提升。(2)传统Dropout 网络通过随机删除会话中的点击来减少噪音数据。由于删除行为过于随机,存在将重要点击删除的可能。针对此问题,本文引入时间点T和停留时间(Dwell Time)对传统Dropout网络进行了改进。通过分析用户点击行为得出结论:在T=2秒时不存在用户兴趣分布。因此,改进的Dropout网络会删除停留时间等于两秒的点击。实验结果表明,利用改进的Dropout网络进行数据处理,其平均召回率相对于传统的Dropout网络有明显提高,且数据分布更加均匀。(3)为了挖掘更多有效的用户序列信息,本文引入图嵌入方法,并利用点击步数和用户兴趣的关系,对其负采样标准进行优化。结合改进的Dropout网络和图嵌入方法,构建了一个基于用户会话的GRU排名推荐算法。该算法使用Learning to Rank方法中的Pairwise生成一个与查询目标呈正相关的推荐清单。实验结果表明,所提出的算法克服了传统推荐算法过度关注单一项目的分类和评分的局限,在Rec@25和MRR两个评价指标上均有所提升。
融合RNN和CF的推荐算法研究
这是一篇关于协同过滤算法,用户兴趣偏好,门控循环单元,知识图谱,注意力机制的论文, 主要内容为随着网络的不断发展,信息资源呈指数增长。用户往往无法在海量信息资源中筛选出感兴趣的数据。因此推荐系统顺应时代要求而产生,其能够帮助用户快速找到个性化的信息。推荐系统的核心引擎——推荐算法,能够有效缓解数据量过大问题和提高用户处理信息效率问题。其中,协同过滤推荐算法通过比较物品与物品或者用户与用户之间的相似性进行物品推荐,能够以静态方式捕获用户长期兴趣特征。但是协同过滤算法一般只能以静态的方式捕获用户长期的兴趣偏好,忽略了用户兴趣不断变化的特性,缺少对用户历史序列中短期动态偏好的捕获和使用,而且协同过滤算法存在数据稀疏性问题,都会使推荐效果大打折扣。为有效结合用户长期和短期兴趣偏好,学习历史行为序列中蕴含的短期兴趣特征,设计了一种基于长短期偏好的自适应融合推荐算法(RUCF):该算法通过协同过滤推荐算法中的矩阵分解(Matrix Factorization,MF)模型学习用户和项目信息从而捕获用户长期兴趣,同时使用两层门控循环单元(Gated Recurrent Unit,GRU)捕获历史交互行为序列中的短期动态兴趣。最后,将长期和短期兴趣偏好自适应融合进行预测推荐。RUCF算法创新性的将循环神经网络(Recurrent neural Network,RNN)和协同过滤(Collaborative Filtering,CF)模型融合,并在此基础上,对GRU模型进行改进,在第二层门控循环单元中引入注意力机制改进更新门结构,能够学习更有价值的短期兴趣。在Movie Lens-1M电影数据集和Electronics数据集上的实验结果表明,该算法能有效提高推荐结果的准确度,与其他相关算法相比也具有明显的优越性。为有效缓解数据稀疏性问题,引入知识图谱中丰富的语义知识作为辅助数据,设计了一种融合知识图谱的协同过滤的推荐算法(KCF):该算法利用Trans R翻译模型捕捉知识图谱中实体结构化知识的特征嵌入向量,同时利用自编码器处理知识库中的文本知识,提取项目的文本特征向量,最后采用联合学习的方式,将结构化知识和文本知识的特征向量融合到协同过滤中进行训练,通过计算这些特征向量生成最终的推荐列表。除此之外,在知识图谱中引入上下文信息进行改进,用实体上下文的平均值表示每个项目实体,从而能够使实体的可识别性得到增强。在Movie Lens-1M电影数据集上的实验结果表明,该算法能够大大缓解数据稀疏性问题,具有一定的研究意义。总的来说,本文利用传统的协同过滤推荐算法与深度学习和知识图谱领域的技术方法相结合,并且加以研究和改进,最终能够有效缓解数据稀疏性问题和提高算法推荐的准确性。
收听序列词嵌入的音乐推荐技术及应用研究
这是一篇关于音乐推荐,时序行为,词嵌入,门控循环单元的论文, 主要内容为互联网的迅速发展和流媒体音乐服务的强势崛起,使得人们能够随时随地聆听海量音乐。人们享受着信息增长带来数字红利的同时,也面临着日趋严重的信息过载问题,为此推荐技术应运而生。收听序列中蕴含着丰富的音乐上下文信息,可有效描述用户潜在的兴趣偏好。分析现有推荐技术,研究如何利用以机器学习为代表的新一代推荐技术,从特定场景和局部序列中挖掘出用户的短期动态偏好,构建满足用户需求且提升平台效益的实时推荐服务是当前推荐系统领域的一个研究热点。论文以音乐推荐为研究对象,提出了一种将分布式词向量表示(Word Em-bedding)和门控循环单元(Gate Recurrent Unit,GRU)相结合的混合式音乐推荐模型 E-GRU(Embedding-Gate Recurrent Unit,E-GRU),在挖掘用户潜在兴趣偏好的同时最大限度地提高推荐准确率。本文主要可分为两个部分:第一部分针对局部序列内的音乐之间关联性较强的特点,对用户的历史收听序列进行分割以形成会话记录。采用基于连续词袋模型(Continuous Bag of-Words Model,CBOW)的Word2Vec框架学习会话层级上的音乐词向量表示,实现音乐特征的粗粒度提取;其次,对所构建的词嵌入模型进行理论推导,验证模型的合理性。最后,在Last.fm真实数据集上对所构建的模型进行实验训练,为后续模型的输入数据作准备。第二部分将用户的短期动态意图和长期稳定偏好相结合,提出基于词嵌入的GRU音乐推荐模型E-GRU。GRU的加入使得模型不仅增强了对于时序信息的建模能力,还能够挖掘出序列中蕴含的深层音乐抽象特征,又克服了传统循环神经网络随着模型深度不断增加而丧失长距离依赖关系的学习能力的问题。模型以音乐词向量替代独热向量来表征输入数据,并且使用音乐词向量均值作为输入数据的起始项来刻画用户长期偏好,该方案不仅填补了短期偏好模型缺乏序列历史信息的不足还减轻了模型的计算消耗;其次,通过运用Dropout技术克服模型训练过程中存在的过拟合问题,有效提高了模型的泛化能力,最后在真实数据集上对所构建的模型进行了实验训练并与多种推荐算法进行对比,实验结果表明,本文改进提出的技术研究方案和构建的实验模型能够进行较为准确的音乐推荐。
基于社交网络的电影推荐算法研究
这是一篇关于社交网络,推荐算法,图神经网络,注意力机制,门控循环单元的论文, 主要内容为随着大数据技术的飞速发展,“信息过载”问题日趋严重。尤其在电影领域,此类问题更加突出。推荐系统作为处理信息过载问题的重要手段之一,引起众多科研学者的注意。另一方面,社交网络服务蓬勃发展,越来越多的电影推荐平台融入社交属性。近年来,由于图神经网络具有强大的图表征能力,给基于社交网络的推荐系统更多改进的机会。因此,本课题将采用图神经网络技术解决基于社交网络的电影推荐任务,并分别从静态社交场景和动态社交场景这两个方面展开研究,主要工作如下:(1)针对静态社交场景下的电影推荐任务,本课题研究了一个基于耦合影响力的图神经网络社交推荐模型CI-GNNSR。首先,为缓和数据稀疏问题,对用户历史评分信息和二度社交信息进行挖掘,构建了具有相似品味的协同好友推荐圈,并将其引入用户和电影的特征表示学习建模中。其次,为了区分不同用户好友关系之间的关联因素,采用基于注意力的记忆网络学习用户和协同好友之间的兴趣影响力表示。最后,通过深入挖掘协同好友兴趣影响力和待测电影对用户的耦合影响力,对Graph Rec模型进行改进。该模型从多个角度优化用户的社交影响力,实验在豆瓣电影数据集上进行验证,通过对比分析,本课题所研究的算法在MAE和RMSE这两个评价指标上均优于其他对比算法。(2)针对动态社交场景下的电影推荐任务,本课题研究了一个融合静态动态特征关系的图神经网络社交推荐模型FSDFR-GNNSR。首先,使用图嵌入算法提取用户和电影的静态特征。其次,改进用户动态特征的建模方法,将其静态特征作为GRU网络输入的一部分,使得模型在建模用户动态行为的同时能考虑到静态特征。最后,使用图注意力网络对好友的动态影响力进行建模,通过简化二阶邻居节点的更新策略降低了算法的时间复杂度,同时使用图池化操作提高算法的泛化能力。该模型综合考虑用户的静态和动态特征信息,并丰富了好友的信息,实验选取Epinions数据集中的电影类别进行验证,结果表明,本课题所研究的算法相比于其他对比算法在HR值和NDCG值上均有所提升。(3)基于本课题的理论研究,设计并开发了基于社交网络的电影推荐原型系统。该系统引入模块化开发和面向对象编程的思想,完成了业务流程和系统界面的设计与实现。同时对本课题所研究的推荐算法进行检验分析,证明了算法的有效性。
基于深度学习的音乐流派分类和标签自动标注研究
这是一篇关于音乐信息检索,深度学习,门控循环单元,视觉注意力机制,残差神经网络的论文, 主要内容为本文的主要研究内容是基于数字音乐的音频声学特征进行音乐的流派分类和自动标注。音乐的流派分析和标签标注需要大量的音乐特征,但传统的音乐特征设计需要结合音乐领域的专业知识,而且在处理不同类型的任务时这些特征并不通用,往往需要耗费大量的人工成本。深度学习的应用降低了对音乐流派分析和标签标注时对人工的依赖。本文立足于音乐本身,使用深度学习的方法对音乐流派分类、音乐标签的自动标注和基于流派、标签的离线音乐推荐方法进行了研究。实验内容分为音乐流派的自动分类、音乐标签的自动标注和基于音频内容的离线音乐推荐方法三部分。在音乐流派分类方面,将音乐的音频进行傅里叶变换转化为Mel频谱图和MFCC,采用了Res Net+GRU的网络结构进行分类;在音乐标签的自动标注方面,采用了Res Net+Vi T的结构进行学习和标注;在基于音频内容的离线音乐推荐方法方面,基于前述的分类和自动标注方法对音乐进行特征建模,将特征向量之间的相似性作为依据来将音乐与用户建立连接。论文的创新点在于将音乐音频转化为Mel频谱图、MFCC和STFT三种方法分别进行流派分类和标签的自动标注,比较了变换方式对于流派分类和音乐标签自动标注的影响,并将门控循环单元和视觉注意力机制引入对音乐音频的全局特征提取,将改进的Res Net用于局部特征的提取,并利用Res Net+GRU、Res Net+Vi T混合模型将全局特征与局部特征相结合,同时得到音乐的声学特征(包括局部相关性和全局相关性)和时序特征,以用来进行流派分类、标签标注和推荐。论文最后简述了基于音频相似度的应用前景:可以用于克服音乐推荐系统中存在的冷启动和过度获取用户隐私数据的问题;也可用于音乐的情绪识别、版权保护和翻唱识别。
融合注意力机制的图神经网络推荐算法研究
这是一篇关于图神经网络,注意力机制,门控循环单元,社交信息,推荐系统的论文, 主要内容为随着网上信息量的急剧增加,信息过载问题成为了制约网络发展的一个重要因素。推荐系统作为解决该问题的有效方法,得到了工业界和学术界越来越多地关注和研究。图作为一种重要的数据结构,可以表示一组对象之间的复杂关系。而推荐系统中的大部分数据本质上具有图结构,将图神经网络应用于推荐系统,可以更有效的从各种数据中了解用户的偏好和需求。因此基于图神经网络的推荐系统成为推荐系统领域的一个重要研究方向。本文提出了两种基于图神经网络的推荐算法:融合多头注意力机制的图神经网络算法MGRU和长短期偏好融合的图神经网络算法GNNLSR。在图神经网络推荐系统中,用户的兴趣爱好受到自身的历史行为、社交网络等多方面影响,呈现出一种动态变化的趋势。而如何在推荐系统中结合用户的社交网络信息以及时序兴趣提取有效信息,是一个棘手的问题。针对上述问题,MGRU算法利用门控循环单元有选择的记忆与遗忘节点的时序信息,增强图神经网络在节点迭代时的抽象能力。再利用注意力记忆网络获得朋友在不同方面对用户的影响,依靠多头注意力机制来调节朋友影响力的大小。在Ciao与Epionions数据集上使用均方根误差和平均绝对误差作为评价指标进行实验,结果证明该算法提升了推荐系统的准确率。目前基于图神经网络的推荐方法中,很多学者将用户和项目的交互信息构建成图,然后通过聚合和更新图上的节点得到用户和项目的嵌入表示。但目前大部分基于图神经网络的模型通常仅考虑用户生成的短期偏好和长期偏好的某一个方面。用户偏好的本质是由短期偏好和长期偏好共同作用而来的,长期偏好记录了一个用户的长期习惯,而短期偏好则是随着时间的推移产生的新兴趣。因此本文提出了一种融合长短期偏好的图神经网络算法GNNLSR。此外,本算法中还融合了项目的特征提取,使得该模型在捕获用户长短期偏好的基础上,结合项目特征产生更好的推荐结果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工坊 ，原文地址：https://bishedaima.com/lunwen/47237.html
