基于注意力机制的组推荐方法研究
这是一篇关于群组推荐,注意力机制,神经协同过滤,因子分解机的论文, 主要内容为近年来,推荐系统得到了极快速的发展,以多人推荐场景为出发点,群组推荐系统应运而生。区别于其它单人推荐系统,除了向单个用户进行推荐,群组推荐系统最主要的任务是为多用户组成的群组进行推荐。通常在群组中,受群组特征、社会化因素等的影响,组中每个成员对群组的贡献率不尽相同,因此,群组推荐研究中的一个重难点问题就是如何融合群组成员偏好,从而使其尽可能满足所有成员的偏好需求。本文首先基于自注意力网络和神经协同过滤(neural collaborative filtering,NCF)提出一种基于自注意力机制的组推荐系统模型SAGR(self-attention group recommendation),用以建模用户交互数据及学习群组潜在偏好表示。针对注意力网络只能获取用户项目交互从而导致的群组偏好考虑不全面的问题,使用自注意力机制挖掘用户间交互,使得组中每个用户的权重得以动态调整,从而解决群组偏好融合问题,提高群组推荐效果。其次,本文还设计了基于注意力因子分解机的群组推荐模型AFMGR(Attentional Factorization Machine Group Recommendation)。因其挖掘交叉特征的主动性以及优秀的泛化性能,因子分解机被广泛用于项目推荐和CTR(Click-Through-Rate)预估等场景中。然而它只能引入二阶特征交互,却不能挖掘出深层的交互信息。因此为了融合群组偏好,将注意因子分解机与群组推荐相结合,组中每个用户作为一个“特征”。通过捕获两两用户交互的重要性以及特征之间的高阶交互信息来改进权重值,最终使得模型预测效果更佳。最后,本文将两种方法分别在CAMRa2011和Movielens数据集上与同类方法进行对比实验,进行用户评分的预测和Top-K推荐,实验结果表明,与目前最先进算法AGREE相比,本文方法SAGR和AFMGR均有更突出的表现。其中,在数据集CAMRa2011上,SAGR的精确度指标HR(Hit Ratio)和NDCG(Normalized Discounted Cumulative Gain)分别提升了约1.6%和1.3%,AFMGR的HR(Hit Ratio)和NDCG(Normalized Discounted Cumulative Gain)分别提升了约1.9%和1.5%;在数据集Movielens上,SAGR的精确度指标HR和NDCG分别提升了约0.9%和2.3%,AFMGR的HR和NDCG分别提升了约1.7%和4.5%。由此可以证明,本文方法能够有效提高群组推荐准确性以及群组用户满意度。
影情智能推荐算法及推荐系统研究
这是一篇关于电影推荐系统,点击率预估算法,深度学习,注意力机制,因子分解机的论文, 主要内容为随着互联网的飞速发展、电脑等智能设备的普及,网络改变了民众的生活习惯,大多数人选择在网上看电影。近些年,电影产业的兴旺发展,网络上的电影种类、数量繁多,给用户带来“信息过载”的问题,人们经常很难找到想看的电影。怎样快速、准确地推送用户感兴趣的电影是个性化电影推荐系统的重要研究方向。近年来,深度学习在自然语言处理、图像处理等领域都有了很大的发展,将深度学习的方法应用到信息推荐领域,为推荐技术提供了新的发展方向。本文提出了一种基于深度学习的点击率预估算法DAPN,并将该算法与传统推荐算法相结合,搭建了一个混合电影推荐系统。阐述了课题研究背景及意义,分析了有关深度学习和推荐算法的国内外研究现状;同时,研究了传统推荐算法以及目前主要的深度学习推荐技术,剖析了其各自的优势与不足,在现有基础上做出改进并提出新的算法。本文改进缩放点积注意力机制设计一种深度注意力模块DCA,将因子分解机FM算法与DCA模块融合到神经网络中提出一种新的点击率预估模型DAPN。该模型利用改进后的缩放点击注意力模块挖掘用户行为中的隐性兴趣特征,利用因子分解机结合用户显性反馈信息中的显性偏好一起输入神经网络,学习更深层次的信息。最后在Movie Lens-1m和Avazu公开数据集上验证并对实验结果进行分析。通过对传统推荐算法的分析发现,受到数据稀疏、“物品长尾”等问题的制约,电影特征数据未得到充分利用,无法学习用户和电影之间深层次的关系。因此,利用提出的DAPN模型和传统推荐算法设计出一种满足准确性、多样性并能够解决数据稀疏等问题的电影推荐系统。根据系统功能的需求分析和总体架构,采用B/S结构,利用Spark大数据平台搭建了一个电影推荐系统。并将提出的DAPN模型应用于电影推荐系统中。
影情智能推荐算法及推荐系统研究
这是一篇关于电影推荐系统,点击率预估算法,深度学习,注意力机制,因子分解机的论文, 主要内容为随着互联网的飞速发展、电脑等智能设备的普及,网络改变了民众的生活习惯,大多数人选择在网上看电影。近些年,电影产业的兴旺发展,网络上的电影种类、数量繁多,给用户带来“信息过载”的问题,人们经常很难找到想看的电影。怎样快速、准确地推送用户感兴趣的电影是个性化电影推荐系统的重要研究方向。近年来,深度学习在自然语言处理、图像处理等领域都有了很大的发展,将深度学习的方法应用到信息推荐领域,为推荐技术提供了新的发展方向。本文提出了一种基于深度学习的点击率预估算法DAPN,并将该算法与传统推荐算法相结合,搭建了一个混合电影推荐系统。阐述了课题研究背景及意义,分析了有关深度学习和推荐算法的国内外研究现状;同时,研究了传统推荐算法以及目前主要的深度学习推荐技术,剖析了其各自的优势与不足,在现有基础上做出改进并提出新的算法。本文改进缩放点积注意力机制设计一种深度注意力模块DCA,将因子分解机FM算法与DCA模块融合到神经网络中提出一种新的点击率预估模型DAPN。该模型利用改进后的缩放点击注意力模块挖掘用户行为中的隐性兴趣特征,利用因子分解机结合用户显性反馈信息中的显性偏好一起输入神经网络,学习更深层次的信息。最后在Movie Lens-1m和Avazu公开数据集上验证并对实验结果进行分析。通过对传统推荐算法的分析发现,受到数据稀疏、“物品长尾”等问题的制约,电影特征数据未得到充分利用,无法学习用户和电影之间深层次的关系。因此,利用提出的DAPN模型和传统推荐算法设计出一种满足准确性、多样性并能够解决数据稀疏等问题的电影推荐系统。根据系统功能的需求分析和总体架构,采用B/S结构,利用Spark大数据平台搭建了一个电影推荐系统。并将提出的DAPN模型应用于电影推荐系统中。
融合评分矩阵与评论文本的深度推荐模型
这是一篇关于推荐系统,评分预测,深度学习,神经网络,因子分解机的论文, 主要内容为随着“互联网+”时代的到来,数据规模急剧膨胀,作为缓解信息过载问题的有效方式,推荐系统应运而生,通过分析用户项目的交互行为实现主动推荐,为用户提供个性化定制服务。作为推荐系统的研究方向之一,评分预测任务衡量了用户对项目的偏好程度,在电商平台、广告营销等领域得到了广泛传播。然而传统的推荐系统普遍存在数据稀疏性问题,难以适应复杂的推荐场景,而深度学习技术具备数据拟合能力和深层特征学习能力,可有效弥补数据稀疏和可解释性不足等短板,提高评分预测系统的准确度。因此,本文针对评分预测任务,以卷积神经网络与深度矩阵分解网络为框架,提出了一种混合推荐模型Deep-Con MF,利用深度学习技术融合评分数据与评论文本,充分挖掘用户和物品特征,提取目标客户潜在兴趣,优化服务质量,为电商平台开拓市场提供更精准的评分预测信息,具体研究工作包括:(1)将评论文本这一辅助数据融入深度推荐系统中,利用深度学习技术实现显隐反馈数据的有效结合,既弥补了浅层推荐模型的不足,也减弱了数据源中大量缺失值对推荐效果的消极影响。(2)在融合预测层加入因子分解机技术,学习用户和物品属性的交互关系。通过建模分量间的二阶交互项,拟合任意两条特征的关联度,实现用户对项目的评分预测,增强模型的深层提取能力。(3)选取亚马逊公开数据集证明本文模型的有效性与科学性。将均方根误差作为衡量指标,对比其他六个基线模型的预测性能,并进一步分析模型的影响因素。三个数据集结果均表明,Deep-Con MF模型在推荐评级任务中的性能更加优越,预测准确度更高。
基于因子分解机的点击率预估及转化研究与应用
这是一篇关于因子分解机,特征组合,注意力机制,图神经网络,推荐系统的论文, 主要内容为当前计算广告中点击率预估与点击率转化研究主要面临样本选择偏差和数据稀疏性问题。因子分解机是目前主要用于实现大规模稀疏数据特征组合的热门算法,它最本质的特征是二阶特征交互。由于因子分解机能在较低复杂度下学习数据中隐藏的特征交互关系,当用于稀疏数据时,因子分解机比一般的多项式表达能力强。本文基于因子分解机模型进行了充分的扩展研究,并在计算广告领域的点击率预估和转化率估计的任务上进行了实验验证。本文主要内容如下:(1)考虑到目前的大多数方法建模特征的交互用于提高模型性能,但未注意到不同特征交互对模型的贡献度不同。本文提出了基于因子分解机的注意力混合模型,采用注意力机制探索不同类型特征组合对点击率预估的影响,有效缓解了大多数方法中没有综合不同特征组合对模型贡献度的问题。在两个数据集上的广泛实验表明,该模型不仅取得了与当前最优方法可比的性能,还有较强的泛化能力。(2)虽然因子分解机在推荐系统领域已获得了广泛的应用,但在面对存在图结构的数据时,因子分解机模型无法充分获取数据中的图信息。本文提出了基于图神经网络的因子分解机模型用于点击率预估任务,模型使用因子分解机和特征拼接两种方法初始化节点嵌入表示,使用两种不同的图神经网络对特征进行学习,通过有效结合图神经网络和因子分解机来进行点击率的预估。实验结果表明,该模型在所有对比模型中表现最好。(3)点击率预估是计算广告的主要任务之一,而转化率更是计算广告关心的问题,因此本文对转化率研究进行了探索,引入迁移学习并提出了图异构因子分解机模型用于点击率转化任务。模型同样使用因子分解机作为初始节点表示的方法,然后使用图神经网络同时对用户节点物品节点转移向量进行学习,从而有效建模点击行为转化到购买行为的概率,通过两个公开数据集验证了该方法的有效性,并在广告推荐系统上进行了应用。
基于深度学习的推荐模型研究
这是一篇关于深度学习,推荐系统,卷积神经网络,因子分解机,Word2vec模型的论文, 主要内容为大数据、云计算、人工智能等新技术的迅速发展,使得互联网应用层出不穷,导致网络数据呈现指数级的增长,大规模数据为各领域发展带来新的契机和危机。一方面,海量数据信息为推荐系统带来更多有价值的信息,另一方面,对于传统的协同过滤推荐系统来说,已经难以满足用户的推荐需求。稀疏性问题、冷启动问题以及可解释性问题都是推荐系统尚待解决的问题。因此,需要新的技术更新替换传统技术才能有效地解决上述问题。传统协同过滤推荐因评分数据单一无法对推荐结果做出合理解释,后来从某一类辅助信息中提取有效隐含特征辅助推荐,虽然在一定程度上可以提高单域推荐的准确性,但是若要深入地挖掘用户与项目之间的复杂关系,需要研究在推荐系统中融入多源数据,并且研究使用新技术从多源数据中提取综合性特征,同时研究实现所提取的用户特征和项目特征的交互,计算预测评分。基于以上问题背景,本文提出一种融合多源数据的深度学习模型DCNNs用于推荐系统,具体研究工作有:(1)多源数据融入基于深度学习的推荐系统中。为了使推荐结果不受单源数据限制,解决推荐系统中的稀疏性问题和冷启动问题,研究从多源数据中获取用户和待推荐物品相关附属的标签、评论文本等数据,因此提出一种结合深广度结构特点的并行深度网络模型DCNNs,广度融合多源数据,深度使用深度学习模型学习隐含特征。(2)引入因子分解机实现用户特征与项目特征的交互。因子分解机可以对用户和项目特征两两组合,对于从多源数据中获取的隐含特征综合性比较好,利用因子分解机可以计算得到用户对某项目的综合预测评分,进而提升推荐结果的可解释性。通过对上述研究的实验验证,结果表明,DCNNs模型在RMSE和MAE指标上均优于所选的基线模型,并且能很好地缓解传统推荐系统固有问题。
基于用户行为特征的智能推荐系统研究与应用
这是一篇关于深度学习,CTR,CIN,推荐模型,因子分解机的论文, 主要内容为互联网、云计算、人工智能经过几十年来惊人的发展,已经从方方面面覆盖到了我们的日常生活之中。而其中具有极大商业潜能的智能推荐技术,备受各大互联网公司青睐,与之相关的研究也数不胜数。在这样得天独厚的条件下,智能推荐系统已经能轻易的通过大数据分析,根据每一个人喜好、现状,为人们的选择给出最合适意见。在智能推荐系统的研究中,陆续经过多个阶段的发展。从早期使用协同过滤模型进行推荐,到机器学习模型的兴起尝试融入机器学习,再到最后CTR(Click Through Rate)推荐模型脱颖而出超越经典机器学习模型。本文着眼于CTR模型,在CTR模型中引入高阶显性特征交叉项,并对该模型做出改进研究以应用于商品推荐系统中。本文的主要研究内容包括如下:1.对于现在经典的Wide and Deep架构的CTR推荐模型进行分析,该类架构模型在面对追求模型高泛用性和数据快速拟合的冲突时,可以很好的把握两者之间的平衡以获得更优秀的性能。然后在此基础上分析引入CIN(Compressed Interaction Network)网络结构,CIN模型能对输入特征之间的高阶显性交互进行有效利用,不仅大大增强了模型的可解释性,也使模型的准确率得到较大提升。2.对引入CIN网络的CTR模型,在criteo广告数据集上进行实验研究。首先对模型的CIN网络层数、feature map维度、正则化系数等超参数进行调优,探索模型潜在性能。然后优化模型的输入、输出结构,使模型能更有效的处理复杂、多样的数据输入,以及充分利用CIN模型部分的处理结果。最后,通过实验结果对比证明,改进后的CTR模型与未改进前模型相比在logloss指标和AUC指标得到了显著提升。3.基于以上研究,结合实践建立一个基于CTR模型分析用户行为特征的金融信息推荐系统。该推荐系统可以通过用户群体的点击,购买,收藏等行为特征,结合用户的基本信息,提供合理的信息推荐。本系统主要关注解决如何在web系统中收集存储CTR数据集,如何利用CTR模型实现推荐功能,以及合理利用人工特征训练模型等应用问题。
基于深度学习的因子分解机点击率预测算法研究
这是一篇关于点击率预测,因子分解机,深度神经网络,特征生成,注意力网络的论文, 主要内容为信息时代的人们每天都在与数据打交道,人们需要从海量的数据中获取到对自身有用的信息,推荐算法便应运而生。点击率预测更是推荐系统中排序环节的一个重要方向,深度学习的加入,将点击率预测领域推上了一个新的高度,深度学习算法使得机器在某些场景和特定任务下,表现出更好的能力。因子分解机(Factorization Machines,FM)适用于数据稀疏的点击率预测场景,但针对其无法扩展到更高阶的特征组合以及无法筛选特征重要程度等问题,引入了深度学习技术,以此来实现更加精准高效的预测。本文主要针对点击率预测场景下数据稀疏对模型预测结果的影响,以及点击率预测模型能够学习有效的特征交互两方面展开研究:(1)通过加入新非线性特征的方式,来缓解特征数据稀疏的问题,本文在第三章提出了特征生成神经注意力因子分解机(Feature Generation Neural Attentional Factorization Machines,FGNAFM)模型,为每个特征域添加一个单独的放缩网络,利用原始特征的信息,经过维数的扩张与收缩,以及非线性激活函数的变换,从原始特征中生成得到大量的非线性特征,原始特征与新特征相互融合,共同参与后续的特征交互与预测。同时FGNAFM模型利用结合深度神经网络的注意力因子分解机模型实现模型的高阶特征组合,具有比传统因子分解机表达能力更强的交互能力,注意力网络的加入,使得模型不再需要凭借人工经验筛选有用特征,可以自动的减弱冗余特征以及无用噪声带来的影响,在一定程度上实现了有效特征的交互组合。(2)放缩网络实质为全连接神经网络,相比于传统的全连接层,卷积神经网络可以更好的获取到局部特征信息。卷积+池化的运算方式在一定程度上可以增强原始数据的特征信息,减少部分噪声的引入。多个空间的注意力参数学习相比于单个注意力机制能够得到更加全面的特征信息,使得特征信息的表达更加丰富,因此在第三章的FGNAFM模型基础上做出改进,提出特征生成双重注意力网络(Feature Generation Dual Attentional Networks,FGDAN)模型,FGDAN模型没有忽略深度神经网络捕获隐式高阶特征交互的作用,特征在经过双重注意力网络后,会进一步的送入到全连接层部分实现高阶的特征组合,FGDAN模型相比于第三章提出的FGNAFM模型有着更好的预测效果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工坊 ，原文地址：https://bishedaima.com/lunwen/46416.html
