基于深度因子网络的电影推荐算法研究
这是一篇关于因子分解机,深度神经网络,梯度提升决策树,深度因子分解机的论文, 主要内容为随着时代的发展,在互联网上观看电影等影视资源已成为人民群众重要的精神娱乐来源。电影推荐系统不仅能给用户带来良好的观看体验,满足其个性化需求,还能为视频网站带来巨大的广告收益。电影推荐系统涉及技术众多,其中电影推荐算法是其最核心的技术,目的是准确地挖掘出用户需要或感兴趣的信息。基于深度神经网络的电影推荐算法具有特征学习能力强、实时性好等特点,也存在着对低阶特征组合学习不足、无法利用电影名称等辅助性信息的问题。针对这些问题,研究基于深度因子网络的电影推荐算法,以提高电影评分预测的准确性。主要研究内容和成果如下:针对如何充分学习电影推荐系统中低阶特征组合,从而提高电影评分预测准确性的问题,分析了电影推荐数据高维稀疏的特点,设计了基于因子分解机(FM)的推荐模块。引入精度更高的域感知因子分解机(FFM)算法,提高模型对二阶特征组合的学习能力。提出梯度提升因子分解机(GBFM)算法,对重要特征组合的二阶交叉信息进行学习,利用梯度提升决策树对样本进行编码,再将编码后样本送入FM算法中进行训练。对比实验表明,在电影评分预测的RMSE值上,FFM算法与GBFM算法相对FM算法分别降低了6.0%与5.3%。针对如何学习高阶特征组合以及电影名称等辅助信息,从而模拟真实电影推荐场景的问题,改进了深度因子分解机(Deep FM)模型,设计了基于深度神经网络(DNN)的推荐模块。构造文本卷积网络,以提取电影名称特征。通过数据分析的方式获取重要的统计学特征,加入原始特征集中。对类别型特征进行嵌入处理,根据类别型特征的类别数目情况,采取不同的嵌入维度。通过设置多层隐含层以及激励函数,实现了对高阶特征交叉信息的学习。改进后的DNN模型与原始Deep FM模型相比,在电影评分预测的MSE值上降低了4.4%。针对如何同时学习电影推荐系统中低阶与高阶特征组合,提升模型泛化性能,从而进一步提高电影评分预测准确性的问题,提出深度因子网络模型。采用加权平均的策略对FFM、GBFM以及改进后的DNN模型进行集成,分别用于提取特征的二阶交叉、重要特征组合的二阶交叉以及特征的高阶交叉信息。实验结果表明,深度因子网络模型在电影评分预测的MSE值与RMSE值上相对原始的Deep FM模型分别降低了13.6%以及7%,深度因子网络模型有效提升了电影评分预测的准确性。
基于深度因子网络的电影推荐算法研究
这是一篇关于因子分解机,深度神经网络,梯度提升决策树,深度因子分解机的论文, 主要内容为随着时代的发展,在互联网上观看电影等影视资源已成为人民群众重要的精神娱乐来源。电影推荐系统不仅能给用户带来良好的观看体验,满足其个性化需求,还能为视频网站带来巨大的广告收益。电影推荐系统涉及技术众多,其中电影推荐算法是其最核心的技术,目的是准确地挖掘出用户需要或感兴趣的信息。基于深度神经网络的电影推荐算法具有特征学习能力强、实时性好等特点,也存在着对低阶特征组合学习不足、无法利用电影名称等辅助性信息的问题。针对这些问题,研究基于深度因子网络的电影推荐算法,以提高电影评分预测的准确性。主要研究内容和成果如下:针对如何充分学习电影推荐系统中低阶特征组合,从而提高电影评分预测准确性的问题,分析了电影推荐数据高维稀疏的特点,设计了基于因子分解机(FM)的推荐模块。引入精度更高的域感知因子分解机(FFM)算法,提高模型对二阶特征组合的学习能力。提出梯度提升因子分解机(GBFM)算法,对重要特征组合的二阶交叉信息进行学习,利用梯度提升决策树对样本进行编码,再将编码后样本送入FM算法中进行训练。对比实验表明,在电影评分预测的RMSE值上,FFM算法与GBFM算法相对FM算法分别降低了6.0%与5.3%。针对如何学习高阶特征组合以及电影名称等辅助信息,从而模拟真实电影推荐场景的问题,改进了深度因子分解机(Deep FM)模型,设计了基于深度神经网络(DNN)的推荐模块。构造文本卷积网络,以提取电影名称特征。通过数据分析的方式获取重要的统计学特征,加入原始特征集中。对类别型特征进行嵌入处理,根据类别型特征的类别数目情况,采取不同的嵌入维度。通过设置多层隐含层以及激励函数,实现了对高阶特征交叉信息的学习。改进后的DNN模型与原始Deep FM模型相比,在电影评分预测的MSE值上降低了4.4%。针对如何同时学习电影推荐系统中低阶与高阶特征组合,提升模型泛化性能,从而进一步提高电影评分预测准确性的问题,提出深度因子网络模型。采用加权平均的策略对FFM、GBFM以及改进后的DNN模型进行集成,分别用于提取特征的二阶交叉、重要特征组合的二阶交叉以及特征的高阶交叉信息。实验结果表明,深度因子网络模型在电影评分预测的MSE值与RMSE值上相对原始的Deep FM模型分别降低了13.6%以及7%,深度因子网络模型有效提升了电影评分预测的准确性。
基于Spark环境下的机器学习在商品推荐中的应用研究
这是一篇关于推荐系统,Spark,逻辑回归,梯度提升决策树,深度森林,组合模型的论文, 主要内容为随着各大电商平台的产生和在线购物用户数量的不断增长,用户面对种类繁多的商品信息时会出现选择困难的情况,同时各个购物平台面对海量的用户群体也尝试各种营销方法对用户的购买意愿进行正向刺激以此来提升销售额。基于上述需求,推荐系统在当今社会中发挥着不可或缺的作用,它借助算法能够从海量的数据中为用户挑选用户想要的信息或者商品。本文采用阿里巴巴移动电商平台的真实用户行为数据,经选取后得到2014年11月22日至2014年12月5日的用户-商品交互行为数据,时间跨度为两周,该数据包含约1000万条样本数据,第一周的用户行为数据作为训练集,第二周的数据作为测试集,预测目标是用户在每周的周五是否购买用户在上周六至本周四发生过交互行为的商品,购买为正类,未购买为负类。首先训练集和测试集中分别通过用户、商品和商品类别三个角度进行特征提取,由于发生购买行为的样本占总样本的比例很小,数据的不平衡会导致模型性能的失效,因此对未发生购买行为的样本进行基于K均值聚类的下采样处理。采样过后的数据作为本文最终的建模数据。其次考虑到数据量很大,因此本文从Spark分布式环境出发,先分别单独使用逻辑回归(LR)、梯度提升决策树(GBDT)和随机森林(RF)进行建模分析,实验结果表明无论在训练集还是测试集中GBDT的效果最好,为进一步提高模型预测效果,融合Stacking和深度森林的思想,构造GBDT-RF-LR组合模型,使用并联的方式组合GBDT和RF并输出增强特征矩阵,与训练数据合并成新数据集,再使用逻辑回归进行训练,结果表明组合模型的拟合效果和泛化能力都要优于单个模型;在单机模式下,使用Spark环境下相同的模型和深度森林进行建模分析,最后对比两种环境下的结果,Spark分布式环境下的模型预测精度更高。因此,本文认为在商品推荐中应用Spark环境下组合模型的效果最好。
基于LightGBM的O2O优惠券使用预测系统的设计与实现
这是一篇关于O2O优惠券,梯度提升决策树,Spark,LightGBM,预测模型的论文, 主要内容为O2O模式是一种将线下交易与互联网结合的电子商务模式。在O2O模式里,网上商城通过提供信息服务的方式向线上用户提供线下商店的各类信息,用户在获取商店相关信息之后可以在线上下单和支付,然后通过订单信息到线下商店提取商品或者享受服务。而作为一种吸引消费者的手段,优惠券一直是线下商店的重要营销手段之一。但是对多数消费者来说,随机投放的优惠券会造成无意义甚至令人厌烦的干扰。而另一方面,对于线下商店而言,大量随机投放优惠券的行为除了有可能降低自身品牌的信誉之外,还会导致营销成本难以控制。与传统梯度提升决策树算法和XGBoost相比,LightGBM算法不仅有更快的训练效率、更低内存的使用以及更高的准确率,还支持并行化学习和大规模数据处理。目前在相关领域内针对LightGBM算法应用研究较少。本文利用阿里天池大赛平台提供的消费者线下交易信息与线上点击信息,建立了基于LightGBM算法的O2O优惠券使用预测模型,通过实验验证了模型的有效性。在该模型的基础上,基于大数据计算框架Spark设计实现了一个O2O优惠券使用预测系统。本文所做工作如下:一、以建立O2O优惠券使用模型预测的方式实现优惠券的个性化投放。除了赋予商家更强的营销能力之外,优惠券的个性化投放还能让有一定消费偏好的消费者得到真正的实惠。二、目前国内外学者对LightGBM算法的研究文献不多,本文使用LightGBM算法对O2O优惠券使用预测建模,拓展了LightGBM算法的应用领域。三、基于O2O优惠券使用预测模型开发了O2O优惠券使用预测系统。利用面向对象方法对该系统进行分析和设计,实现了该系统的主要功能。商家可使用该系统实现优惠券的个性化投放,可降低商家的营销成本,提升经营效益。与其他模型相比,基于LightGBM的O2O优惠券使用预测模型有较高的准确率和较快的训练速度。O2O优惠券使用预测系统主要包括数据计算模块、模型预测模块和Web服务端模块。数据计算模块由Spark实现,主要职责是计算用户相关特征、商户相关特征、优惠券等相关特征。模型预测模块使用Python语言实现,主要职责是根据Spark计算的特征,调用训练好的机器学习模型,得到预测结果。Web服务端模块基于SSM框架实现,主要职责是提供对外服务以及网页显示的接口,包括查看预测结果、查看消费记录、使用优惠券等接口。通过该系统可以预测消费者使用优惠券消费的概率,进而实现优惠券的个性化投放,赋予商家更强的营销能力。
基于深度因子网络的电影推荐算法研究
这是一篇关于因子分解机,深度神经网络,梯度提升决策树,深度因子分解机的论文, 主要内容为随着时代的发展,在互联网上观看电影等影视资源已成为人民群众重要的精神娱乐来源。电影推荐系统不仅能给用户带来良好的观看体验,满足其个性化需求,还能为视频网站带来巨大的广告收益。电影推荐系统涉及技术众多,其中电影推荐算法是其最核心的技术,目的是准确地挖掘出用户需要或感兴趣的信息。基于深度神经网络的电影推荐算法具有特征学习能力强、实时性好等特点,也存在着对低阶特征组合学习不足、无法利用电影名称等辅助性信息的问题。针对这些问题,研究基于深度因子网络的电影推荐算法,以提高电影评分预测的准确性。主要研究内容和成果如下:针对如何充分学习电影推荐系统中低阶特征组合,从而提高电影评分预测准确性的问题,分析了电影推荐数据高维稀疏的特点,设计了基于因子分解机(FM)的推荐模块。引入精度更高的域感知因子分解机(FFM)算法,提高模型对二阶特征组合的学习能力。提出梯度提升因子分解机(GBFM)算法,对重要特征组合的二阶交叉信息进行学习,利用梯度提升决策树对样本进行编码,再将编码后样本送入FM算法中进行训练。对比实验表明,在电影评分预测的RMSE值上,FFM算法与GBFM算法相对FM算法分别降低了6.0%与5.3%。针对如何学习高阶特征组合以及电影名称等辅助信息,从而模拟真实电影推荐场景的问题,改进了深度因子分解机(Deep FM)模型,设计了基于深度神经网络(DNN)的推荐模块。构造文本卷积网络,以提取电影名称特征。通过数据分析的方式获取重要的统计学特征,加入原始特征集中。对类别型特征进行嵌入处理,根据类别型特征的类别数目情况,采取不同的嵌入维度。通过设置多层隐含层以及激励函数,实现了对高阶特征交叉信息的学习。改进后的DNN模型与原始Deep FM模型相比,在电影评分预测的MSE值上降低了4.4%。针对如何同时学习电影推荐系统中低阶与高阶特征组合,提升模型泛化性能,从而进一步提高电影评分预测准确性的问题,提出深度因子网络模型。采用加权平均的策略对FFM、GBFM以及改进后的DNN模型进行集成,分别用于提取特征的二阶交叉、重要特征组合的二阶交叉以及特征的高阶交叉信息。实验结果表明,深度因子网络模型在电影评分预测的MSE值与RMSE值上相对原始的Deep FM模型分别降低了13.6%以及7%,深度因子网络模型有效提升了电影评分预测的准确性。
基于LightGBM的O2O优惠券使用预测系统的设计与实现
这是一篇关于O2O优惠券,梯度提升决策树,Spark,LightGBM,预测模型的论文, 主要内容为O2O模式是一种将线下交易与互联网结合的电子商务模式。在O2O模式里,网上商城通过提供信息服务的方式向线上用户提供线下商店的各类信息,用户在获取商店相关信息之后可以在线上下单和支付,然后通过订单信息到线下商店提取商品或者享受服务。而作为一种吸引消费者的手段,优惠券一直是线下商店的重要营销手段之一。但是对多数消费者来说,随机投放的优惠券会造成无意义甚至令人厌烦的干扰。而另一方面,对于线下商店而言,大量随机投放优惠券的行为除了有可能降低自身品牌的信誉之外,还会导致营销成本难以控制。与传统梯度提升决策树算法和XGBoost相比,LightGBM算法不仅有更快的训练效率、更低内存的使用以及更高的准确率,还支持并行化学习和大规模数据处理。目前在相关领域内针对LightGBM算法应用研究较少。本文利用阿里天池大赛平台提供的消费者线下交易信息与线上点击信息,建立了基于LightGBM算法的O2O优惠券使用预测模型,通过实验验证了模型的有效性。在该模型的基础上,基于大数据计算框架Spark设计实现了一个O2O优惠券使用预测系统。本文所做工作如下:一、以建立O2O优惠券使用模型预测的方式实现优惠券的个性化投放。除了赋予商家更强的营销能力之外,优惠券的个性化投放还能让有一定消费偏好的消费者得到真正的实惠。二、目前国内外学者对LightGBM算法的研究文献不多,本文使用LightGBM算法对O2O优惠券使用预测建模,拓展了LightGBM算法的应用领域。三、基于O2O优惠券使用预测模型开发了O2O优惠券使用预测系统。利用面向对象方法对该系统进行分析和设计,实现了该系统的主要功能。商家可使用该系统实现优惠券的个性化投放,可降低商家的营销成本,提升经营效益。与其他模型相比,基于LightGBM的O2O优惠券使用预测模型有较高的准确率和较快的训练速度。O2O优惠券使用预测系统主要包括数据计算模块、模型预测模块和Web服务端模块。数据计算模块由Spark实现,主要职责是计算用户相关特征、商户相关特征、优惠券等相关特征。模型预测模块使用Python语言实现,主要职责是根据Spark计算的特征,调用训练好的机器学习模型,得到预测结果。Web服务端模块基于SSM框架实现,主要职责是提供对外服务以及网页显示的接口,包括查看预测结果、查看消费记录、使用优惠券等接口。通过该系统可以预测消费者使用优惠券消费的概率,进而实现优惠券的个性化投放,赋予商家更强的营销能力。
面向跨境电商的商品推荐研究与应用
这是一篇关于跨境电商,特征提取,用户画像,梯度提升决策树的论文, 主要内容为随着互联网技术的日益成熟,以及国际间贸易更加方便同时国内外消费者对于国外商品的需求量的日益增大,跨境电商贸易在我们周围变的更加的普遍也更加的方便,消费者可以通过跨境电商平台轻松买到国外的商品,由于跨境电商商品种类繁多以及不同消费者需要的商品有差异较大,如何在短时间内给消费者推荐符合其想要的跨境电商商品成为了一个具有现实意义的问题。相较于传统的电商商品,跨境电商商品具有挺多的不同的地方,导致在推荐方法的选择以及实验源数据的选取上都有很大的不同,首先跨境电商业务的开展受相关的政策影响很大,相关的政策可能导致商品价格的变动从而影响消费者的购买意向,其次由于跨境电商商品一般存放在保税仓库或者还在国外,同时还需要向海关申报各种通关单证,故相较于国内的电商商品在物流上所花的时间将会增加。最后由于跨境电商商品的购买有额度的限制,这导致消费者可能对于促销有更强的敏感性,消费者可能相较于传统电商商品更加倾向于在促销时购买商品。好的跨境电商商品推荐系统,不仅仅可以快速方便的给消费者在跨境电商平台上看到自己可能想要的商品,提高平台的友好度。同时也可以帮助到企业实现利润的增长,提高企业的运营效率。本文以实际跨境电商业务数据为基础,并结合主流的商品推荐技术和算法,完成的工作主要包括:1、跨境电商业务数据预处理及特征提取工作。数据的预处理和特征提取为本次实验中所用到的商品推荐技术提供数据支持。2、采用用户画像技术实现商品推荐功能。通过对用户及商品构建对应画像,从而实现对于具有相似的用户所购买的商品或相似的商品进行推荐。3、采用梯度提升决策树算法实现商品推荐功能。梯度提升决策树算法在推荐领域是较为成熟并广泛运用的算法,其思想是根据用户的某些特征进行商品推荐。4、设计并实现跨境电商商品推荐系统,该系统主要模块包括用户模块、推荐模块、业务数据获取及处理模块和展示模块。该系统结合实际业务场景设计开发,使用户有更好的用户体验。论文主要创新之处有三个方面,首先将传统的商品推荐方法运用于跨境电商领域,并在经典的推荐算法的基础之上增加符合实际业务场景的一些特殊的算法处理,其次由一般以商品交易数据作为推荐算法的实验数据改为由实际的报关数据作为推荐算法的实验数据,最后是整合用户画像技术和梯度提升决策树算法,使得推荐结果更符合实际。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设助手 ，原文地址：https://bishedaima.com/lunwen/48230.html
