基于RDD的协同过滤推荐算法的研究与优化
这是一篇关于协同过滤,RDD,聚类,模糊集,相似度的论文, 主要内容为互联网的普及和物联网的迅速发展使得数据已进入自动产生阶段,随之人类进入了大数据时代,如何高效地处理和利用这些数据成为了挑战,推荐系统的出现有效缓解了信息过载带给人们的困扰。推荐算法是推荐系统的核心算法,协同过滤(Collaborative filtering,CF)推荐算法是如今应用最广泛的一种。然而,单机环境下的推荐算法面对数据量的剧增需要很长的处理时间,不能实现推荐的实时性,分布式平台下的CF推荐算法解决了该问题。但是,该算法在应用中依旧存在数据稀疏性、冷启动和可扩展性等问题。所以,本文在Spark分布式平台上基于RDD(Resilient Distributed DataSet)编程模型对CF推荐算法的推荐过程和原理进行了系统研究,并针对算法中存在的不同问题提出了两种优化算法。主要研究内容如下:1.针对算法中存在的数据稀疏性和用户冷启动问题,本文提出融合多因素的协同过滤推荐算法。首先,将用户特征因素加入输入数据集中,应用聚类算法对其进行类别划分,此后在类内进行用户间相似度计算,不但缓解了数据稀疏性和用户冷启动问题,而且减少了算法计算量。其次,通过加入用户评分差值因素对相似度算法进行改进,从更宏观的角度衡量了用户的相似程度,提高了相似度的有效性。然后,在推荐列表的生成阶段提出了关联项目的概念,从预测评分以及与被预测项目评分的关联性两个方面为用户生成推荐列表。将该算法在RDD编程模型下进行设计和实现,实验结果表明算法缓解了数据稀疏性,提高了算法的可扩展性,推荐准确率和F1指标有一定的提高。2.针对算法中用户反馈存在的主观性问题和相似度算法应用中存在的缺点,本文提出用户反馈模糊化Top-N推荐模型。首先,将模糊集的概念应用到用户反馈数据的预处理中,解决用户评分主观性问题,使数据能更准确反映用户的实际偏好。其次,提出置信度的概念,结合两种传统的相似度算法,提出改进的CJ-sim相似度算法,并对评分预测算法进行简化与其组合使用,以增强相似度对预测结果的影响。最后,对该推荐模型基于RDD进行了设计和实现,实验结果表明该模型适用于Item-based CF和User-based CF,缓解了反馈数据的主观性问题和相似度算法存在的缺点,提高了推荐准确率。
电子商务中的信任管理模型分析与评估
这是一篇关于电子商务,信任模型,模糊集,相似度的论文, 主要内容为随着网络的普及，电子商务在人们的生活中占据着越来越重要的位置，服务器的性能不能满足人们日益增加的要求是限制电子商务高速发展的一个主要问题。尽管这几年来，为了解决这一问题，许多电子商务使用了P2P模式，但是这一模式同样也存在着许多信任方面的问题，例如，如何评价实体之间的信任关系，如何计算每个节点的信任值，如何根据请求来提供合理的链路。所以，如何在当前的电子商务中实现一种比较完善的信任模型是电商企业最需要解决的一个问题。 本文通过研究现有的应用于电子商务信任模型的优缺点，在原有的信任评估，信任计算方法的基础上进行改进，弥补现在电子商务信任模型在电子商务模式中应用的不足。本文在对于当前计算机技术进行一些简单比较后，选择采用了一种采用主观不确定方法的基于模糊集的信任模型，更适合于节点信任值的计算，可以有效的对节点之间的信任关系进行评估，以此来防止恶意节点的恶意行为。本模型为了提高网络中每一个节点贡献的积极性，在原有的算法中添加了惩罚、奖励以及时间因子，同时为了信任值计算的灵活性和多样性，本模型采用了模糊综合评判的方法。 在本文的最后，通过适当的实验来验证本模型的功能性和抵御攻击的能力，并将本模型与其它同类模型进行比较，确定该模型是否准确的实现，并证明本模型的优势。此外，还总结了本实验过程中的不足之处以及还需要进一步研究的问题，方便随着计算机技术的发展对于该系统进行后期的更新和维护。
网络环境下基于共识度的产品推荐选择研究
这是一篇关于共识度,模糊集,规范化,产品推荐的论文, 主要内容为全球已经进入了网络时代的高速发展期,网络的快速发展极大地改变了人们的生活。数字技术与传统实体经济深度融合,并逐渐渗透到各个领域。网络购物时,消费者希望买到自己心仪的商品的同时,尽量缩短浏览商品的时间。而消费者在购买汽车等比较贵重的商品之前通常会选择在线上汽车消费者服务平台上了解此类商品。因此,在网络环境中产品推荐系统应用十分广泛,本文提出网络环境下基于共识度的产品推荐选择方法,避免了传统推荐方法中没考虑大众用户认同度问题,同时也能够更好地反映产品的真实质量和受欢迎程度。本文主要完成了以下几部分工作。首先,针对产品推荐问题涉及方法和理论知识做出详细的分析,介绍了决策矩阵规范化、模糊集理论和基准语言集合的理论基础,并对产品属性权重的基本知识进行了介绍。其次,提出了网络环境下基于共识度的产品推荐方法,具体包括以下步骤:(1)对用户的评价信息预处理,规范化不同类型的评价信息以得到评价矩阵。(2)提出了产品在用户之间共识度以及产品综合评价值的计算方法。(3)在属性权重未知的情况下,基于所有用户共识度最大化而且产品的综合评价值(产品与各属性的正理想属性值的加权距离)最小化构建数学模型,以确定产品属性的权重。(4)在给定属性权重或根据步骤(3)建立的数学模型求出属性权重后,计算产品在用户之间的共识度和综合评价值,得到产品的集成评价值并给出产品的排序与推荐结果。然后,通过算例验证了本文提出的研究方法的效果、可行性和潜在应用。最后,针对产品推荐这一问题,为更好地展现本文的研究方法,根据前文的具体算法,建立了产品推荐系统。允许用户和管理员进行登录,用户针对产品进行评价。系统计算产品推荐结果,并将结果显示在系统界面中。评价数据和结果通过数据库保存,方便后续对数据的处理。
基于RDD的协同过滤推荐算法的研究与优化
这是一篇关于协同过滤,RDD,聚类,模糊集,相似度的论文, 主要内容为互联网的普及和物联网的迅速发展使得数据已进入自动产生阶段,随之人类进入了大数据时代,如何高效地处理和利用这些数据成为了挑战,推荐系统的出现有效缓解了信息过载带给人们的困扰。推荐算法是推荐系统的核心算法,协同过滤(Collaborative filtering,CF)推荐算法是如今应用最广泛的一种。然而,单机环境下的推荐算法面对数据量的剧增需要很长的处理时间,不能实现推荐的实时性,分布式平台下的CF推荐算法解决了该问题。但是,该算法在应用中依旧存在数据稀疏性、冷启动和可扩展性等问题。所以,本文在Spark分布式平台上基于RDD(Resilient Distributed DataSet)编程模型对CF推荐算法的推荐过程和原理进行了系统研究,并针对算法中存在的不同问题提出了两种优化算法。主要研究内容如下:1.针对算法中存在的数据稀疏性和用户冷启动问题,本文提出融合多因素的协同过滤推荐算法。首先,将用户特征因素加入输入数据集中,应用聚类算法对其进行类别划分,此后在类内进行用户间相似度计算,不但缓解了数据稀疏性和用户冷启动问题,而且减少了算法计算量。其次,通过加入用户评分差值因素对相似度算法进行改进,从更宏观的角度衡量了用户的相似程度,提高了相似度的有效性。然后,在推荐列表的生成阶段提出了关联项目的概念,从预测评分以及与被预测项目评分的关联性两个方面为用户生成推荐列表。将该算法在RDD编程模型下进行设计和实现,实验结果表明算法缓解了数据稀疏性,提高了算法的可扩展性,推荐准确率和F1指标有一定的提高。2.针对算法中用户反馈存在的主观性问题和相似度算法应用中存在的缺点,本文提出用户反馈模糊化Top-N推荐模型。首先,将模糊集的概念应用到用户反馈数据的预处理中,解决用户评分主观性问题,使数据能更准确反映用户的实际偏好。其次,提出置信度的概念,结合两种传统的相似度算法,提出改进的CJ-sim相似度算法,并对评分预测算法进行简化与其组合使用,以增强相似度对预测结果的影响。最后,对该推荐模型基于RDD进行了设计和实现,实验结果表明该模型适用于Item-based CF和User-based CF,缓解了反馈数据的主观性问题和相似度算法存在的缺点,提高了推荐准确率。
基于模糊理论的协同过滤推荐算法研究
这是一篇关于推荐算法,协同过滤,模糊集,聚类,遗传算法的论文, 主要内容为大数据时代的来临,日益凸显的“信息过载”问题使人们在网络中找到自己感兴趣内容耗费的时长呈现线性增长。推荐系统的诞生为他们迫切的个性化需求带来了新的曙光,用户从以前的主动搜寻信息逐步地转变为被动的接受感兴趣的内容。协同过滤(Collaborative Filtering,CF)作为经典的推荐算法带来了很好的推荐效果同时也给提供者带来了丰厚的收益,但随着网络中急速增长的数据量也逐渐地出现了诸如数据稀疏、可扩展性差、冷启动等问题。论文针对CF算法中存在的问题做了以下研究:(1)引入模糊集理论,将评分数据进行模糊化处理,通过隶属度函数来表明用户的喜欢程度。然后建立用户-项目模糊偏好矩阵和项目-项目类型矩阵并将它们结合得到用户-项目类型模糊偏好矩阵。进而使用模糊c均值(Fuzzy c-means,FCM)算法对其进行聚类,由于项目类型的数量远远小于项目的个数,缓解了数据的稀疏性同时也降低了空间复杂度。同时针对FCM算法对初始点敏感问题,使用遗传算法进行优化,找到趋于全局最优的聚类中心。在相似度计算时,仅需要和相同簇中用户进行计算即可,提升了算法的可扩展性。(2)相似度计算是CF算法的核心,近邻选取结果的好坏直接影响到最终的推荐质量,传统的相似度计算方法仅考虑到了评分数据。论文设计了一种融合用户属性特征和项目流行度的组合相似度计算方法,首先计算用户属性特征相似度,包括性别、年龄属性。同时将项目的流行度作为惩罚因子融入皮尔逊相关系数中。通过用户评分总数阈值对它们进行动态融合加权处理,最后通过评分预测公式预测评分进而实现Top-N推荐。在公开的Movie Lens数据集上进行了对比实验,实验结果表明论文设计的算法对比于传统的算法在评分预测任务中有更小的误差,在Top-N推荐中有更高的准确率和召回率。同时设计了一个个性化电影推荐系统,将论文算法应用其中,实现了电影的个性化推荐,验证了算法的有效性及可行性。图[25]表[12]参[64]
考虑用户评分行为的个性化推荐算法设计
这是一篇关于信息过载,自然噪声,模糊集,α散度,相似性度量,协同过滤,个性化推荐的论文, 主要内容为互联网和通信的发展伴随着信息的激增,大量的数据背后隐藏着巨大的商业价值,同时也增加了用户在选择产品或服务上的负担,这一社会难题被称作“信息过载”。个性化推荐系统被证明是缓解信息过载的有效措施。其基本思想是利用用户的历史行为信息,设计推荐算法挖掘用户兴趣,预测并推荐用户可能感兴趣的产品,极大地减少用户在选择上的时间消耗。由于评分行为信息是反应用户偏好最直接的指标,较易搜集,操作简单,因此大部分推荐算法围绕着用户评分行为进行展开,但仍存在许多值得改进和深入研究的问题。主要为以下三个方面:第一,基于用户评分行为的自然噪声管理研究。用户提供的评分数据并不是完全准确的,其中会存在噪声数据。消除此类噪声能在一定程度上提升推荐算法的性能。已有的噪声管理方式中存在评分分类不准确和噪声修正不充分、效率低等缺陷。针对这些问题,本文提出一种新的噪声管理方式,较好地弥补现有方法的不足。该方法借助模糊集理论工具进行评分的模糊分类。由于评分类别之间的界限并不清晰,存在很大的模糊性,因此利用模糊理论中隶属度函数来表示评分类别更加合理和准确。在分类基础上,提出了更高效的噪声检测和修正方式,所提的方法在同类噪声管理方式中表现更为突出。第二,基于评分值的个性化推荐算法研究。评分值能综合表示用户对项目感兴趣的强度。而协同过滤作为推荐系统经典的算法根据评分值设计相似性度量时受限于用户间的共同评分项,数据利用率较低,推荐性能受到较大影响。针对该问题,本文将信号处理领域中的α散度引入到协同过滤的相似性度量中,从评分概率分布的角度去度量相似性,使数据利用率提升至100%。所提出的基于α散度的相似性度量方式充分考虑评分值和评分分布的影响,对应的推荐算法在预测误差和推荐性能上都取得了巨大的提升,具有一定的应用价值。第三,基于评分偏好的个性化推荐算法研究。尽管评分作为用户偏好的一种显示反馈,但是用户普遍存在的评分倾向性,使得对于不同的用户而言,相同的评分值代表的真实偏好也是有差异的。目前研究该问题的文献较少,一般处理思路是通过将评分值转化为真实偏好值,再进行推荐。而本文注意到用户的偏好情感本身存在模糊性,因此借助模糊集理论工具来描述用户偏好成为可能。本文通过观察评分分布得到用户评分倾向潜在规律,尝试将单个评分转化为区间偏好,用于表示用户对项目的满意度的上限和下限。并在此基础上设计了一种模糊相似性度量方法进行推荐。该方法从新的角度去探讨评分与偏好的关系,具有一定的启发意义。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码向导 ，原文地址：https://bishedaima.com/lunwen/56224.html
