基于Spark的混合推荐电影系统的设计与实现
这是一篇关于信息过滤,Spark平台,推荐系统,混合算法的论文, 主要内容为当前已进入大数据时代,网络的普及和应用,也产生了大量的数据信息。用户如何进行信息甄别,快速找到自己所需的,有价值的信息,是互联网从业者们亟需解决的问题。为筛选出有价值的正确信息,推荐系统开始逐渐发展起来。推荐系统记录并收集用户历史行为信息,通过大量信息运算分析出用户与用户、物品与物品两两之间的相似度,进而筛选出用户可能感兴趣的物品,成为一种主动性强,智能程度高的信息筛选技术。当前,推荐系统日益成熟,在移动网络应用中已得到了普及,如当前最流行的社交软件、电子商务、音视频领域。推荐系统要能充分了解用户最感兴趣的内容、从而把握他的需求,并能从大量的数据中快速找到有价值的信息。推荐系统若是结合了基于大数据的分布式计算平台,数据分析能力会更为强大,处理效率也会更高。这也是推荐系统的功能定位,更是大数据技术在实践中的具体应用。在Hadoop平台之后,又出现了Spark平台,这是一款基于内存的分布式计算系统,比起Hadoop模型,设计思想更为先进,引入了迭代并行化理念,不管是性能,还是速度,都更为优越。本文的研究分为以下几个部分:(1)搭建基于Spark环境的数据仓库,以应用于推荐应用引擎中,为分布式数据的调用提供接口,并存储推荐系统离线计算所得到的数据、物品、用户信息,以及相关的评价信息。(2)3种基于Spark平台的推荐算法的实现,推荐系统根据其计算时长、难易度、更新频率等,分为在线与离线两种计算方式,利用数据集的准确度与响应速度两项指标,来测试推荐引擎的准确度与响应速度。本文对Spark分布式计算平台、几种主流的推荐算法和相关的应用场景做了全面的理论分析,基于各种算法的应用方法和使用场景,设计出基于混合推荐算法的电影推荐系统,并实现了具体的功能。为解决用户和物品之间存在的冷启动问题,系统会根据当前场景下信息存量情况,使用不同的推荐算法来推荐感兴趣的事物给用户。此外,该混合算法推荐系统能够很好地处理海量数据以及满足用户对系统响应速度的要求,提供了从前端应用、后台服务构建、算法设计实现、平台部署等多方位的闭环的业务实现,基本达到了预期目标,为设计其它的基于Spark平台的推荐系统提供了理论依据和技术支持。
基于用户浏览模式的新闻推荐系统设计
这是一篇关于新闻,混合算法,推荐系统的论文, 主要内容为如今的因特网行业正在快速发展,在这个时代,信息数量巨大,更新速度飞快,使得网络浏览者在众多资讯中无法找到自己真正所需。为了解决这一问题,在推荐系统出现之前,人们运用搜索引擎通过关键词找到自己对信息的需求,然而某些场景下用户无法很精确地明确自己所需要的关键词,使得搜索引擎的效果大打折扣。个性化推荐经过对用户数据的分析,从而发现他们的相应特征与偏好,及时提供最符合用户的推荐结果。作为有效解决用户没有明确需求下的信息过载问题的工具之一,它已经变为许多领域的研究热点。个性化推荐系统可以智能地为因特网用户推荐他们所感兴趣的内容,让人们从海量数据的迷茫中解脱出来。在因特网新闻方面,个性化推荐也极其重要,今日头条网(http://www.toutiao.com/)、新浪新闻网(http://news.sina.com.cn/)等网站每天都在发布各行各业的时事新闻,随着新闻信息量与信息更新速度的不断增大,网页新闻浏览者难以看到自身所感兴趣的新闻内容,常常让自己丢失在海量级别的新闻资讯中。当遇到这一类问题时,新闻推荐系统可以根据浏览者个性化的浏览记录,发掘出他们的潜在浏览偏好,形成相应的推荐结果。从而节约了大量浏览者的新闻探寻时间,提高了浏览者的满意度,同时降低网页新闻资源浪费程度。利用用户的显式反馈信息进行推荐的推荐方法是目前比较常见的方法,然而相对于显式反馈,由于隐式反馈信息更容易获取,具有普遍性,因此根据隐式反馈信息所设计的推荐系统具有更加广泛的适用性,本文所设计的推荐系统是根据隐式反馈信息所设计的。本文主要对网页新闻浏览者的隐式反馈数据进行处理,对推荐模型以及推荐算法、用户模型的构建、推荐的混合方案和策略等内容开展研究,将浏览者群体按照浏览频率进行划分,对不同浏览者群体采用不同推荐算法混合,对于经常浏览用户,综合用户协作型过滤算法、内容推荐算法进行结果上的混合,对于不常浏览用户,综合了物品协作过滤算法的相似度计算以及内容推荐算法的相似度计算法则,进行相应算法上的混合,并将得出的相应推荐结果与基于随机漫步的PersonalRank算法进行混合。使得推荐系统中单一算法存在的问题如新加入物品的推荐、数据的稀疏性等不足得以降低。根据上述设计思路以及相应算法的实现完成了整个新闻推荐系统的设计,同时本文所使用的混合策略的有效性在后续实验中根据相应评价指标的对比得以验证。
基于知识图谱的移动增值业务推荐研究与应用
这是一篇关于知识图谱,混合算法,移动增值业务,推荐系统的论文, 主要内容为伴随时代洪流,互联网技术发展迅猛,物联网技术也随之兴起。突如其来的新冠疫情,使得线上购物成为购物首选方式。大量在线数据的产生,为大数据分析提供了数据支撑。如何从错综复杂的海量数据中找到有价值的信息并进行个性化推荐,是数据挖掘研究的重点之一。基于大数据的个性化推荐研究面临的主要问题是数据稀疏性、冷启动等,为了解决这些问题,本文针对移动增值业务,提出一种基于知识图谱的推荐算法。基于知识图谱的移动增值业务推荐系统所涉及的相关技术原理,本文对基于关联规则的推荐算法、协同过滤推荐算法和对基于知识图谱的推荐算法进行讨论,分析了传统相关算法的优劣,基于知识图谱确定移动增值业务,实现了融合知识图谱的移动增值业务推荐系统。完成的重点工作有:(1)通过对比数据稀疏处理规则和协同过滤推荐算法的优缺点,利用数据挖掘工具获取项目规则,将项目规则-协同过滤融合知识图谱,构建了知识图谱-协同过滤-规则(KG＿CF＿Rule)混合推荐模型。将KG＿CF＿Rule模型在移动增值业务中影视和音乐的两个数据集进行实验,对比Ripple Net模型和MKR模型实验结果表明,本文提出的KG＿CF＿Rule模型在两个数据集上,准确率和AUC都有一定的提升,验证了模型的有效性。(2)通过融合知识图谱的移动增值业务推荐算法,完成基于知识图谱的移动推荐系统及可视化。面向目标用户,通过用户与业务对象的交互提取用户偏好组成特定目标用户知识图谱,然后通过移动增值业务数据采集,构建项目知识图谱,基于本体、LOD、图嵌入的推荐,被推荐的增值业务项目通过性能评估后推送给目标用户。在面向移动目标用户群体和移动增值业务中的影音业务中进行构建知识图谱,确立完整的知识图谱语义网络关系,通过搭载移动云MAS业务平台,将推荐的移动增值业务推送给移动目标用户,最终实现知识图谱可视化。
基于内容和协同过滤的混合算法在推荐系统中的应用研究
这是一篇关于推荐系统,协同过滤算法,基于内容的过滤,k-means聚类,混合算法的论文, 主要内容为在电子商务为越来越多用户提供便利的同时,它的结构也越发复杂。用户拥有了更大的选择空间,然而海量信息的同时呈现,也让用户无法快速准确地寻找到自己想要的商品。推荐系统就是为解决这样的困境产生的,它能为用户个性化定制,产生用户希望看到的结果。如今,几乎所有的电子商务网站都应用了推荐系统,例如淘宝、ePay等。为了能产生更高的推荐质量,技术人员已经提出了多种推荐技术,包括基于内容的推荐,协同过滤推荐,关联挖掘推荐等。然而随着研究的深入以及用户要求的提升,推荐算法渐渐暴露了诸多缺点,例如协同过滤推荐的冷启动和数据稀疏性问题、推荐质量和实时性的平衡等。本文主要对基于内容和协同过滤算法进行研究,具体内容如下:(1)对推荐算法的发展情况及关键技术进行综述;(2)针对协同过滤算法运行时间长、推荐速度慢的缺陷,提出了将k-means聚类应用于协同过滤算法,通过离线预处理用户—项目评分矩阵对用户进行聚类,并生成虚拟用户空间,替代全部用户的集合,缩小了邻居用户的搜寻范围,可以提高在线推荐的实时性,解决了传统协同过滤算法的速度瓶颈问题;(3)在改进后协同过滤算法的基础上,提出了基于内容和改进后协同过滤的混合算法,将用户评分和项目特征相结合,建立用户特征评分矩阵,替代传统的用户—项目评分矩阵,对用户集进行k-means聚类,并进行推荐。改进后的算法不仅能解决传统协同过滤算法的数据稀疏性问题;同时针对新项目,也能根据项目特征与用户特征评分矩阵的匹配,来预测可能对新项目感兴趣的用户,并生成推送列表,有效解决“冷启动”中的新项目问题。实验证明,本文改进的算法在解决数据稀疏、冷启动和在线推荐的速度瓶颈问题方面,有显著的作用,能保证较好的推荐质量。
基于内容与优化CF混合算法的电影推荐系统的设计与实现
这是一篇关于推荐系统,混合算法,协同过滤,k-means,基于内容的推荐的论文, 主要内容为现如今网络技术飞速发展,人们的生活步入信息爆炸时代,这对于消费者与制造者而言都是一种全新的挑战。对于消费者来说如何从海量信息中快速找到有效信息是一个棘手的难题,对制造者来说如何将自身信息精准有效的推送至目标消费者身边是一个难题。由此推荐系统应运而生,它有效的解决了上述两大难题。本文就如何构造推荐效果优良的电影推荐系统展开深入研究。应用在推荐系统当中的推荐算法有多种,其中最为常见的是协同过滤(简称CF算法)。但随着该算法的普及也暴露出诸多问题,例如随着用户与项目数量增多而导致系统响应速度减慢的问题,新用户与新电影冷启动的问题,数据矩阵信息不全导致的推荐精准度低的问题。为解决以上问题,本文在研究几种常见推荐算法的基础上,将各算法优势进行融合,形成基于内容与优化CF的混合算法,以优化算法推荐性能。本文主要工作内容与创新点如下:1、深入分析协同过滤算法、基于内容的推荐、k-means聚类三种基本算法,结合例子为各算法建立模型,并探讨各自的优缺点。2、提出一种基于内容与优化CF的混合算法。针对协同过滤响应速度慢的问题,提出k-means优化协同过滤思想,通过聚类缩小用户比对范围,提升算法推荐效率。针对新用户问题与数据矩阵稀疏的问题,本文将基于内容的推荐算法与上述优化CF算法相结合,形成混合算法。该算法以用户-电影属性评分矩阵代替原算法中用户-评分矩阵,将电影属性结合用户评分作为推荐依据,有效解决了冷启动中新电影的推荐问题。与此同时,由于用户属性个数远小于电影个数,因此数据矩阵范围得到缩小,算法推荐精准度低的问题在一定程度上得到解决。3、构建基于混合算法的电影推荐系统。通过对系统进行需求分析、架构设计、功能设计、数据库设计,以SpringMVC为基础框架构建电影推荐系统,运用Apache Mahout中的Taste技术作为推荐引擎,拓展接口融合本文提出的混合算法,最终实现电影推荐效果。通过实验对比原始协同过滤、k-means优化CF算法、混合算法三种算法的推荐评价指标MAE,最终得出本文提出的混合算法在响应速度及推荐效果上有明显提升,优化后的算法使用性能更高,该算法最终也较好的融合到电影推荐系统中,实现对目标用户的电影推荐。
基于遗传算法的作业车间调度问题研究
这是一篇关于作业车间调度问题,柔性作业车间调度问题,遗传算法,混合算法的论文, 主要内容为作业车间调度问题是经典的组合优化问题之一,它是在n个工件,m台机器的生产环境下寻求最小完工时间最短的调度方案。而柔性作业车间调度问题是作业车间调度问题的扩展,包含机器选择和工序排序两个子问题,更加接近实际生产环境的模拟,是实际生产中迫切需要解决的一类问题。本文对作业车间调度问题和柔性作业车间调度问题进行研究,并取得了一些有意义的研究成果。 本文首先对课题研究的背景、意义和国内外研究现状进行介绍。概述调度问题的分类、特点及其主要研究方法。介绍遗传算法的基本理论,并针对经典的车间调度问题——作业车间调度问题,着重阐述了遗传算法在JSP中的应用,包括其编码设计、交叉和变异操作的设计等。 然后本文对作业车间调度算法进行了研究。分析了用遗传算法求解作业车间调度问题所存在的瓶颈,即代与代之间没有把它往好的解进行牵引,从而导致稳定性不好,相对偏差较大。考虑到粒子群算法具有比遗传算法更加高效的信息共享机制,具有更强的启发性,于是本文设计了一种将遗传算法和粒子群优化算法结合的混合算法(PSO/GA),并通过对实例的测试,获得的结果优于以往的算法,验证了该算法在求解作业车间调度问题上的有效性。 之后本文又介绍了柔性作业车间调度问题,阐述了混沌粒子群优化算法,并结合遗传算法和混沌粒子群优化算法理论,设计了一种混合遗传算法求解柔性作业车间调度问题,并通过对13个经典实例的测试,验证了该算法在求解作业车间调度问题的有效性。
基于混合算法个性化推荐的在线学习系统研究与实现
这是一篇关于在线学习,个性化推荐,混合算法的论文, 主要内容为在互联网高速发展的今天,人们现在已经越来越离不开移动设备。人们使用移动设备来为我们生活的各个方面服务。其中,在线学习是目前较热门的领域,我们将学习资源整合到一起,以在线学习的方式提供学生和老师。老师和学生可以通过这个平台来获得教育服务,由于移动设备的方便使用不会拘束于学习地点,方便携带,使学习者可以用碎片时间进行学习,在这种非正式的学习中,学生能够减轻对学习的认知负荷。但是,目前的学习资源的类型,数量的增加造成了信息过载的问题,所以我们要为学生学习的资源进行个性化的推荐,现在对于个性化的推荐的应用都在电子商务,应用在线教育的很少,也不是很完善,例如协同过滤算法,存在着数据稀疏,冷启动等问题。首先,本文对基于混合算法的在线学习推荐系统进行了需求分析,在进行需求分析之前,我们要对当前的在线学习的市场进行研究以及了解用户需求。然后进行系统的总体设计,把系统分为应用层与服务层。其中应用层是对应学生,教师等移动客户端。形成MVC分成结构设计,将服务层的数据提供给应用层。通过需求分析最终实现了用户登录、注互动讨论、自主学习等功能。对于后台来说,在移动终端的推荐算法采用兼容性强的HTML5和性能高的MUI框架混合编程,来完成对移动设备上学习平台的设计,而服务器端采用了B/S架构,降低开发难度。服务器端还为iOS客户端和网页端提供了服务接口,并实现了与网页客户端以及iOS客户端的交互,然后对系统中的各个功能进行测试,测试结果达到了移动在线学习的设计要求。在实现整个系统的过程中,最主要的是将混合算法嵌入到在线学习系统中,实现了对用户的个性化推荐。在选择混合算法之前要对大量的推荐算法进行研究分析,深入研究了混合算法在其中的优势,找出用户可能在使用过程中遇到的问题,对此进行详细设计并实现,包括提取用户在使用过程中的数据,和推荐算法的选取,选取的方法要从用户和学习资源相似度出发,根据不同的用户选取多个算法,来匹配用户的需求的混合算法,再根据对数据的准确度与覆盖率的指标,来对混合算法融合的评估。完成了对用户的个性化推荐最后,根据最终用户需求,实现对系统的开发,对推荐算法的实现。达到解决目前个性化推荐存在的数据稀疏与冷启动问题。使用户在查找学习资源时能够快速准确的找到。
两个求解JSP问题的遗传算法
这是一篇关于车间作业调度,病毒遗传算法,瓶颈移动算法,混合算法的论文, 主要内容为车间作业调度(Job Shop Problem)是一类典型的NP-hard 问题,已被证明在多项式时间内得不到最优值。该问题是生产管理中的核心问题,好的求解方法可以促进企业提高生产率。因此,该研究无论从理论还是实际都有重要意义。近年来,对于JSP 问题的求解主要有启发式算法和元启发式算法,但各有其不足之处:元启发式方法的运行时间长,可获得较好的解,但其解不稳定;启发式方法可在较短的时间内得到鲁棒性较强的解,但是极少获得较优的解。为了更好地解决问题,将一些解决某类问题较好的算法组合起来,使所形成的混合算法具有两者不可比拟的优势,成为目前研究的热点。本文分别应用病毒遗传算法和混合遗传算法来求解车间作业问题JSP(Job Shop Problems)。 针对遗传算法求解的早熟和收敛速度慢等问题,提出面向车间作业调度的病毒遗传算法JVGA(Job shop oriented Virus Genetic Algorithm),从横向和纵向同时搜索解空间;并提出一种新的病毒浓度概念不仅可以增强病毒群体模式的多样性还可以定量地评价染色体中某段基因的数量,克服了遗传算法固有的早熟问题;其次,定义了基于工件序的十进制编码方式,既避免了死锁的产生也便于解空间和染色体空间转换。根据19 个典型JSP 问题的对比实验,证明了该理论对于求解JSP 问题的有效性。 遗传算法初始解的质量对于算法的收敛速度有重要的影响,将解决JSP较理想的改进瓶颈移动启发式算法MSB 得到的解作为遗传算法的一个初始解,主群体中其它体随机产生,提出混合遗传算法HGA(Hybrid Genetic Algorithm)。由于MSB 所得解的质量较高,而GA 算法的精英策略保证HGA 所得解的质量不低于MSB 算法所得解的质量。两种算法的结合,使算法的时间性能有较大的提高。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计客栈 ，原文地址：https://bishedaima.com/lunwen/48304.html
