基于Good-Turing平滑改进的推荐算法在财经类新闻个性化推荐中的实践

这是一篇关于累积方差贡献率,主成分分析,随机现象,基于内容的推荐,TF-IDF,Good-Turing平滑,LDA,财经投资类新闻的论文, 主要内容为在信息爆炸增长的大数据时代,人们的生活节奏越来越快。为了满足人们利用通勤、午休等碎片化时间通过移动端快速获取对自己有效信息的需求,新闻推荐系统应运而生。新闻推荐改变了以往人工推荐为主的传播方式,使得用户在繁忙的日常工作中能节省阅读成本,提高自身效率。在经济高速增长的今天,人们对金融越来越关注,对投资理财越来越重视。投资类APP为了利用用户数据的多维度特有优势,实现智能投顾业务模式的差异化竞争,引入新闻推荐系统,实现用户的个性化财经新闻推荐和资产推荐。相比于综合类新闻需要挖掘用户潜在兴趣偏好、提高用户阅读的广泛度,财经投资类新闻更注重及时为用户进行信息披露,指导用户对持仓的标的物(如股票、期货)及时调整投资操作。因此,考虑到我们的应用场景,基于内容的推荐相比于协同过滤更合适。但传统的基于内容的推荐算法依然存在一些问题。本文主要研究工作包括:(1)在对新闻进行内容向量化时,需要构建一个词汇表,统一新闻的向量维度。传统基于内容的推荐算法是对实验集新闻进行分词、提取关键词,取关键字的并集构建词汇表(称为原始词汇表)。该方法构建的词汇表存在局限性,不能很好揭示测试集新闻的主题,因为对于一些热门金融词汇,其是否出现属于随机现象,未出现在实验集中,不代表未来不会出现。为了改进这一问题,定期爬取财经网站的热门词汇对原始词汇表进行扩容。(2)若保留实验集新闻中所有的关键词,将会产生稀疏性问题。原始词汇表中有些词汇对文章主题的揭示意义不大,因此可以对其进行截取以改善稀疏性问题。LDA主题模型常被用来对文章进行主题聚类或文本分类,本文受主成分分析和累积方差贡献率的启发,将LDA主题模型用于对原始词汇表进行降维,其基本思想是每个主题的前N个词即能较好表示该主题。(3)传统算法运用TF-IDF计算新闻特征向量,运用拉普拉斯平滑思想对IDF分母加一以解决词汇未在任何新闻文档中出现造成分母为0的现象。该方法使得未出现在任何文档中的词的IDF只依赖于总文档数,无法很好的完成对权值调整的功能;同时,没有出现的词被赋值为1,该值明显小于绝大部分词的频次,采用静态IDF明显不合适。因此,运用基于Good-Turing平滑改进的TF-IDF对新闻进行向量化,可以对IDF进行动态权值调整,得到了较好的推荐效果。

基于Django的课程推荐系统的设计与实现

这是一篇关于课程推荐,协同过滤,基于内容的推荐,个性化推荐的论文, 主要内容为随着在线教育的快速发展和国内“互联网+”的推动,在线教育平台已相对成熟和稳定。在线教育系统课程不断增加,用户对于自己感兴趣的课程的查找难度也逐步增加。与此同时,系统却拥有大量用户选课信息、课程信息、用户对课程评论信息等众多数据未得到充分利用,目前国内外的在线教育平台和选课平台都没有很好的解决以上问题。推荐系统目前在电商平台上应用居多,并且取得了显著的成效,不仅为用户推荐出了其感兴趣的物品而且节省了成本获得了良好的商业价值,而在线课程推荐则尚未得到广泛应用。系统基于Django框架,使用Python语言开发,数据持久化存储使用MySQL,使用Redis提供缓存服务。课程推荐的原理是通过分析用户选课、收藏课程行为和课程本身属性和特点,为用户推荐其可能喜欢的课程。重点介绍了当前主流的推荐算法的原理、分类和优缺点,并使用Python语言实现了协同过滤中基于Item-based CF的Slop One算法和基于内容的推荐算法,使用这两种推荐算法作为课程个性化推荐主要理论依据。系统除了针对用户的个性化推荐,也包含通过统计系统所有用户行为及课程信息,得出的基于统计的课程推荐排行榜。课程推荐系统有力的完善了在线教育平台,为每个用户提供推荐课程。系统集课程推荐和课程搜索于一体,很好的解决了用户面临的选课难题,提升用户检索和选课的效率。个性化的课程推荐不仅可以帮助用户学习课程,同时也能将优秀的课程推荐给更多用户。

基于内容与优化CF混合算法的电影推荐系统的设计与实现

这是一篇关于推荐系统,混合算法,协同过滤,k-means,基于内容的推荐的论文, 主要内容为现如今网络技术飞速发展,人们的生活步入信息爆炸时代,这对于消费者与制造者而言都是一种全新的挑战。对于消费者来说如何从海量信息中快速找到有效信息是一个棘手的难题,对制造者来说如何将自身信息精准有效的推送至目标消费者身边是一个难题。由此推荐系统应运而生,它有效的解决了上述两大难题。本文就如何构造推荐效果优良的电影推荐系统展开深入研究。应用在推荐系统当中的推荐算法有多种,其中最为常见的是协同过滤(简称CF算法)。但随着该算法的普及也暴露出诸多问题,例如随着用户与项目数量增多而导致系统响应速度减慢的问题,新用户与新电影冷启动的问题,数据矩阵信息不全导致的推荐精准度低的问题。为解决以上问题,本文在研究几种常见推荐算法的基础上,将各算法优势进行融合,形成基于内容与优化CF的混合算法,以优化算法推荐性能。本文主要工作内容与创新点如下:1、深入分析协同过滤算法、基于内容的推荐、k-means聚类三种基本算法,结合例子为各算法建立模型,并探讨各自的优缺点。2、提出一种基于内容与优化CF的混合算法。针对协同过滤响应速度慢的问题,提出k-means优化协同过滤思想,通过聚类缩小用户比对范围,提升算法推荐效率。针对新用户问题与数据矩阵稀疏的问题,本文将基于内容的推荐算法与上述优化CF算法相结合,形成混合算法。该算法以用户-电影属性评分矩阵代替原算法中用户-评分矩阵,将电影属性结合用户评分作为推荐依据,有效解决了冷启动中新电影的推荐问题。与此同时,由于用户属性个数远小于电影个数,因此数据矩阵范围得到缩小,算法推荐精准度低的问题在一定程度上得到解决。3、构建基于混合算法的电影推荐系统。通过对系统进行需求分析、架构设计、功能设计、数据库设计,以SpringMVC为基础框架构建电影推荐系统,运用Apache Mahout中的Taste技术作为推荐引擎,拓展接口融合本文提出的混合算法,最终实现电影推荐效果。通过实验对比原始协同过滤、k-means优化CF算法、混合算法三种算法的推荐评价指标MAE,最终得出本文提出的混合算法在响应速度及推荐效果上有明显提升,优化后的算法使用性能更高,该算法最终也较好的融合到电影推荐系统中,实现对目标用户的电影推荐。

基于Django的课程推荐系统的设计与实现

这是一篇关于课程推荐,协同过滤,基于内容的推荐,个性化推荐的论文, 主要内容为随着在线教育的快速发展和国内“互联网+”的推动,在线教育平台已相对成熟和稳定。在线教育系统课程不断增加,用户对于自己感兴趣的课程的查找难度也逐步增加。与此同时,系统却拥有大量用户选课信息、课程信息、用户对课程评论信息等众多数据未得到充分利用,目前国内外的在线教育平台和选课平台都没有很好的解决以上问题。推荐系统目前在电商平台上应用居多,并且取得了显著的成效,不仅为用户推荐出了其感兴趣的物品而且节省了成本获得了良好的商业价值,而在线课程推荐则尚未得到广泛应用。系统基于Django框架,使用Python语言开发,数据持久化存储使用MySQL,使用Redis提供缓存服务。课程推荐的原理是通过分析用户选课、收藏课程行为和课程本身属性和特点,为用户推荐其可能喜欢的课程。重点介绍了当前主流的推荐算法的原理、分类和优缺点,并使用Python语言实现了协同过滤中基于Item-based CF的Slop One算法和基于内容的推荐算法,使用这两种推荐算法作为课程个性化推荐主要理论依据。系统除了针对用户的个性化推荐,也包含通过统计系统所有用户行为及课程信息,得出的基于统计的课程推荐排行榜。课程推荐系统有力的完善了在线教育平台,为每个用户提供推荐课程。系统集课程推荐和课程搜索于一体,很好的解决了用户面临的选课难题,提升用户检索和选课的效率。个性化的课程推荐不仅可以帮助用户学习课程,同时也能将优秀的课程推荐给更多用户。

基于Mahout的图书推荐系统的设计与实现

这是一篇关于推荐系统,协同过滤,Mahout框架,基于内容的推荐的论文, 主要内容为随着网络社交越来越深入到用户的生活中,国内外各种社交网络平台相继出现。基于此,考虑到阅读在人们生活中的重要性以及读书的重要意义,我们提出了基于图书的社交网络平台的建立,基于图书的社交使用户可以在管理自己图书的基础上以图书为媒介交到志同道合的书友,从而形成自己的书友圈。为了使用户拥有更好的社交体验,我们提出将个性化推荐服务应用到图书阅读与管理社交平台中,这样就可以更好地帮助用户发掘出他们可能感兴趣的书和志同道合的书友。在图书阅读与管理社交平台的项目中,我们希望通过提供个性化推荐服务,为具有相似兴趣的用户建立联系,使用户不仅可以通过建立自己的书库管理自己的图书,还可以找到跟自己志趣相投的书友。其次,图书出版社也可以在平台投放广告,我们希望通过用户偏好的图书和用户的好友所偏好的图书结合出版社推广的图书来为用户推荐用户可能感兴趣的书,这样出版社推广的图书可以做到有目的的投放,用户也有更大的可能性发现自己感兴趣的书。通过个性化推荐服务使平台上的用户拥有良好的社交体验,从而更喜欢使用本社交网络平台。本论文主要完成了基于Mahout的图书推荐系统的设计与实现,通过使用并扩展Mahout开源框架来为图书阅读与管理社交平台提供推荐服务。本论文围绕为基于图书阅读与管理的社交平台提供有效的图书推荐服务的目标,提出了将两种主流推荐算法相结合进行混合推荐的方式。本文主要使用Apache Mahout构建图书推荐系统,并且完成了图书推荐系统的设计与实现,最后设计测试方案验证图书推荐系统在图书阅读与管理社交平台的关键性能。已完成的主要工作如下:(1)在数据预处理方面,前期采集到图书信息后,我们需要对图书信息进行分析建模,包括特征选取、中文切分词处理和关键词提取、建立索引和计算相似度。为了方便实现,在此我们省略了特征选取的步骤,直接选取了图书的内容简介来作为图书的特征,我们主要对图书的内容简介特征做中文切分词处理,提取关键词并建立索引,然后根据关键词分析用户的偏好并计算相似度得到相似图书进而推荐。(2)在个性化推荐算法方面,我们直接基于Mahout来构建图书推荐系统并在此基础上进行扩展。(3)在推荐系统方面,推荐系统通过图书阅读与管理社交平台上用户的各种日志信息和实时行为数据等,通过分析、处理数据得到相关图书推荐列表,然后将推荐结果返回给图书阅读与管理社交平台。(4)在基于图书阅读与管理的社交网络平台方面,我们将本论文研究的推荐系统集成到基于图书阅读与管理的社交网络平台中。通过向用户推荐达两个目的,一个是为用户推荐其可能会喜欢的图书,另一个是帮助用户找到志趣相投的书友。

双创赛事个性化推荐方法及其应用

这是一篇关于复杂网络,标签,用户画像,基于内容的推荐,创新创业赛事管理系统的论文, 主要内容为随着大数据时代的到来,数据挖掘技术不断发展,如何深化大数据技术在创新创业教育中的应用成为了关注的焦点,大学生创新创业赛事作为培养创新创业人才的重要途径得到了国家的高度重视和高校的积极配合。在创新创业赛事的管理中,高校的师生也对信息管理系统提出了持续改进与优化,利用数据挖掘技术提供个性化、针对化服务的新需求。与此同时,在大多数高校的创新创业赛事管理系统中,仍然使用搜索引擎技术来为用户提供信息检索功能,但该技术只适用于需求非常明确的条件下进行检索,在管理系统内信息量的逐年累积与师生普遍缺乏实操经验的背景下,制约着双创赛事管理系统的进一步发展。因此,本文将个性化推荐技术运用到双创赛事中,以此为研究对象,把复杂网络标签与传统的基于内容的推荐方法结合起来,构建双创赛事个性化推荐系统,为用户提供方便、可靠和高效的双创赛事信息推荐服务。首先,介绍了双创赛事个性化推荐方法的研究背景及目的,并阐述了双创赛事系统的发展现状及存在的问题。根据双创赛事系统内信息来源丰富、文本信息较多的特点,将标签作为资源分类方法结合到系统的构建中,提出基于语义的Text Rank文本关键词提取算法来获取文本关键词作为资源初始标签。为解决词语一词多义可能会导致标签语义不明确的问题,引入复杂网络的概念,构建复杂标签网络,并对其进行聚类分析生成不同标签簇,以标签簇为单位来对资源进行分类。然后,针对双创赛事推荐时存在的用户兴趣变化和矩阵稀疏的问题,结合用户画像和基于内容的推荐方法构建了基于复杂标签网络的内容推荐方法。在用户画像的构建中引入了时间权重,通过时间和频率权重综合加权的方式模拟用户兴趣偏好的变化,为用户推荐更准确的资源信息。通过利用提取文本关键词的技术作为系统内文本资源的初始标签,解决推荐算法的冷启动问题。通过将标签作为资源的分类方法,在一定程度上缓解了稀疏的矩阵数据导致推荐效率低下的问题。通过设计实验验证了将本文提出的推荐方法与主流推荐算法进行对比分析,验证了本文推荐算法的优越性。最后,设计双创赛事个性化推荐系统,详细描述了系统的需求和构建方案。该推荐系统分为系统管理模块、数据采集与存储模块、推荐引擎模块。其中,推荐引擎模块作为个性化推荐系统的核心,对其实现机制进行了详细描述。本文将合适的个性化推荐方法应用到双创赛事系统中,使得双创赛事管理系统具有“千人千面“的服务能立,对于激发大学生创新创业潜力,增加师生间的沟通渠道,激发师生参与热情具有重要意义。

融合内容信息的混合型推荐系统的研究

这是一篇关于混合型推荐系统,基于内容的推荐,可解释性,Spark参数推荐的论文, 主要内容为在信息爆炸的时代,推荐系统成为信息生产者与消费者之间供需匹配的桥梁。信息内容丰富且形式多样,这启迪了推荐系统的设计思路:可以融合多种内容信息,提升推荐质量。混合型推荐系统可以充分利用不同的信息源,发挥不同类型推荐系统的优点。本文研究了基于融合内容信息的混合型推荐系统,主要工作有:(1)改进基于内容的方法。传统的推荐系统利用用户给出的显式反馈单模态评分数据,学习到的表征存在偏差,给出的推荐会缺少多样性和新鲜感。为了缓解这一问题,本文提出了 DEAMER 模型(Deep Exposure-Aware Multimodal contEnt-based Recommender),它融合了多模态的内容信息,并联合利用显式评分和隐式交互信号。DEAMER模拟了推荐系统中的展示-评价过程,即商品只有展示给用户,才会被用户评价。DEAMER通过匹配多模态的用户和商品内容特征来生成展示状态,再根据展示状态来预测评分值。实验结果表明,DEAMER在推荐任务上的性能优于先进的浅层和深层推荐模型。(2)提高推荐系统的可解释性。设计有说服力的商品文案生成器,可以为在线销售提供推荐商品的解释,从而提高推荐的成功率。然而,标签数据和判断标准的缺乏给设计这样的文案生成器带来了严峻挑战。为了解决这一问题,本文提出了有说服力的商品文案生成器(SnIppet Loading Via intErest Relevance,SILVER),其中设计了数据级、知识级和模型级的解决方案。实验结果表明,SILVER能够生成流畅、新颖、充实的文本描述。(3)缓解了部分推荐系统不易获取大量训练样本的问题。大数据平台(如Spark)有许多系统参数,不同的参数设定会影响工作程序的性能。机器学习模型能够为这些工作程序推荐更高效的参数。然而,机器学习模型通常需要大量的训练样本。在工作程序要处理大数据的背景下,获取一次样本的成本已经不低,这使得获取大量的训练样本变得不现实。对此,本文提出一种新思路,事先缩小工作程序要处理的数据规模,降低每个训练样本的获取成本,从而获取更多的训练样本,用来预测在处理完整数据时的性能。本文验证了多种机器学习模型在此推荐场景的适用性,实验结果表明决策树和集成模型能推荐高效的参数。

高校社团活动推荐系统的设计与实现

这是一篇关于推荐系统,协同过滤,基于内容的推荐,社团活动的论文, 主要内容为随着互联网时代的发展,物联网、大数据、云计算、人工智能和5G技术加快了以技术应用创新为特点的教育信息化2.0时代的到来。构建智慧教育、教学与管理为一体的智慧校园,已成为高校教育与管理的重要研究课题之一。高校学生社团作为“第一堂课”的重要延伸、“第二堂课”的核心载体,在高校管理教育和校园文化建设中发挥着重要作用。但据统计,目前高校学生社团的推广、管理和活动参与等仍采用传统的人工方式进行,大多数社团的推广主要依赖于社团人员发传单和深入学生中发布信息。这种形式不仅耗时耗力,而且难以满足学生参与社团和活动的个性化需求,社团和活动的推广形式单一,达到的效果不理想。本文结合高校社团活动的推广需求,在研究了个性化推荐技术的基础上,针对协同过滤算法中数据稀疏问题和基于内容的推荐算法中语义分析缺陷问题进行算法改进,设计并实现了高校学生社团活动推荐系统。本文的主要工作如下:1.针对传统的协同过滤算法存在用户和物品评分矩阵稀疏而导致推荐系统质量的问题,本文选择Jaccard相似系数作为相似性计算模型,提出了一种在Jaccard相似性度量方法上加入热度惩罚因子和共同评分项数加权的改进方法。首先通过热度惩罚因子来降低热门物品对推荐结果的影响;然后在相似度计算过程中,考虑用户在共同评分项上的评分差异对用户相似度的影响,从而获取更加准确的用户相似度矩阵,最后在MovieLens数据集上验证了改进方法的有效性。2.针对传统的基于内容的推荐算法在语义分析方面存在的缺陷,本文将基于word2vec词向量计算的物品相似度与基于TF-IDF的空间向量模型计算的物品相似度进行加权,提出基于TF-IDF和word2vec的社团推荐改进算法。该算法综合考虑了文本的词频信息和语义信息,提高了传统的基于内容的推荐算法在物品相似度计算方面的准确性。同时,利用国外最大的社团活动的真实数据集Meetup,将修正后的协同过滤算法和基于内容的推荐算分别与传统算法进行对比实验,验证本文改进的算法策略在一定程度上能缓解新用户进入系统的冷启动问题,并对数据稀疏时的推荐效果有所改善。3.在对高校社团活动操作流程进行优化的基础上,设计出高校学生社团活动推荐系统,包括详细的需求分析和设计,包括系统架构、功能结构、推荐设计和数据库设计等,实现了高校社团活动的个性化推荐系统原型,提高了高校社团的管理质量和效率,满足了学生社团管理的个性需求。

基于混合算法的个性化电子商务推荐系统研究

这是一篇关于推荐系统,Fuzzy ART,基于内容的推荐,基于用户的推荐,混合算法的论文, 主要内容为随着互联网的普及与电子商务的快速发展,用户在选择商品时,面临着越来越严重的信息超载的问题。因此,许多电子商务网站研究开发了推荐系统为用户进行个性化信息推荐服务。推荐系统模拟商店销售人员向用户提供商品推荐,帮助用户找到所需商品,从而顺利完成购买过程。随着推荐系统的广泛应用,出现许多问题与挑战,主要包括:推荐质量、推荐实时性、数据稀疏性、冷启动等问题。为了解决以上问题,本文着重对推荐系统及其核心的推荐方法进行研究。 首先,研究推荐系统。针对推荐质量和实时性要求,构建合理的推荐系统。将推荐系统划分为在线实时推荐和模型处理两部分。用户在线浏览电子商务网站时,在线部分实时输出反映用户兴趣的个性化推荐列表。模型处理部分主要根据所收集的数据以及不同的模型算法,得到模型输出,作为在线推荐的依据。特别提出对于新用户和新商品采用结合不同方法的推荐机制,在一定程度上解决冷启动问题,提高推荐质量。 其次,研究推荐方法。推荐方法主要包括:基于内容推荐、协同过滤推荐、混合推荐、数据挖掘等方法。其中,协同过滤算法是比较成功的推荐方法。而针对基于聚类的协同过滤推荐算法的效率和质量方面的不足,提出使用Fuzzy ART算法,发挥其学习性与适应性的特点。建立基于Fuzzy ART的推荐算法,进行实验分析,并与传统方法进行比较,证明Fuzzy ART算法有助于提高推荐质量。 再次,针对Fuzzy ART算法存在的数据稀疏性问题和冷启动问题,提出使用Fuzzy ART结合基于内容的改进推荐方法。将商品特征信息与用户的偏好结合,得到用户偏好模型。根据用户偏好模型利用Fuzzy ART分类,预测用户的推荐结果。比较分析结果显示结合基于内容的推荐方法在一定程度上解决稀疏性问题,提高推荐效果。此外,结合基于内容的推荐方法可以促进对新商品的推荐。 最后,考虑用户信息对推荐质量的影响,进行改进得到混合算法。用户购买商品可能不仅仅与商品特征及偏好有关,用户的基本信息如年龄、职业、性别等也具有一定的相关性。考虑将用户信息作为调整加入到分类的结果中,形成混合算法,实验分析得出其推荐质量是以上算法中最好的。另外,对于新用户,即只有用户基本信息没有偏好数据的情况下,可以根据用户信息找到相似用户,解决冷启动问题。