基于随机投影的大规模矩阵补全方法
这是一篇关于矩阵补全,推荐系统,随机投影的论文, 主要内容为矩阵补全是利用观测到的矩阵元素去估计未知元素,从而恢复整个矩阵。它被广泛应用于协同过滤,推荐系统等机器学习应用中。在这些机器学习应用中,通常用一个矩阵来存储数据。这些数据矩阵通常是低秩的,而且有一些缺失数据,如何通过观测到的数据,应用矩阵低秩的特性,来预测这些缺失数据从而恢复矩阵就是低秩矩阵补全的问题。推荐系统是矩阵补全的一个典型的应用,例如在MovieLens中,存有部分用户对一些电影的打分,矩阵补全就是根据这些已有的打分预测用户对于其他电影的打分,从而推荐用户可能感兴趣的电影。通常我们把低秩作为一个限制条件,然而最小化秩的问题是一个NP Hard的问题,所以通常整个问题会被凸松弛成一个矩阵核范数最小化问题。在解决核范数最小化问题时,通常通过迭代求解,然而在迭代过程中需要对这些数据矩阵做一次或多次的奇异值分解(Singular Value Decomposition,SVD)。由于奇异值分解(SVD)计算复杂度较高,所以当数据矩阵规模较大时,一些常规的矩阵补全算法会受到限制。本文通过引入随机投影来解决这个问题。本文引入随机投影,来对大规模的数据矩阵做随机奇异值分解,从而来加快矩阵的奇异值分解,从而加快经典的Soft-Impute算法。同时本文还对这个算法做了复杂度和界的理论分析。本文在两个典型的推荐系统数据集:Jester和MovieLens上通过实验验证了,我们的算法可以更快更好的实现矩阵补全。
基于大数据的用户个性化推荐系统设计与实现
这是一篇关于推荐系统,潜在因子,大数据,矩阵分解,矩阵补全的论文, 主要内容为随着互联网的迅猛发展,不断涌现的高新技术工具改善着人们的生活水平。推荐系统在这个过程中扮演着至关重要的角色,它已经广泛应用于社交网络和电子商务等许多在线服务领域中。推荐系统是一种软件工具,它可以为用户推荐一些可能感兴趣的物品或服务,它的存在可以让人们获得更加多样化的有效信息与服务。除了社交、电商,在电影、音乐、书籍和文章等方面也随处可见。推荐系统能够持续的受欢迎得益于推荐技术的不断发展与优化。尽管如此,现有推荐系统仍然面临着冷启动、稀疏性和预测准确率较低等问题。尤其是在大数据时代,传统的推荐系统架构无法满足日新月异的商家与用户需求,同时在扩展性方面仍存在问题。随着大数据技术的不断发展,这些传统问题有了新的解决方向,其中就包括Hadoop分布式计算平台与Spark分布式计算引擎。Spark见长于内存迭代计算,也是当下主流大数据技术。本文主要研究了几种比较经典的推荐算法,针对冷启动、稀疏性和预测准确率较低等问题,进行算法改进,提出了一种新的推荐方法,并在Spark集群上设计与实现,同时提出了一种基于RDD依赖关系的缓存管理策略,提升内存计算资源的使用效率。具体的研究内容如下:(1)针对基于潜在因子模型的推荐算法存在的冷启动和数据稀疏性等问题,提出了一种基于潜在因子的矩阵分解补全混合加权推荐方法(Latent Factor-Based Matrix Factorization Completion Based Hybrid Weighted Recommendation Method),简称LF-WMC推荐方法。从矩阵分解与矩阵补全两个方面进行初步预测,同时考虑用户项目的邻居信息集,根据用户项目评分的局部和全局影响对以上两种预测结果进行混合得到新的预测结果,最后根据三种预测结果的RMSE进行加权平均,有效缓解了冷启动、数据稀疏性等问题,同时提高了推荐预测结果的准确性。(2)针对Spark分布式计算引擎的计算效率问题,提出了一种基于RDD依赖关系的缓存管理策略,在Spark作业执行前根据RDD的Stage内部和Stage间的依赖关系,引入RDD引用计数与执行时间,针对跨Stage缓存RDD,计算两种能耗实现缓存在磁盘内存中动态切换,提高了内存资源的复用率。(3)设计并实现基于大数据的用户个性化推荐原型系统,并对各个功能模块进行测试,基本满足实际需求。
基于随机投影的大规模矩阵补全方法
这是一篇关于矩阵补全,推荐系统,随机投影的论文, 主要内容为矩阵补全是利用观测到的矩阵元素去估计未知元素,从而恢复整个矩阵。它被广泛应用于协同过滤,推荐系统等机器学习应用中。在这些机器学习应用中,通常用一个矩阵来存储数据。这些数据矩阵通常是低秩的,而且有一些缺失数据,如何通过观测到的数据,应用矩阵低秩的特性,来预测这些缺失数据从而恢复矩阵就是低秩矩阵补全的问题。推荐系统是矩阵补全的一个典型的应用,例如在MovieLens中,存有部分用户对一些电影的打分,矩阵补全就是根据这些已有的打分预测用户对于其他电影的打分,从而推荐用户可能感兴趣的电影。通常我们把低秩作为一个限制条件,然而最小化秩的问题是一个NP Hard的问题,所以通常整个问题会被凸松弛成一个矩阵核范数最小化问题。在解决核范数最小化问题时,通常通过迭代求解,然而在迭代过程中需要对这些数据矩阵做一次或多次的奇异值分解(Singular Value Decomposition,SVD)。由于奇异值分解(SVD)计算复杂度较高,所以当数据矩阵规模较大时,一些常规的矩阵补全算法会受到限制。本文通过引入随机投影来解决这个问题。本文引入随机投影,来对大规模的数据矩阵做随机奇异值分解,从而来加快矩阵的奇异值分解,从而加快经典的Soft-Impute算法。同时本文还对这个算法做了复杂度和界的理论分析。本文在两个典型的推荐系统数据集:Jester和MovieLens上通过实验验证了,我们的算法可以更快更好的实现矩阵补全。
基于矩阵补全与用户兴趣的电影推荐系统的研究与实现
这是一篇关于推荐系统,矩阵补全,协同过滤,冷启动的论文, 主要内容为随着信息技术的发展,网络数据量不断激增,这虽然带来更便捷的体验和更优越的服务,但也带来了信息过载问题。如何能为用户快速精准推荐成了热点问题。传统的协同过滤算法的提出以及推荐系统中的应用,有效提高了推荐系统推荐的准确率。但是传统的推荐系统模型存在一系列问题,首先,由于用户评分矩阵数据缺失,导致预测的准确率很低。其次,用户数量规模不断地递增带来了协同过滤算法的计算耗时问题,最后,对于新用户,推荐系统无法根据历史行为产生推荐。然而这些都没有考虑到时间因素对用户兴趣的影响。针对以上问题,本文提出了基于矩阵补全与用户兴趣的推荐算法来设计电影系统,并改进算法,实现个性化推荐。具体研究内容如下:首先,为了缓解协同过滤算法存在稀疏性问题、可扩展性问题和相似度失真问题,本文设计了相关的算法。其核心思想是通过评分矩阵的低秩性,运用基于矩阵补全的奇异值阈值算法(SVT算法)对评分矩阵进行填充;同时运用小批量聚类方法(Mini Batch Kmeans)执行对用户的分类,保证后续划分操作能够正常运行,该算法基于用户和用户之间关联,通过对“近邻关系”的划分,在一定状况下降低近邻构建环节用户所开展的检索时间;另一方面,仍需考虑用户的实际兴趣变化状况,基于时间的改变,分析时间因子对相似度算法的影响,使用效果最佳的时间因子执行个性化推荐操作,获取Top-N推荐结果。其次,针对系统的冷启动问题,可根据电影的类别、标签信息,通过算出电影相似度获取推荐信息;另一方面,又根据新用户的注册信息,将算出新用户的特征偏好作为推荐标准。最后,对整体系统框架构建,并全面地设计与详细划分各个功能模块。通过设计的各功能模块,构建系统各模块,并且进行性能和功能测试工作,增强了系统的健壮性。本文设计并实现了一个基于Django的推荐系统。经测试验证,系统能够在短时间内有效地解决了其中存在的冷启动、稀疏性等问题。
基于矩阵补全与用户兴趣的电影推荐系统的研究与实现
这是一篇关于推荐系统,矩阵补全,协同过滤,冷启动的论文, 主要内容为随着信息技术的发展,网络数据量不断激增,这虽然带来更便捷的体验和更优越的服务,但也带来了信息过载问题。如何能为用户快速精准推荐成了热点问题。传统的协同过滤算法的提出以及推荐系统中的应用,有效提高了推荐系统推荐的准确率。但是传统的推荐系统模型存在一系列问题,首先,由于用户评分矩阵数据缺失,导致预测的准确率很低。其次,用户数量规模不断地递增带来了协同过滤算法的计算耗时问题,最后,对于新用户,推荐系统无法根据历史行为产生推荐。然而这些都没有考虑到时间因素对用户兴趣的影响。针对以上问题,本文提出了基于矩阵补全与用户兴趣的推荐算法来设计电影系统,并改进算法,实现个性化推荐。具体研究内容如下:首先,为了缓解协同过滤算法存在稀疏性问题、可扩展性问题和相似度失真问题,本文设计了相关的算法。其核心思想是通过评分矩阵的低秩性,运用基于矩阵补全的奇异值阈值算法(SVT算法)对评分矩阵进行填充;同时运用小批量聚类方法(Mini Batch Kmeans)执行对用户的分类,保证后续划分操作能够正常运行,该算法基于用户和用户之间关联,通过对“近邻关系”的划分,在一定状况下降低近邻构建环节用户所开展的检索时间;另一方面,仍需考虑用户的实际兴趣变化状况,基于时间的改变,分析时间因子对相似度算法的影响,使用效果最佳的时间因子执行个性化推荐操作,获取Top-N推荐结果。其次,针对系统的冷启动问题,可根据电影的类别、标签信息,通过算出电影相似度获取推荐信息;另一方面,又根据新用户的注册信息,将算出新用户的特征偏好作为推荐标准。最后,对整体系统框架构建,并全面地设计与详细划分各个功能模块。通过设计的各功能模块,构建系统各模块,并且进行性能和功能测试工作,增强了系统的健壮性。本文设计并实现了一个基于Django的推荐系统。经测试验证,系统能够在短时间内有效地解决了其中存在的冷启动、稀疏性等问题。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码驿站 ，原文地址：https://bishedaima.com/lunwen/49227.html
