基于知识图谱与特征交叉的推荐算法研究
这是一篇关于推荐系统,知识图谱,个性化推荐,特征交叉,图卷积网络的论文, 主要内容为互联网的快速发展使得越来越多人使用互联网,互联网正在重塑了人们的生活方式,人们在网上进行社交、购物、浏览新闻等行为,互联网在生活中扮演重要作用。随之而来的,互联网产生的信息也越来越多,造成了信息过载的问题,这些信息远远超过了人们能够理解和处理的范畴。推荐系统的出现就是为了解决信息爆炸带来的各种问题,它的作用是为主动为用户推送对用户有用的信息,从而帮助用户走出被海量信息裹挟的窘境,方便用户在互联网信息的海洋里面自由徜徉。传统的推荐算法主要包括协同过滤算法、基于内容的推荐、混合推荐,这些算法一般通过用户和物品的交互记录进行推荐。传统的推荐算法对各种据信息利用数不充分,只利用了单一的信息作为推荐的依据,如用户对物品的评分,这些简单的信息没有办法更好表示的用户的偏好。针对现有的推荐系统的存在的问题,本文做了以下的研究:(1)针对现有推荐算法缺乏对现有的额外辅助信息的有效利用,提出了改进的KGCN算法——基于多源辅助信息的推荐算法FCKGCN。通过知识图谱卷积的方法和特征交叉的方法来构建一个推荐系统模型,完成用户评分预测、物品排序;通过在挖掘和利用用户的额外信息来丰富用户的向量表示;利用特征交叉的方法来探究实体之间的关系,为如何融合多源辅助信息[49]提供了思路。(2)针对特征交叉模型与图结构信息结合的研究较为缺乏的现状,为此提出了将特征交叉与知识图谱结合的FCKG模型。在推荐系统中引入图结构信息在近年来引发了研究人员的关注,但将图结构信息与特征交叉相结合的方法并没有被广泛研究。FCKG算法是一个基于知识图谱与特征交叉的推荐算法,它通过知识图谱的实体与实体之间相互连接的特点,使得信息在图结构中得以传播,用项目的属性构建的图结构模型更利于挖掘用户的潜在的偏好,以及特征交叉学习使得实体之间的关系能够被充分利用,用户的潜在偏好更容易被挖掘,解决推荐算法模型表达能力不足的问题。通过大量实验,本文提出的模型在真实的数据集上与经典模型或者类似模型的baseline算法相比具有更好的推荐效果。
基于评论特征组合与图嵌入的推荐系统研究与实现
这是一篇关于特征交叉,注意力机制,边聚合,邻域召回的论文, 主要内容为随着互联网服务的日益完善,推荐系统可利用的网络数据日益丰富,且随着自然语言处理、图神经网络技术的发展,推荐系统还有很大提升空间,基于此,本文主要工作如下:(1)为增强推荐排序阶段对评论文本特征的利用,本文结合FM模型的特征交叉思想与注意力机制,提出了基于双重注意力充分组合评论特征的排序模型FCRF,该模型使用BERT模型对评论文本编码从而增强评论文本表示,然后使用交叉注意力与多头自注意力实现用户和商品的评论特征的交叉组合和自组合。FCRF在四个真实数据集上的平均MSE比当前基于评论最优的DAML模型减少1.43%。(2)为增强推荐系统对用户商品交互信息、评论信息的利用,本文提出了基于评论构建边的图嵌入训练模型RHG,RHG模型以基于边的图神经网络为基础,利用评论来表示图神经网络中的边,并利用边基于不同的特征空间来聚合邻域节点信息。最终在四个真实数据集上,RHG相比当前基于文本的最优图嵌入模型CGAT提升了 2.49%,且将训练得到的图嵌入用于增强FCRF模型,使其MSE降低了 0.65%。(3)为提升召回阶段的准确率,本文提出了基于图嵌入的召回模型NFRM,该模型在用户商品二分图的特征邻域和空间邻域中构建目标节点的特征,然后对特征通过PCA降维后实现了特征交叉,NFRM还使用了基于随机森林的思想改进后的PQ算法,用于提高召回检索效率,最终在三个真实数据集上,NFRM的命中率相比基于图实现召回的最好模型EGES平均提高了 3.87%。(4)为使本文设计的召回模型与精排模型更具工程价值,本文基于Django框架设计了音乐推荐网站,该网站分别使用FCRF和NFRM作为排序模型和召回模型。
融合深度学习与矩阵分解的推荐算法研究与应用
这是一篇关于矩阵分解,深度学习,特征交叉,压缩交叉网络,电影推荐系统的论文, 主要内容为随着互联网产业的繁荣,人们面对着海量的数据无法有效利用,面临着信息过载的问题。为了便于用户找到自己想找的信息,推荐系统作为一种解决方案被提出。推荐算法中,矩阵分解算法应用十分广泛。但该算法的训练仅依据现有的评分数据进行评分预测,随着评分数据变得稀疏,算法的欠拟合程度越来越高,影响了最终的预测效果。本文针对矩阵分解算法面临的问题,完成了以下工作:(1)传统矩阵分解算法的实现过程仅仅对分解后得到的用户与项目隐向量进行线性交互从而预测评分,简单的线性交互方式造成了预测误差较大的问题。针对该问题,通过结合广义矩阵分解模型与神经网络协同过滤模型来融合用户与项目隐向量之间的线性交互与非线性交互信息,将融合后的模型命名为GNMF模型。随后通过对GNMF模型与融合前的两个模型在损失函数曲线以及多种评估指标上进行对比发现,融合线性与非线性交互信息后的GNMF模型效果得到明显提升。(2)GNMF模型效果虽比融合前的模型效果好,但欠拟合问题依然凸显。文中提出在GNMF模型的基础上通过结合深度学习推荐模型中组合模型的相关知识搭建了一个融合广义矩阵分解模块、神经网络协同过滤模块、有限阶特征交叉模块以及深度神经网络模块的组合模型,命名为DNGFC模型。DNGFC模型在原有GNMF模型的基础上通过加入有限阶特征交叉模块与深度神经网络模块来分别用于捕获用户与项目特征之间的不同类型的特征交叉信息作为补充,改善模型的预测效果。其中有限阶特征交叉模块分别使用了Cross网络、因子分解机以及压缩交叉网络进行了三次的模型组合。并采用电影公开数据集Movie Lens100K,通过十折交叉验证的方式对使用不同的有限阶特征交叉模块的DNGFC模型进行验证,并将Accuracy、F1-Score以及AUC作为模型的离线评价指标对模型之间的效果进行对比,最后发现结合压缩交叉网络的DNGFC模型效果表现最佳,在3种不同的指标上的表现都明显优于其他几种对比模型。(3)设计并实现一个基于Django的电影推荐系统,并将表现最佳的DNGFC模型应用于其中,从而验证该模型的工程适用性。
基于知识图谱与深度学习的推荐算法的应用研究
这是一篇关于推荐算法,知识图谱,特征交叉,知识表示,深度学习的论文, 主要内容为互联网技术的发展使得数据量飞速增长,这让人们在巨量信息中挑选出他们感兴趣的东西十分困难,为满足人们的个性化需求,推荐系统因此兴起,并逐渐成为了人们生活中不可或缺的存在。常用的传统推荐算法较为简单,且推荐精度有待提升,深度学习推荐算法对最终的推荐效果虽有优化,但对结果的解释性稍有不足。而辅助信息可以丰富推荐系统中用户或项目的语义特征,将辅助信息与推荐系统相结合成为了许多学者深入研究的优化方向。知识图谱作为一种语义网络,可以学习得到推荐项目之间不同的潜在关系,因此本文结合知识图谱,提出了一种基于交叉注意力单元的推荐方法,通过新设计的特征交叉模块,学习得到待推荐项目和知识图谱中对应实体之间的更多关联信息。本文在推荐领域的数据集上进行对比实验,验证了所提出的模型以及特征交叉模块能够有效进行项目与实体的特征交互,从而增强推荐效果。本文通过相关需求分析,使用Python语言以及相关框架,构建了一个电影推荐系统。本文的研究工作主要分为如下:(1)阐述了知识图谱与推荐算法结合的研究现状,对相关理论以及方法进行了概述,包括传统推荐算法、深度学习推荐算法、知识图谱推荐算法,并说明了知识图谱的相关构建流程。(2)鉴于知识图谱技术的优势,以及大多推荐模型未能充分利用知识图谱与推荐项目的关联,本文提出了基于交叉注意融合的知识图谱推荐算法(CAKR)。CAKR模型包含交叉融合模块、推荐任务模块以及知识图谱嵌入任务模块,将两个任务模块的输入通过交叉融合模块在低维空间中交替学习,以进行项目与实体两个嵌入向量的交互,然后将得到的特征向量分别送入相关任务模块,再通过各自的预测函数计算出最终结果。本文在三个常用数据集中进行对比实验,结果验证了CAKR模型对推荐效果的有效提升。(3)本文基于提出的推荐模型,构建了一个电影推荐系统,系统分为数据源处理、用户交互层、推荐引擎等三个核心层,其中前后端涉及Dangjo、MySQL、HTML、CSS3、jQuery等相关技术。
面向OJ平台的题目推荐系统的研究与实现
这是一篇关于题目自动化分类,题目个性化推荐,程序表示方法,多模态全局注意力,特征交叉的论文, 主要内容为随着信息技术教育的普及,各类在线编程评测平台(OnlineJudge)在中小学教学得到广泛使用。但是对于传统平台,题目并未按照算法知识点进行分类或相似性关联。学生在自主学习过程中只能从列表中随机挑选题目,难以进行专项学习。为了提升用户的学习体验及效率,本文面向OJ平台的题目分类及推荐展开研究,旨在实现题目自动化分类,以及基于题目分类为用户提供个性化的题目推荐服务。题目信息主要包括描述文本及题解程序,为了提取题解程序的语义和结构信息,本文设计出三种基于语法树路径的程序表示方法,用于实现题解程序的向量嵌入,而后采用基于自注意力机制的多路特征融合方法获取到源程序的向量表示。在面向OJ题目分类的研究当中,设计出基于TextCNN的分类模型,根据题目的描述、题解程序等信息,将题目按照所属算法类别进行分类。对比实验表明,比原有模型code2vec分类准确率提升6.1%,验证了基于语法树路径的程序表示方法和特征融合的有效性。基于题目的分类结果,为了实现给用户个性化推荐相似题目,本文提出了融合协同过滤及用户行为序列的推荐模型。针对用户异构信息,设计了多模态全局注意力机制来提取高维度交叉特征。针对用户行为序列信息,设计了基于AFM网络的序列特征交叉模块。最终通过公共数据集MoiveLens和Amazon Book,分别验证了多模态全局注意力以及序列特征交叉的有效性。通过在线AB测试和离线对比,验证了本文模型在OJ题目个性化推荐应用场景下的有效性。最后在团队自建OJ平台CodeOJ基础上,设计并实现了面向OJ题目的个性化推荐系统,通过功能和性能测试验证了系统稳定性,系统能够在高并发应用场景下实现题目自动化分类及相似题目推荐。
基于深度学习的新闻推荐算法研究
这是一篇关于深度学习,新闻推荐,特征交叉,强化学习的论文, 主要内容为近年来互联网渐渐融入到生活中的每个角落,推荐系统也因此得到了迅速发展,生活中的方方面面可能都会受到推荐算法的影响。推荐算法的优劣在工业界常使用线上推荐产品的点击率来衡量,更高的点击率可以带来更高的产品收入。因而研究员和工程师们一直在致力于通过算法的改进提升产品的点击率,CTR预测模型的研究成为了推荐领域重要的课题之一。本文从CTR预估角度出发,通过对深度学习模型的优化来提高排序算法准确率,进而提升新闻推荐效果。此外,本文还从强化学习角度出发,将其应用到新闻推荐场景中提出新的推荐算法,并且针对利用模拟器评价强化学习模型存在较大偏置的问题,提出了一种离线评估指标。本文做的主要工作和贡献如下:(1)提出了一种基于双交叉深度网络的排序算法。本文提出一种双交叉深度网络(Double Cross&Deep Network,DCDN)提高新闻推荐准确率。该网络是基于深度交叉网络(Deep⨯ Network,DCN)改进的一个算法,可以应用于CTR预估领域,特别是针对新闻推荐场景。模型的特征交叉部分改进为双交叉网络,使其能够侧重某类特征与其他类特征的交叉建模,让模型更加高效准确地学习特征之间的交互信息。模型的深度网络部分对所有特征的高阶非线性交互进行了建模,提升了模型的泛化能力。通过在两个真实数据集上的一系列实验,验证了本文提出的算法优于传统机器学习算法和DCN等一些深度学习算法。(2)提出了一种基于深度强化学习的新闻推荐算法。本文引入了能够解决序列决策问题的深度强化学习,将深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法应用到新闻推荐场景当中,利用生成对抗式学习,让融合Q网络和策略网络优势互补。该算法能够让推荐系统考虑到用户兴趣和新闻内容的动态变化,同时能够使用户连续点击行为带来的长期收益最大化,而不是考虑单次点击行为带来的短期收益。本文基于AUC提出了一种针对强化学习模型的离线评估指标QAUC,该指标能够简单高效的衡量强化学习模型的优劣,方便模型间的比较和离线实验的评估。在真实数据集上的实验结果表明在新闻推荐效果上本文使用的算法优于一些非深度强化学习算法。
基于深度学习与对象感知的个性化电影推荐系统
这是一篇关于推荐系统,深度学习,多维嵌入向量,用户偏好,特征交叉的论文, 主要内容为随着互联网的发展和普及,各个应用产生的信息量正快速膨胀,在海量数据中,用户可以享受到丰富的信息,但庞大的数据规模使其难以选择自己需要的内容,会存在着“信息过载”的问题。推荐系统可以极大缓解此类问题,它不仅可以满足用户对高质量信息的需求,而且可以为企业增加对用户的吸引力并巩固自身在行业内的地位。近年来,深度学习的出现解决了传统推荐系统的特征学习和高阶特征交互问题,充分挖掘不同特征域之间的高阶特征交互,从而提升了模型的预测结果精度,因此被广泛应用在推荐系统中。此后,随着计算机技术和多维嵌入向量技术的进步,基于多维嵌入向量的神经网络模型在预测结果精确方面得到了大幅提升,成为目前推荐算法的研究热点。其中,根据用户和物品的出现频率对嵌入向量大小进行动态调整的ESPAN(Embedding Size Adjustment Policy Network)模型更是受到了广泛关注。在基于深度学习的推荐系统中,嵌入向量是一种广泛使用的重要技术,但是现有基于多维嵌入向量的模型在构建嵌入向量时,并没有对用户的偏好给予应有的关注,这会导致预测结果不够精确。本文对ESPAN模型进行了深入研究,提出并实现了基于对象感知的神经网络模型ONN。主要研究内容如下:(1)在构建嵌入向量时,目前很多方法更关注于嵌入向量的维度搜索而忽略了用户偏好的重要性。针对上述缺陷,本文对用户偏好给予了关注,将其与多维嵌入向量融合并提出一种基于对象感知的神经网络ONN(Object-aware Neural Network)。实验结果表明ONN模型较基线模型在精确度和损失值上有了较大的改善,证明了ONN模型的有效性和先进性。(2)ONN模型在用户和物品嵌入向量的特征交叉问题上还有待改进,因此通过引入特征交叉技术对该问题进行优化,并提出了基于增强特征交叉的ONN＿FC(Object-aware Neural Network with Feature Cross)模型。该模型将多层感知机与特征交叉层分为上下两层放置,特征交叉层接收输入并执行特征交叉操作,然后将输出与用户和物品的嵌入向量连接,最后输入到多层感知机并得到预测结果。(3)本文在提出的推荐算法基础上设计并开发了一个基于B/S架构的个性化电影推荐系统。从需求分析到系统设计规划了用户展示层、后端逻辑层、数据存储层和推荐层的功能。在推荐流程中使用OPN＿FC作为排序模块的模型。最后,使用Django、Vue、Redis、Nginx、My SQL和Py Torch实现了该系统。
特征交叉在广告推荐算法中的研究与应用
这是一篇关于特征交叉,广告算法,推荐系统,点击率预估的论文, 主要内容为广告推荐算法是互联网发展过程中重要的研究领域,它的不断进步使得众多更有价值的信息被推送给有不同兴趣偏好的用户,提高了我们日常获取信息的效率和质量。广告推荐算法的发展过程中,有众多新兴技术诞生,其中特征交叉就是一项重要的技术。特征交叉是特征合成的高阶表示形式,目的是为了获取非线性特征,增加模型的信息输入,提高模型的表示能力。已有研究通过设计更好的特征交叉算法,提升了模型的效果,但是仍然存在多轮推理结果标准差较大的问题。本文针对该问题提出了基于集成学习思想的多学习网络模型MLN(Multi-learner Network)。MLN模型主要包括权重重分配层、多学习器层和预测集成层,通过特征赋权、网络集成以及自知识蒸馏,在降低模型方差的同时,模型性能也超过了前沿的一些研究。在数据预处理部分,为了缓解连续值长尾分布问题,本文提出了一种非线性变换预处理方案,为了解决ID类特征分布稀疏问题,本文提出了一种分频字典编码方案,实验结果表明,提出的预处理方案在基准实验上有更好的表现。最后,本文经过系统需求分析,设计并实现了一个广告推荐系统,该系统基于大数据及深度学习相关框架,包括日志存储服务、特征服务、模型平台、推荐服务和统一服务平台,能完成端到端的广告推荐,在完成功能测试和性能测试后,将提出的预处理方案和MLN模型应用在系统上。
基于细粒度特征交叉的潮玩推荐系统研究与实现
这是一篇关于潮玩商品,个性化推荐,特征交叉,细粒度表示,注意力机制的论文, 主要内容为近年来,互联网技术的高速发展带动实体经济向虚拟经济转变,带动电商产业随之高速发展。相比于去实体店选购商品,人们可以随时随地在网购平台进行浏览交易,给人们带来空间、时间、经济等诸多方面的好处。但是,呈指数增长的用户数量和商品数量在给电商平台带来盈利的同时,随之也带来了一些问题,如用户查找自己满意的商品时间过长,商家推出的应季新品不能及时呈现给需要该类商品的用户。为解决以上问题,推荐模型应运而生,使用推荐模型不仅为商家带来额外的盈利,还可以缩短用户找到自己感兴趣商品的时间,提高用户满意度。将推荐模型融入电商平台中,已经成为当前主流电商平台的必用手段。本文聚焦于当下热门的潮玩商品,对基于细粒度特征交互的潮玩推荐系统进行研究。据官方报告指出,2023年末我国潮玩行业市场规模将到达574亿,但是当前潮玩领域作为新生事物在我国的发展远远落后于市场需求,如何为潮玩爱好者从海量的潮玩商品库中挑选其感兴趣的商品成为了一大难题。因此,本文对特征交叉在潮玩推荐领域的应用和推广进行深入研究,并提出了基于细粒度特征交叉的潮玩推荐模型,又开发了潮玩推荐系统来满足潮玩爱好者的购物需求。具体包含以下两方面研究内容:(1)首先对潮玩商品特征和用户特征进行分析后发现,购买潮玩商品的用户时序性较强,用户的购买意愿也与购买行为关系密切,而且购买的商品特征也是紧密结合当下流行趋势。潮玩商品作为小受众商品,潮玩系统所能收集到的用户特征十分有限。所以为了提升潮玩推荐模型的准确率,需要重视系统收集到的用户特征,本文提出了一种新式的特征交叉方式——细粒度特征交叉。细粒度特征交叉的过程是在融合显式和隐式特征交叉基础上,又对用户特征和商品特征进行建模,模型在训练过程中不断优化中间参数矩阵,从而可以动态的学习到特征之间不同组合关系,无疑增强了模型表达能力。但是如果将庞大的用户特征和商品特征直接进行特征交叉,会导致模型训练过程中需要存储和计算的数据量十分庞大。对此,一方面可以使用注意力机制,在进入特征交叉过程之前,对重要性比较高的特征赋予高的权重值,对于特征性不太重要的特征会减少权重值,并在细粒度特征交叉过程中对特征的重要维度进行特征组合。另一方面通过残差网络层来优化模型过拟合问题。本文通过与主流的推荐模型进行对比实验后,证明本文所提出的基于细粒度特征交叉的潮玩推荐模型在F1-score、准确率以及AUC值上,较其他模型都有显著提高。(2)本文以基于细粒度特征交叉的潮玩推荐模型为核心,开发了潮玩推荐系统。首先对用户和市场进行充分调研,分析真实用户需求,其次在确定系统需求分析和概要设计后,进而细致分析系统的每一个功能模块,并进行数据库设计,最终完成整个系统的代码编写。该系统不仅能实现用户登录、用户浏览和收藏商品、查看个人足迹等基本功能,还可以通过本文所提的推荐模型提升系统整体的推荐效果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设项目助手 ，原文地址：https://bishedaima.com/lunwen/47895.html
