基于特征感知和记忆感知的推荐算法研究
这是一篇关于协同过滤,特征交互,字段交互,注意力机制,深度学习,推荐系统的论文, 主要内容为Web2.0的兴起使用户的在线行为模式发生了重要改变,用户不再只是信息的消费者,而是成为信息的主要生产者,例如点击、购买等行为信息都会被互联网记录下来。因此用户交互数据以指数级的速度爆炸增长,导致了信息过载问题,而推荐系统就是解决这一问题的有效策略。如何从丰富多样的数据中提取对用户有价值的信息,准确预测用户的偏好直接影响了平台的收益和用户的满意度。目前大多数学者的做法是在特征学习方面做研究,从已有的数据中学习特征的共性,挖掘特征之间的内在联系。但是传统的推荐算法有一定的局限性,无法捕获用户-项目间深层次的信息,使得推荐质量不高。针对上述问题,本文从特征工程的角度出发进行了深入的研究,在传统推荐算法的基础上进行创新,在特征层面以及特征所属的字段层面挖掘真实数据中的复杂关系,建立效果更好的个性化推荐模型,提高用户的满意度。本文的主要工作如下:1.针对传统的基于物品协同过滤算法中仅能获取用户-商品线性关系的弊端,本文提出一种改进的协同过滤推荐模型,考虑到用户历史交互数据对预测目标商品的不同贡献,由于用户历史数据长度差异较大导致标准的注意力机制不能发挥良好的作用,提出引入平滑参数改进此问题,同时引入残差网络学习非线性特征,克服深层网络模型中网络退化的问题,帮助改善最终的推荐结果。2.针对因子分解机模型不能对未知的特征进行泛化,且不同的特征交互对于预测结果重要性都相同的问题,本文提出特征感知因子分解模型(Feature Perception Factorization Model,FPFM),在模型中引入注意力机制,以区分不同特征交互对不同预测目标的重要性,解决了传统预测算法对所有特征交互赋予相同权重的问题,不需要任何领域知识或人工特征工程,能够从数据中学习不同的特征交互权重;在模型中加入全连接网络,通过深度学习来挖掘真实数据中的复杂模式,以非线性方式捕捉高阶特征,使模型对复杂结构数据有更好的表达和泛化能力。3.针对因子分解机只考虑特征层面交互对预测结果的影响,本文采用一种新的改进思路,提出特征-记忆感知因子分解模型(Feature-Memory Perceptual Factorization Model,FMPFM),在特征感知因子分解FPFM模型的基础上,本文明确地考虑到不同实例中特征所属字段会对特征表示产生影响,由此设计记忆感知网络,产生感知因子,使特征交互和特征所属字段相关联,从而进一步增强因子分解机的特征表示。将特征层面的交互和字段层面的交互进行融合,综合研究特征工程,进一步提高推荐的准确性。本文对推荐过程中的特征交互问题进行深入研究,对传统的协同过滤算法进行创新,提出了改进的协同过滤推荐模型、特征感知因子分解模型以及特征-记忆感知因子分解模型,在真实的公共数据集上进行实验和评价,和目前相关的模型进行性能比较,实验验证了本文模型设计的合理性及有效性,为进一步研究特征交互方面的个性化推荐算法提供帮助。
基于ResF＿DCN模型和Stacking集成策略的广告点击率预测
这是一篇关于点击率预测,特征交互,残差网络,因子分解机,Stacking集成策略的论文, 主要内容为点击率预测对计算广告和推荐系统的发展至关重要.近年来,国内外学者就该问题展开了广泛研究,并取得诸多成果.在模型方面,学者们从浅层、深层两个角度出发构建出各类点击率预测模型,其中表现最为突出的是基于用户兴趣挖掘和基于广告特征交互两类模型.本文工作主要在于优化第二类模型(对于广告点击的二分类),以提高模型的预测准确性.通过梳理现有的研究成果发现,基于特征交互的点击率预测模型往往存在神经网络加深导致网络退化以及特征交互学习不够充分的缺陷.为了解决这些问题,本文通过在Deep⨯模型中引入因子分解机和残差网络的思想,从而构建出新的模型Res F＿DCN.该模型的不同模块可以共同学习到不同阶、更有用的特征交互,使点击率预测模型中的特征交互信息被更充分地挖掘出来;不仅如此,本文所提出的模型还能够有效缓解随着网络加深导致其退化的问题,从而提高模型的预测效果.将本文提出的Res F＿DCN模型应用于Criteo和Avazu数据集,实验结果表明,Res F＿DCN模型比其他几个经典的点击率预测模型中效果最好的模型在AUC上提升了2.10%-2.62%,Logloss值降低了2.71%-3.17%,因此可以认为Res F＿DCN模型在点击率预测任务中有着非常优秀的表现.为了进一步提升模型的效果,本文还对8个模型运用Stacking进行集成,该方法将7个点击率预测模型的不同组合作为基学习器,通过元学习器对堆叠的预测结果进行再训练.实验表明,堆叠模型在两个数据集上的效果都有一定程度的提升.由此可见,集成多种表现优异的点击率预测模型能够有效改进单一模型的性能.
基于注意力机制的用户兴趣挖掘方法研究及应用
这是一篇关于推荐系统,多头注意力机制,特征交互,点击率预测的论文, 主要内容为随着大数据技术的快速发展,点击率预测模型在众多领域中逐渐发挥其重要作用。通过点击率预测模型可以捕获用户兴趣,进而预测用户对候选目标项是否进行点击,这有利于提升网络平台的收益和用户体验,故而点击率预测的建模受到了学术界的广泛关注。但是本文通过对基于深度学习的点击率预测模型进行调研发现其仍存在一些不足。首先,大多点击率预测模型很少关注用户行为序列中项目之间的关系。其次,这些模型中使用的注意力单元不能完全捕获上下文信息,而上下文信息中的特征可以用来反映用户兴趣的变化。最后,用户的兴趣是多样的,着重关注用户行为序列可能使得模型预测的结果不够精准。所以,本文针对上述存在的问题给出了相应的改进方法。主要研究内容如下:(1)针对大多模型很少关注用户行为序列中项目间的关系及使用的注意力单元不能完全捕获上下文信息的问题,本文提出了一种基于Multi-Head Attention的兴趣提取方法(IEN)。IEN的主要结构是兴趣提取模块,它由两个部分组成:项目表征模块(IRM)和上下文——项目交互模块(CIM)。在IRM中,多头注意力机制被用来学习用户行为序列中项目之间的关系;然后,通过整合细化的项目表征和位置信息获得用户表征;最后,利用用户和目标项之间的相关性被用来反映用户的兴趣。在CIM中,可以通过上下文和目标项之间的特征交互来进一步获得用户兴趣。学习到的相关性和特征交互被送入多层感知机进行预测。此外,在对比实验中对IEN的性能进行评估,实验结果表明,本方法在点击率预测任务中优于对比算法。(2)用户的兴趣是多样的,着重关注用户行为序列可能使得模型预测的结果不够精准。本文针对这一问题设计了一种基于Pre-LN Transformer的多兴趣提取方法(MASR)。该模型主要由三个部分组成,包括项目——用户行为交互模块(IUBI)、项目——上下文交互模块(ICI)与项目——用户属性交互模块(IUI)。首先,在IUBI中利用多头注意力机制学习项目之间的相关性以得到用户行为序列表征。其次,在ICI与IUI中,利用多头注意力机制得到多种类特征与目标项之间的特征交互,进而提升用户兴趣的多样性。最后,对比实验的结果也验证了MASR的预测结果更佳。(3)在上述研究的基础上,设计并实现了一个基于MASR的点击率预测系统。首先,构建了用于点击率预测的网络模型。然后,详细介绍了该系统的各部分功能。最后,对系统进行测试且测试结果表明该系统是高效且具有可行性的。
融合注意力机制和特征交互的推荐算法研究
这是一篇关于推荐系统,特征交互,注意力机制,图神经网络的论文, 主要内容为推荐系统是缓解信息过载问题的关键技术之一,得到了工业界和学术界的广泛研究,已应用于人们生活的衣食住行娱各个方面。然而,现有的推荐算法仍然面临着以下两个难题。一方面,推荐数据的特征数量庞大、种类繁多,已有的特征提取方法往往只考虑固定角度的注意力机制,不曾对特征性质做进一步的挖掘。另一方面,现有的图神经网络算法虽然可以建模数据中复杂的用户和物品关系,但很少考虑用户和物品本身的特征,没有结合特征提取方法设计图卷积层。本文针对上述问题,从注意力机制和特征交互两个角度出发,研究有效的特征提取方法,提出两种推荐算法模型,主要工作和创新点如下:针对现有特征提取方法在特征性质挖掘方面的缺陷以及注意力机制使用角度单一的问题,本文提出一种结合卷积注意力机制和双线性池化的推荐算法(Convolutional Attention and Bilinear Pooling Network,CABPNet)。CABPNet 主要由多角度注意力机制模块和特征交互模块组成。多角度注意力机制模块使用卷积神经网络和重连层获取特征级别、元素级别和全局级别的注意力权重,有效解决了注意力机制使用角度单一的问题;特征交互模块从同特征和异特征两个角度建模特征交互,使用双线性池化获取自我交互特征,弥补了算法在特征性质挖掘方面的缺陷。在三个广泛使用的Amazon-books、Movielens-1m和Moviedata数据集上,CABPNet模型较当前最优的传统深度学习模型在NDCG@20上分别取得了 1.65%、2.1 7%和2.39%的进步,在Recall@20上分别提升了1.27%、2.26%和1.98%,表明了 CABPNet模型的有效性。针对现有图神经网络算法没有使用用户和物品特征以及没有建模有效特征提取方法的问题,本文将用户和物品特征加入到“用户-物品”交互图中,构建“用户-物品-特征”异构图,并提出融合多节点信息的图神经网络推荐算法(User-Item-Feature Graph neural network,UIFGraph)。UIFGraph中的图卷积操作由自注意力机制和特征交互构成,能有效完成对“用户/物品-特征”子图和“用户-物品”子图的特征提取。在Amazon-books、Movielens-1m 和 Moviedata 数据集上,UIFGraph 模型较当前最优的图神经网络模型在NDCG@20上分别取得了 2.426%、2.278%和1.997%的进步,在Recall@20上分别提升了 2.303%、1.331%和1.725%,表明了 UIFGraph模型的有效性。
基于语义信息的视频描述研究
这是一篇关于视频描述,特征交互,语义信息的论文, 主要内容为视频描述旨在对给定视频产生针对其主要内容的自然语言描述,因其在众多领域存在潜在应用价值而成为近年来的研究热点之一。本文主要聚焦语义信息在视频描述模型中的应用,分别从视觉-属性语义增强、属性语义扩展、属性语义传递三个方面展开研究,并基于研究内容开发了原型系统。本文的主要研究工作如下:(1)提出了基于视觉-属性语义增强的视频描述方法:针对现有模型解码过程中,视觉特征参与不足导致产生错误描述词汇的问题,引入了一种视觉特征和文本特征的交互融合机制,并将融合特征和属性语义特征结合,提高输入数据中的视觉信息含量。同时引入循环dropout方法缓解模型的过拟合问题。实验结果验证了该方法可以引导模型生成更加准确的词汇,缓解了过拟合情况,大幅提升了模型性能。(2)提出了基于属性语义扩展的视频描述方法:针对现有模型使用的属性语义范围较小,对视频属性覆盖不足的问题,借助知识图谱引入外部知识,筛选现有属性语义词的高关联度关联词来扩充属性语义范围。同时,通过改进视觉特征融合方法获得更高质量的属性语义特征。实验结果验证了所提方法可以使得模型在解码过程中参考到更大范围的属性语义信息,大幅提升了描述语句的多样性和模型性能。(3)构建了基于属性语义传递方法的视频描述原型系统:该方法利用属性语义词之间关联性的传递性,以现有属性语义词的高关联度关联词为基准,获取它们的高关联度关联词,进一步扩大属性语义覆盖范围。实验结果验证了该方法可以引入更多的属性语义词,进一步提升了模型性能。基于该方法搭建的视频描述原型系统允许用户上传视频并对其解析后展示解析结果,验证了方法的有效性和实用性。综上,论文探索了提高解码器输入数据中的视觉信息含量和引入更多属性语义词对视频描述模型的影响,在常用数据集上的大量实验验证了所提方法可以提升模型性能和描述语句的多样性。
基于深度学习的点击率预测模型研究
这是一篇关于推荐系统,点击率预测,特征交互,行为序列,深度学习的论文, 主要内容为互联网时代的来临在为人们提供各种各样便利服务的同时,也产生了海量数据,使得人们不得不面临如何从海量信息中高效搜寻感兴趣内容的问题。推荐系统的出现为缓解这一问题提供了有效的解决方式,而点击率预测任务往往是推荐系统中必不可少的一环。尤其是在现代电子商务和在线广告中,为了增加企业收入和提升用户体验,点击率预测一直是其中最重要任务之一。在电子商务系统中用户通常拥有点击,收藏,购买等多种行为,而点击则是这所有行为的基础。在线广告中,广告展示需要根据单次展示收益排序,而该指标则由广告竞价和预测点击率的乘积得出。因此,点击率预测研究引起了学术界和工业界的强烈关注。然而,目前基于深度学习的各种点击率预测算法基本从两方面展开研究。一方面,基于特征交互的点击率预测算法虽然能通过高效的捕获特征高阶交互信息,进而使点击率预测更加准确。但这类模型往往不加区分特征中的交互信息和独立信息,仅采用一个特征向量进行建模,未能精细刻画特征中的交互信息和独立信息不同占比,进而使得学习到的特征表示向量质量不高,限制了模型性能。另一方面,基于行为序列的点击率预测通过挖掘历史序列中蕴含的用户兴趣来建模点击率预测任务。但这类模型往往对行为序列数据挖掘不足,使得捕获到的用户兴趣比较单一,而真实世界中用户在同一时刻往往有着多种不同兴趣,因此有必要充分挖掘历史行为中的各种兴趣模式来提升用户体验和预测准确性。针对上述问题,本文工作总结如下:首先,针对基于特征交互的点击率预测算法未能高质量学习特征向量表示,进而影响模型性能的问题。提出了特征交互精炼网络FIRN,FIRN首先设计了混合专家网络来提取每个特征中的交互信息和独立信息。接下来,一方面通过自注意力机制来自适应的显式建模交互信息的高阶组合,另一方面设计了融合门控单元以自适应的加权交互信息和独立信息以获得变换后的特征向量表示。最后,为了尽可能的扩展特征语义,引入扩展门控单元来自适应聚合原始特征向量和变换后的特征向量,解决了特征自适应语义分配的问题,实现了特征表示向量的高质量学习,为后续模型预测层提供了高质量的特征表示输入,取得了更佳的预测性能表现。其次,针对基于行为序列的点击率预测算法对行为序列数据挖掘不足、捕获用户兴趣较为单一的问题。本文提出了用户行为兴趣网络UBIN来关注用户行为序列中两种不同的兴趣模式。在UBIN中,时间感知的注意力网络和GRU分别来捕捉目标用户对候选物品的综合兴趣和自身动态演化的当前兴趣。并且,设计了三元辅助损失来监督当前兴趣的学习,以提升其表示学习的质量。此外,在UBIN的基础上,为了捕获到物品行为中蕴含的用户兴趣模式,本文还引入了物品行为兴趣网络IBIN与UBIN联合学习,提出了深度多兴趣网络DMN。在DMN中,连接UBIN输出的综合兴趣和当前兴趣作为查询,输入到IBIN中利用自注意力机制建模目标用户兴趣与已点击候选物品的用户间的用户-用户兴趣,捕获了用户间的协同过滤信息。同时,通过注意力机制聚合候选物品的被点击时间,刻画出了当前时刻候选物品的流行度,以此反映用户对热门物品的独特偏好。最后,DMN输出层利用这些多种不同兴趣表示作为输入,极大的丰富了模型表达能力,提升了模型预测性能。最后,基于真实世界的点击率预测任务常用数据集,本文分析了所提方法有效性的原因,并将所提出方法与各种先进算法进行对比实验,实验结果验证了在点击率预测任务上本文方法的有效性和先进性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈网 ，原文地址：https://bishedaima.com/lunwen/48663.html
