基于多头注意力机制和图神经网络的点击率预测研究
这是一篇关于高阶组合特征,点击率,多头注意力,图神经网络,GaAN的论文, 主要内容为CTR(click-through rat,点击率)预测在广告推送,个性化推荐,电子商务,信息推送中发挥着重要的作用,而CTR预测依赖对高阶组合特征的建模,然而在最近的研究中却存在着以下问题:(1)分配给所有的高阶组合特征相同的权重,限制了模型的表达能力。(2)传统的特征交互方式(比如内积,外积,哈达玛积)限制了高阶组合特征的表达。(3)使用深度神经网络对特征进行隐式交互,缺乏可解释性。本文基于多头注意力机制和图神经网络解决上面遇到的问题。首先,针对不同的组合特征拥有相同权重的问题,本文基于多头注意力机制提出了AIM(Automatic feature Interaction Machine,自动特征交互机)模型,将多头注意力机制和外积/哈达玛积结合,达到对高阶组合特征分配不同权重的目的,同时本文证明了多头注意力机制结合哈达玛积的组合方式和CIN(Compressed Interactive Network,压缩交互网络)提取高阶组合特征的原理是一样的,之后通过在一阶特征和高阶组合特征中加入残差,能进一步加强一阶特征和高阶组合特征的交互,模型的性能也进一步提高,本文的模型是在向量水平上以显示的方式对高阶组合特征进行建模,通过叠加多个交互层,模型能够构建任意阶组合特征。接着本文研究了图神经网络相关的算法,利用图神经网络强大的表示能力,高性能和高解释性的优点,将图神经网络和CTR预测相结合,提出了基于图卷积神经网络和多头注意力机制的GCAN(Graph Convolutional Attention Networks,图卷积注意力网络)模型,模型使用多头注意力机制来改进Fi-GNN(Feature Interactions via Graph Neural Networks,基于图神经网络的特征交互)模型,解决节点聚合过程中对边的权重建模不充分的问题,之后对残差重新进行研究,在节点聚合过程中加入当前节点信息,并在节点更新过程加入一阶节点信息,能够有效的将一阶特征和高阶组合特征进行组合,同时在GCAN模型结合前馈神经网络提取的隐式组合特征的情况下,性能能够进一步提高。针对多头注意力机制在头数大于一的情况下,会产生多个头和多个权重矩阵,而多头注意力机制却对每个头分配相同的权重,这限制了模型的表达能力,本文基于GaAN(Gated Attention Networks,门控注意力网络)使用平均池化和最大池化对头权重进行建模,解决了基于多头注意力机制的模型无法准确对高阶组合特征权重进行建模的问题,同时提高了模型的可解释性。通过研究将GaAN运用到Auto Int(Automatic Feature Interaction,自动特征交互)模型的结果,证明了GaAN在推荐系统中的有效性,之后本文进一步利用GaAN来改良AIM模型和GCAN模型中的多头注意力机制,使得模型的性能进一步提高。本文在真实世界的两个公开数据集Movie Lens-1M和Criteo上进行了广泛的实验,与最新最先进的模型相比,实验结果证明了模型的有效性。
融合深度学习与领域因子分解机的精准评分预测——以视频推荐为例
这是一篇关于个性化推荐,卷积神经网络,多头注意力,领域因子分解机的论文, 主要内容为随着网络时代的发展,信息迅速增加导致出现了“信息过载”现象。在互联网上,每天有数以亿计的用户不断地产生大量的数据,如何利用这些数据,从中提取出有用的信息成为企业和学者共同的目标。在此前提下出现了个性化推荐系统。个性化推荐系统可以分析用户历史的行为特征和兴趣偏好,创建符合个性化需求的兴趣模型,并利用该模型快速准确地查找到用户感兴趣的信息。近些年来个性化推荐系统的应用范围已经越来越广泛,而随着移动手机的诞生,用户的娱乐行为越来越趋向于碎片化,新媒体视频逐渐成为用户首选的娱乐方式。将个性化推荐系统应用于视频领域,既可以提升用户体验,又可以为企业创造更大的商业价值,因此研究个性化视频推荐系统具有很大的研究价值和现实意义。目前常见的经典推荐算法主要包括基于协同过滤的推荐、基于内容的推荐和混合推荐等。传统推荐算法在进行个性化推荐时取得了较好的成绩,但在不同的算法中,会出现数据稀疏、冷启动以及人工成本高等问题。这些问题对于模型的推荐结果会造成负面影响。因此,本文采用深度学习的方法对多种异构数据进行提取,并通过融合多头注意力机制和领域因子分解机的方法提出一种可以用于克服以上问题的结构模型,并将这种模型应用到视频推荐的领域。分别获取视频的项目特征和用户特征,利用自然语言处理中的文本卷积神经网络和Word2Vec技术,对视频的标题、标签等文本项目特征进行处理从而降低人工提取特征工程的成本和计算复杂度,并将输出结果应用于融合多头注意力机制与领域因子分解机的视频评分预测方法中。本文主要做了如下工作:(1)深度学习可以学习到多种异构数据的深层特征,本文将个性化推荐与深度学习结合起来,提出一种融合深度学习与领域因子分解机的精准评分预测方法,将用户特征和项目特征作为输入数据,通过深度学习的方法提取特征,然后采用多头注意力机制和领域因子分解机混合的推荐方法进行项目推荐。(2)将该模型应用于视频推荐领域,对于视频的标题、标签等文本信息先通过自然语言处理中的Word2Vec技术将其转换为分布式词向量后输入到文本卷积神经网络中进行特征提取,再与其他项目特征和用户特征共同构成输入数据进行处理。(3)对于融合深度学习与领域因子分解机的精准评分预测方法,采用均方根误差、标准平均误差、平均绝对误差等评价指标进行测试衡量该方法的性能优劣。在样本数据集上运行本文算法,使用均方根误差等作为评价指标与对比模型进行比较,实验结果证明本文提出的模型有效地缓解了数据稀疏问题,具有可行性和有效性。
基于胶囊网络的新闻文本分类研究
这是一篇关于深度学习,新闻文本分类,多头注意力,胶囊网络的论文, 主要内容为随着网络时代的发展,各大平台的新闻数据量不断激增且难以有效管理,导致用户很难快速获取感兴趣的信息。如何在日益严苛的需求下实现海量新闻文本的管理和分类是文本任务中一组具有现实意义的课题。基于机器学习的分类算法早已不能满足当前新闻文本分类任务的实际需求,因而更多学者关注基于深度学习的相关模型。深度学习中的胶囊网络比传统神经网络具有更强的特征学习能力,但其现有的研究方法还存在一些不足,如无法选择性地关注文本中的重点单词以及缺乏对远距离依赖能力的编码,很大程度上影响最终的分类效果。针对以上问题,本文主要从优化胶囊网络特征提取角度出发进行研究,主要研究工作如下:(1)针对胶囊网络无法选择性地关注新闻文本中的重点单词以及缺乏对远距离依赖关系有效编码的问题,设计了基于多头注意力和并行胶囊网络的新闻文本分类模型(MA-Caps Nets)。该模型通过多头注意力机制编码新闻文本中单词间的依存关系和重要单词,然后采用并行的胶囊网络结构从不同层次捕获文本特征信息,用以进行文本分类。实验结果表明,MA-Caps Nets在新闻文本分类任务中取得了更好的效果,消融实验证明了多头注意力模块和并行胶囊网络结构的互补作用。(2)为了进一步加强模型对文本的特征提取,设计了基于Bi GRU和多头注意力胶囊网络的新闻文本分类模型(Bi GRU-MA-Caps Nets)。在该模型的构建与训练中,通过融合Bi GRU和多头注意力机制,不仅有效捕获文本序列中的全局特征,还能获取单词对于文本的重要程度,以获取更丰富的文本语义信息,后在胶囊网络中引入静态路由机制优化胶囊网络运算过程,采用并行的结构从不同层次捕获文本特征信息,用以进行文本分类。实验结果表明,Bi GRU-MA-Caps Nets的各项指标更高,验证了模型在新闻文本分类任务上的优越性。综上,为了验证以上提出的两个模型在新闻文本分类任务上的有效性,本文对其进行了定量比较和消融实验,在两个新闻文本数据集上进行实验。实验表明,以上两种模型在数据集上都有一定的提高。
基于企业互联网营销平台的用户情绪监测模型构建与应用
这是一篇关于多源异构,情绪监测,多模态融合,多头注意力,智能推荐的论文, 主要内容为随着互联网技术的不断发展和普及,“互联网+”创新模式已成为传统企业进行数字化转型和产业升级的必然趋势。在此背景下,浙江省某大型企业利用大数据、人工智能和云计算等先进技术搭建了“互联网+营销”的智能信息一体化平台。该平台整合了多平台媒体矩阵,拥有大量用户对企业营销活动所发表的观点和评价,以及直播营销活动中产生的时序性弹幕数据。如何处理并利用这些多源异构数据捕获用户需求和感知市场变化,从而更加精准化,智能化地进行业务决策和创新,实现营销效果最大化是企业重点关注的问题。为此本文在该互联网营销平台TB级用户评论数据支撑下,提出了基于改进有用性主题和谱聚类融合的代表性评论提取算法、融合多特征的弹幕数据情绪监测网络模型、融合主题特征的多模态决策多样性情绪监测模型和基于用户情绪与知识图谱的个性化推荐算法,实现从有用性主题提取到情感分类再到个性化推荐整个智能推荐过程。最后结合该互联网营销平台构建了基于时序性用户情绪监测图、“区域-用户”情绪监测图和“主题-用户”情绪监测图的智能化推荐模块,为企业智能化精准营销提供支持。本文主要从直播营销场景和多平台媒体营销场景进行研究,具体内容总结如下:(1)针对多源异构数据冗余度高和传统主题特征提取未考虑文本内容有用性等问题,提出了一种基于改进有用性主题和谱聚类融合的代表性评论提取算法。首先,在传统LDA模型基础上,将点赞、转发、收藏、受评数等作为文本内容的有用性权重改变其词-主题分布统计方式,并给出了相应推导公式,证明了该有用性权重能将有用性词-主题凸显出来。然后,利用改进模型抽取出有用性信息的主题分布,再利用皮尔森系数构建相似矩阵,最后,用谱聚类实现有用性评论聚类,进一步降低冗余,并提取簇中心附近评论作为代表性评论。以该互联网营销平台数据为对象进行验证,结果表明,该模型相较于其他模型能很好解决数据冗余问题且评论主题更具有代表性。(2)针对直播营销场景中忽略弹幕数据的时序性、多义性和稀疏性从而导致情感特征提取不准确不充分问题,提出了一种融合多特征的弹幕数据情绪监测模型。首先,针对弹幕数据多义性问题,构建了“Emoticon-Word”词典(多义性表情符号词典)以及相关弹幕语料库;然后,针对弹幕数据稀疏性问题,将弹幕数据基本属性(文字颜色、字体、点赞数等)与文本拼接输入ALBERT中作特征提取,同时,与辅助模块Glo Ve模型预训练的表情符号经过自注意力模块融合。其次,为加强弹幕属性的时序性,用Bi GRU模块从前向和后向捕获信息,加强语义依赖。最后用Softmax逻辑回归进行情感倾向性分类,构建情绪监测图。以某互联网营销平台163253条弹幕数据为对象对模型进行性能验证,结果表明,该模型准确率达88.8%,精确率达88.7%,召回率达88.9%,1F值达88.8%,相较于其他模型均有一定提升。该模型可为企业在营销活动中实现用户情绪监测以及智能化精准营销提供支持。(3)针对整合多平台媒体场景中特征稀疏,多模态融合效果不佳,多模态情感特征提取不充分问题,提出了一种融合主题特征的多模态决策多样性情绪监测模型。首先,采用预训练ALBERT模型提取文本词向量特征表示,采用预训练后的Res Net-18提取图像特征表示。然后,为避免文本特征过于稀疏,将提取的词向量特征与Help-LDA提取的主题特征进行多阶段融合。其次,采用多头注意力捕获图文相关性,将融合后的联合特征与已提取的图像特征进行再次融合。同时,为体现各自模态特征,采用决策融合将联合特征和各模态独立特征进行整合,其中,添加余弦相似性惩罚,提高模型泛化能力。最后用Softmax逻辑回归进行情感倾向性分类,构建“区域-用户”情绪监测图以及“主题-用户”情绪监测图。以某互联网营销平台图文数据为对象对模型进行性能验证,结果表明,该模型的图文情感识别效果相较于其他模型均有一定提升。(4)针对现有推荐算法未考虑用户情绪指标从而导致营销活动中产品推荐不准确问题,提出了一种融合用户情绪与知识图谱的个性化推荐算法。首先,基于企业数据库构建企业产品知识图谱和用户画像。然后,抽取出企业产品的实体属性特征和用户需求特征,分别用余弦相似系数构建相关相似度矩阵,并采用加权几何平均得到需求匹配相似度矩阵。其次,考虑不同时间和区域内用户的情绪波动,将时序性用户情绪、主题用户情绪、区域用户情绪等多种情绪指标进行加权求和平均,构建情绪度量矩阵。结合情绪度量矩阵与匹配相似度矩阵构建目标函数,计算可推荐性服务得分列表。在推荐过程中,根据用户情绪指标和推荐结果的匹配程度,为用户呈现最符合需求的产品和活动,并提供详细的信息和推荐理由。最后,结合该互联网营销平台构建了融合用户情绪监测的智能推荐模块,将本文所提出的算法模型进行应用,并给出了相应模块设计流程以及对各模块进行可视化展示。
基于胶囊网络的文本分类模型
这是一篇关于文本分类,胶囊网络,多头注意力,图卷积神经网络,句法依存树的论文, 主要内容为文本是重要的信息载体。近年来,海量文本数据出现在互联网上,这些文本数据杂乱无章,人们很难从中获取有用信息。此外,社交网站、推荐系统等应用同样也需要归纳整理后的文本数据。因此,对文本数据进行分类具有至关重要的意义。识别文本类别需正确理解文本所表示的语义。文本序列中,各位置上单词的重要程度以及它们之间的依赖关系对于理解文本语义有重要影响;并且,各单词之间的句法关系对于理解文本语义也起到至关重要的作用。如何有效利用这些信息提高文本分类的效果呢?此外,多标签文本分类需要模型能同时提取出多种类别层次的信息,更具挑战性。针对文本分类中存在的问题和挑战,本文的主要研究工作与创新点如下:(1)本文提出一种基于多头注意力的胶囊网络模型用于文本分类。胶囊网络不能选择性关注文本中重要单词;并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决此问题,本文提出了多头注意力胶囊网络模型,该模型能编码文本序列中单词间的依赖关系及重要单词信息形成文本表示,并进一步提取文本语义信息用于文本分类。此外,在6个文本数据集验证了该模型的效果,并且进一步证明了胶囊网络引入注意力的价值。(2)本文利用胶囊网络能识别高度重叠对象的能力,识别文本中的多重语义信息,提高模型在多标签文本分类上的效果,克服在该任务中的挑战。此外,在多标签数据集上验证了本文模型用于多标签文本分类时的效果。(3)本文提出一种融合句法的多头注意力胶囊网络模型用于文本分类。文本中的句法信息对于理解文本语义有重要作用进而影响文本分类的效果,为解决多头注意力胶囊网络模型缺乏有效利用句法信息的能力,本文进一步提出了融合句法的多头注意力胶囊网络模型,该模型首先利用图卷积神经网络提取文本中的句法信息并形成文本表示,然后利用多头注意力胶囊网络模型进一步将句法信息与文本中的序列信息、依赖关系等语义信息融合,用于文本分类。此外,在5个文本分类数据集上验证了该模型的效果,并且证明了胶囊网络、图卷积神经网络、多头注意力具有集成效应。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码导航 ，原文地址：https://bishedaima.com/lunwen/48759.html
