一种基于EM路由算法的推荐模型
这是一篇关于推荐任务,胶囊网络,多兴趣推荐,多模融合的论文, 主要内容为受益于互联网的快速发展,我们随时都能够接触到海量的信息。然而,如何从这些信息中提取出真正有价值的信息是我们目前急需解决的问题。推荐系统作为该问题的一种解决方案已经引起了人们的广泛关注,而在推荐系统中又以推荐模型最有研究价值。它通过用户的历史行为序列与用户的个人信息生成一个高维向量来抽象的描述该用户的特征。通过将该用户特征与信息库中的所有信息进行相似度匹配,最终取出匹配度最高的N条信息作为推荐的结果。由此可见,模型生成的用户特征优秀与否对于推荐任务结果的好坏至关重要。在本文中,我们从生成特征的数量与质量两个方面对主流的推荐模型进行改进。从改进生成特征数量的角度而言,目前主流的将用户所有行为特征抽象为一个高维向量的方法在面对超长行为序列时往往无法准确的概括用户的全部特征。为了解决该问题,我们提出了基于EM路由算法的多兴趣提取网络MINE。该网络通过改进的EM路由算法来聚合用户可能的多个兴趣倾向以得到多个用户特征。相较于传统推荐模型,MINE在Amazon Electron、Amazon Movies-TV、Amazon Home-Kitchen数据集上相较于基准模型分别取得了4.8%、2.1%、0.2%的性能提升。此外,我们还在Movielens-2K数据集上分析了兴趣倾向的数量与推荐结果准确性之间的关系。从改进生成特征质量的角度来看,在数据类型大大丰富的今天,序列特征已经不再是推荐模型的唯一选择。通过丰富模型输入端的数据类型,无疑能够提升用户特征的质量。在本文中,我们针对如何更好地提取图片特征进行研究与实验,并将提取出的图片特征融入推荐模型以验证我们的改进结果。胶囊网络能够较好的提取到物品各部分之间的空间关系,提取的图片特征迁移能力较强,但是无法处理复杂背景的图片。通过对胶囊网络中网络结构、Squash函数的改进,我们提出了多通道胶囊网络MLSCN来解决这个问题。在定量实验中,MLSCN在MNIST上取得了99.73%的准确率、在CIFAR-10上取得了76.79%的分类准确率,在MNIST-CB上达到了65.37%的准确率,融入图像特征的推荐模型V-MINE在多个数据集上都获得了相当的性能提升。通过多组消融实验和鲁棒性实验,我们分别对改进方法的有效性与模型的迁移能力进行了验证与测试。
基于深度学习的移动端包类商品图片搜索系统
这是一篇关于包类商品,以图搜图,细粒度分类检索,胶囊网络,移动端APP的论文, 主要内容为短视频平台的火热与直播带货等新型电商模式的崛起催生了疫情下消费者对包袋类时尚商品新的消费需求。但在电商平台上的包类商品标签、品牌分类十分复杂,初次消费此类奢侈品的用户前期需要投入一定的学习成本,因此常常使用以图搜图的方式代替单一的文本搜索商品;然而,目前在这一领域常见的搜图算法是面向全品类商品的,并没有针对包袋商品专门的数据集和优化搜图算法,用户体验方面仍需提高。为了解决这些问题,本文的主要工作包括:(1)根据某箱包品牌产品图像构建了一个包含24个品类、中型规模的包袋商品图像数据集,并在构建过程中规范了构建流程,包括不同分类图像的原始图像、粗标注图像、精标图像的命名、标注以及生成规范,还有数据增强的流程以及预处理归一化的流程。(2)基于多种卷积神经网络结构以及胶囊网络,提出并训练了添加小卷积模块、注意力机制和残差模块的T-CapsNet网络结构,提高了在任意场景下图像特征旋转或变形时对其细粒度特征进行提取的能力;同时为了解决在不同品类的包袋中包含同种细节特征导致检索结果不理想的问题,提出了一种在检索前先进行细粒度预分类的策略,通过预分类策略并选取适当的四元损失函数模型,在检索任务中取得了较为良好的精度。(3)以本文提出的T-CapsNet网络模型为核心,针对某品牌电商手机应用APP上任意场景下包类商品的细粒度分类以图搜图这一任务场景,运用流行的前后端框架技术Vue、Django设计并实现了投入实际应用的功能模块——移动端包类商品搜图系统,并最终完成手机应用APP上线工作。该模块替代了之前所使用的第三方以图搜图开放接口,在匹配精度和用户体验上更为精确和丰富。
方面级文本情感分析的研究与应用
这是一篇关于方面级情感分析,注意力机制,胶囊网络,神经网络的论文, 主要内容为近年来,以互联网产业为代表的社交媒体平台和电商平台依托大数据技术的发展日趋成熟,越来越多的个人和自媒体代替了传统的主流媒体成为信息传播的主体,大量带有个人观点的在线评论出现在各大平台中。这些文本数据蕴含着大量有价值的信息,不仅可以帮助平台挖掘到用户的情感倾向,还可以作为提升服务质量的依据,对于企业制定决策具有十分重要的商业价值。然而,由于评论文本是数量巨大且格式不统一的非结构化数据,仅仅依靠人工处理费时费力,无法提取其中的情感信息。因此,如何有效地对文本进行情感分析是一项重要的研究课题。对于文本情感分析任务,如何从原始语料中提取和表达文本特征是较为关键的一环,传统的文本表示方法常采用静态语言模型,无法表达相同词语在不同语境下的语义信息,即无法根据语境解决一词多义情况,存在特征稀疏、语义不足、维度过高等问题。由于在文本预处理过程中无法动态地调整语义,导致后续模型分析的结果不理想。基于方面的文本情感分析能提供比一般情感分析更细粒度的信息,其同时考虑了目标词与情感信息之间的关系,通过给定句子和方面项,即可判断出方面项在句子中的情感倾向。因此,方面级情感分析相比其他情感分析任务具有更高的研究价值和商业价值。传统的方面情感分析模型针对方面项和情感词进行分析,忽略了方面项与上下文之间的联系,无法体现文本语义结构的特点。基于以上背景和问题,本文以在线评论为研究对象,针对文本表示和表达文本语义结构两个方面进行研究。首先,本文提出基于胶囊网络和分层注意力机制的情感分析模型(HAN-Caps Net),通过采用胶囊网络的矢量神经元结构保存丰富的文本结构,使得模型能够并行地识别出对文本对象的特征,对文本进行深层建模。同时,利用分层注意力机制捕获句子层面和词语层面的重要信息,解决了胶囊网络由于胶囊的特征而无法选择性地关注文本信息的问题,同时也在一定程度上降低了胶囊网络较长的训练时间。其次,提出基于ON-LSTM和自注意力机制的方面情感分析模型(ON-LSTM-SA),在预处理阶段采用动态语义训练模型ELMo在原始语料上进行预训练,得到关于与数据集相关的动态词向量文本表示。通过将动态词向量与target向量进行拼接后送入模型,利用隐藏层的有序神经元构建关于方面项与上下文之间的语义层级结构。最后根据自注意力机制计算内部的词依赖关系,从而获得关于方面项的情感倾向。为验证本文提出的情感分析模型的有效性,本文对SemEval 2014 Task 4、SemEval2017 Task4、Twitter和Yelp数据集中的部分语料进行清洗和切分,用作实验数据。通过实验对比分析,本文提出的模型相较于其他模型有一定提升,说明了表达文本语义结构的方法具有一定的研究意义和应用价值。结合上述理论研究,本文设计并实现了基于在线评论的方面级文本情感分析应用系统,包含对在线文本评论数据集的清洗和可视化分析,判断输入文本的方面项和展示注意力机制在文本语句中的应用,以及通过对文本进行训练得到针对不同方面项的情感分析结果。系统具有良好的适用场景,可以向企业和政府更全面、更直观地展示关于方面级文本情感分析所带来的商业价值和应用价值。
基于胶囊网络的文本分类模型
这是一篇关于文本分类,胶囊网络,多头注意力,图卷积神经网络,句法依存树的论文, 主要内容为文本是重要的信息载体。近年来,海量文本数据出现在互联网上,这些文本数据杂乱无章,人们很难从中获取有用信息。此外,社交网站、推荐系统等应用同样也需要归纳整理后的文本数据。因此,对文本数据进行分类具有至关重要的意义。识别文本类别需正确理解文本所表示的语义。文本序列中,各位置上单词的重要程度以及它们之间的依赖关系对于理解文本语义有重要影响;并且,各单词之间的句法关系对于理解文本语义也起到至关重要的作用。如何有效利用这些信息提高文本分类的效果呢?此外,多标签文本分类需要模型能同时提取出多种类别层次的信息,更具挑战性。针对文本分类中存在的问题和挑战,本文的主要研究工作与创新点如下:(1)本文提出一种基于多头注意力的胶囊网络模型用于文本分类。胶囊网络不能选择性关注文本中重要单词;并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决此问题,本文提出了多头注意力胶囊网络模型,该模型能编码文本序列中单词间的依赖关系及重要单词信息形成文本表示,并进一步提取文本语义信息用于文本分类。此外,在6个文本数据集验证了该模型的效果,并且进一步证明了胶囊网络引入注意力的价值。(2)本文利用胶囊网络能识别高度重叠对象的能力,识别文本中的多重语义信息,提高模型在多标签文本分类上的效果,克服在该任务中的挑战。此外,在多标签数据集上验证了本文模型用于多标签文本分类时的效果。(3)本文提出一种融合句法的多头注意力胶囊网络模型用于文本分类。文本中的句法信息对于理解文本语义有重要作用进而影响文本分类的效果,为解决多头注意力胶囊网络模型缺乏有效利用句法信息的能力,本文进一步提出了融合句法的多头注意力胶囊网络模型,该模型首先利用图卷积神经网络提取文本中的句法信息并形成文本表示,然后利用多头注意力胶囊网络模型进一步将句法信息与文本中的序列信息、依赖关系等语义信息融合,用于文本分类。此外,在5个文本分类数据集上验证了该模型的效果,并且证明了胶囊网络、图卷积神经网络、多头注意力具有集成效应。
基于数字孪生的旋转机械可视化监控与故障预警系统研究
这是一篇关于旋转机械,数字孪生,虚实映射,故障预警,胶囊网络的论文, 主要内容为随着信息技术的飞速发展,世界各国纷纷探索制造业的智能化、数字化转型路径。智能制造过程中存在的机械设备全生命周期监控视角不全面、数据传输实时性差、故障状态预警准确度及效率较低等问题,仍然是机械设备健康状态监测领域所要面对的关键技术难题。针对上述问题,本文提出了一种基于数字孪生技术的旋转机械可视化监控与故障预警方法,旨在借助三维建模、数据通信、深度学习等多学科技术,实现旋转机械的可视化监控和故障实时预警。主要研究内容如下:(1)旋转机械可视化监控与故障预警系统总体方案设计。针对旋转机械可视化监控和故障预警研究中的关键问题,总结了系统的设计需求和设计原则,确定了基于数字孪生模型五维架构的旋转机械可视化监控与故障预警系统的整体框架和功能模块的设计方案。(2)旋转机械高保真数字孪生模型构建方法研究。搭建了轴承-齿轮箱旋转机械实验台,从几何模型、行为模型和故障演化模型的角度对数字孪生模型结构进行了分析,基于数字孪生模型的构建原则提出了旋转机械实验台几何模型的构建、装配和优化策略,基于数字孪生模型的空间几何变换原理分析了行为模型的实现方法,构建了具有完整映射的旋转机械高保真数字孪生模型。(3)旋转机械实验台数字孪生模型映射方法研究。为了获得旋转机械实验台实时孪生数据,为旋转机械可视化监控与故障预警系统的构建提供数据支撑,针对孪生数据需求搭建了多传感器数据采集系统,设计了基于Lab VIEW DAQmx驱动的数据实时采集方案。通过构建数据库和数据传输通道实现了孪生数据的实时传输和存储,研究了数字孪生行为模型的构建方法,基于Unity3D开发引擎实现了三维仿真场景的搭建和数字孪生模型的实时精准映射。(4)基于胶囊网络的故障诊断方法研究。为了实现对旋转机械故障的精确诊断预警,研究了基于胶囊网络的故障诊断模型构建方法。制备滚动轴承和行星齿轮箱故障件,构建其复合故障数据集作为模型训练样本,针对滚动轴承和行星齿轮的单一及耦合故障进行诊断。采用相同参数构建卷积神经网络故障诊断模型进行对比试验,基于准确度评估指标对胶囊网络模型输出的混淆矩阵、t-SNE可视化结果和对比实验结果进行了分析,验证了该故障诊断模型的精准性。(5)旋转机械可视化监控与故障预警系统开发。针对旋转机械可视化监控与故障预警系统的流畅性、适用性和兼容性需求,配置了系统开发环境,构建了用户注册登录、设备状态监测、三维模型可视化和故障预警四个功能模块,基于B/S和C/S混合架构集成各个功能模块并完成系统开发。
基于多模态学习与自监督学习的图推荐算法研究
这是一篇关于推荐系统,多模态学习,自监督学习,图神经网络,胶囊网络的论文, 主要内容为随着互联网时代的来临,信息数量爆炸式增长和信息复杂程度与日俱增,信息超载成为了亟待解决的问题,于是推荐系统在上世纪九十年代就成为一个专门的学科进行研究。然而传统的基于图神经网络推荐算法在冷启动处理、高阶信息聚合、无标签学习等方向上存在不足,因此本文围绕多模态数据推荐问题展开研究,采用多模态学习、自监督学习以及图数据结构增强等方法,并提出了三个算法模型。首先,针对推荐系统冷启动以及传统图神经网络难以自适应捕捉用户偏好等问题,本文面向视频、音频和文本数据,提出了基于多模态学习的图门控注意力网络推荐算法。该方法将多模态表征嵌入到模型之中对用户偏好进行建模,然后将注意机制引入到图神经网络框架中,用于分离用户对不同模态的偏好,并进一步引入了门控机制,对多模态交互图中的信息流进行控制和加权,便于理解用户行为。其次,针对推荐系统高度依赖标签导致的人工标注高成本、图卷积神经网络高阶信息损失、模型泛化能力弱等问题,本文提出了基于自监督学习的胶囊图卷积网络推荐算法,该方法使用胶囊图卷积网络来捕获节点间的高阶关系并构建监督信号,并采用三种数据增强模式来构造对比视图和自监督信号,进一步采用噪声对比估计来构建对比损失,实现自监督学习的引入。再次,本文对多模态与自监督学习基于的图学习推荐进行了一次尝试,旨在解决传统推荐范式受监督数据稀疏和未触及模式和结构的影响的这些局限性,进一步探索推荐系统的潜力。面向视频、音频和文本数据,本文提出了基于多模态学习和自监督学习的图神经网络推荐算法,该方法设计了一个多模态并行的基于图的推荐模型作为主监督学习任务,并根据多通道模式设计了三种不同粒度的数据增强方法来构建多模态自监督组件。最后,本文在Tiktok、Kwai、Movie Lens、Last-FM、Yelp等数据集上进行了广泛的实验,并与先进的基线模型进行了对比,对关键组件和重要参数进行了探索研究,分析和验证了所提出模型的有效性和优越性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://bishedaima.com/lunwen/47741.html
