基于多级语义融合的中文隐式情感语句分类研究
这是一篇关于中文隐式情感分类,语义融合,上下文特征,自注意力机制,动态路路由机制的论文, 主要内容为随着5G技术的普及和应用,各类社交媒体平台与电子商务网站的发展迅速,网络上产生了海量涉及个人情感信息的文字数据。通过分析这些文本数据,可以更准确地获知评论者的意见,为商家的商业经营提供支持,帮助决策机构监管舆情。设计合理高性能的模型发现并分析在大量文字数据中蕴藏的情感信息,成为了情感分析中的一个重要任务。文本情感分析包括显式情感分析和隐式情感分析。目前针对显式情感分析的研究已经比较成熟,然而隐式情感分析仍处于起始研究阶段。网民在社交平台上在发表评价时,经常采取更含蓄、更委婉的语言表达方法,而对此类文本进行隐式情感分析,将会为社会舆情的管控(如对虚假信息的及时发现与澄清)、商业经营(商品评论有助于商家制定合理的销售策略)等方面提供更加精准的帮助。在隐式情感识别的研究中,多数以卷积神经网络和长短期记忆网络作为模型的基础算法,这两种方法各具优势,但同时也还有不足之处。因此,本文通过卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)构建一个双通道的神经网络模型,生成一个包含多个层级特征的语义表示,在融合词语、情感句以及上下文特征方面开展了研究。本文主要围绕着三种类型(褒义/贬义/中性)的隐式情感倾向,进行了如下的工作。(1)对隐式情感文本数据进行分析,发现在大多数情况下,一个句子单独来看不含有任何情绪,而在将其置于特定的上下文语境中时会显示出某种情绪。所以本文借助可变卷积神经网络(VCNN)提取情感标签句局部特征,包括句子维度和词向量维度上的语义表示,使得情感目标句中的句子级语义特征更为全面和精确;借助双向长短期记忆网络(BiLSTM)为目标句上下文句子学习语境信息,并利用自注意力机制对文本中的词汇给出不同的贡献程度分值,以提升分类的准确性,而且与注意力机制相比较,对外部信息依赖性更低,由此提取出篇章级全局特征。为了使语义特征表示更全面,在提取文档深层特征的同时考虑浅层特征,将词性特征加入到语义特征中,即在VCNN通道的输入矩阵中添加了情感目标句中词语的词性向量(Part of speech)矩阵,将词性向量与词向量进行拼接共同输入到分类器中,由此得到词语级的词性浅层特征。实验结果表明,融合了多级语义的分类模型的准确率为75.9%,宏平均F1值为0.763,相比于单一的神经网络,混合神经网络在隐式情感分析任务中能够更高效地学习语义信息,多级语义特征表示扩充了原始特征中含有的信息量,能实现更好的语义理解。(2)根据多级语义特征与动态路由算法构建中文隐式情感分类模型CISC-MSF(Chinese Implicit Sentiment Classification Based on Multi-level Semantic Fusion)。在BiLSTM算法之后,使用自注意力机制为BiLSTM通道中的上下文语义特征分配注意力权重,更好地把词语特征中的重点表现出来。但尽管某些重要特征能够通过注意力机制来关注和度量,但注意力机制一经编码便不能再接受更多的信号,也难以学习文本隐藏的情感特征。因此,借助动态路由算法在动态编码方面的优势,将情感目标句与上下文语句的特征向量拼接输入到动态路由机制中,使得学习到的信息更加丰富。实验结果显示,CISC-MSF模型分类指标宏平均F1值为0.789,准确率为81.3%,中性、褒义、贬义三类情感句的宏平均F1值分别达到0.894、0.710、0.746,其中CISC-MSF在判别中性、褒义情感倾向任务中表现较好,相比大部分中文主流隐式情感句分类模型,本文模型具有更佳的分类效果。(3)将本文所提的模型应用到具体的微博热点话题中,获得了79.3%的准确率,比起BiLSTM、BiLSTM+att模型高出21%和15.8%。同时也举例说明了情感目标句上下文语句的情感倾向会影响目标句情感倾向的判别,当两者情感倾向一致时,上下文语句将会对目标句情感倾向的判别起到加强作用;当两者情感倾向相反时,上下文语句将会对目标句情感倾向的判别起到误导作用。此次实验证明了本文模型的实用性,能够将模型应用在热点话题发现、文本情感分析、垃圾邮件检测、舆情信息监测与分析、信息安全管理等场景中。这将有利于政府了解网民当前关注的热点话题事件及对事件表达的看法,可用于监测社会舆情、并通过一些正能量的话题引导并控制网络舆论;企业也可以通过分析各大网络平台热点话题、评论,分析用户的产品或服务需求,实现市场精准营销和个性化推荐,隐式情感分析效果的提升将更有利于商业价值和社会价值的提高。
基于多知识融合的生成式零次学习研究
这是一篇关于零次学习,图像分类,知识工程,语义融合,生成式对抗网络的论文, 主要内容为零次学习(Zero-Shot Learning,ZSL)是指在测试样本的标注信息完全缺失的情况下进行的图像识别任务,它是实现人工智能由“感知智能”向“认知智能”转变的关键一步和必不可少的途径。生成式零次学习是零次学习方法中的一个分支,由于其新颖性以及较高的零次学习性能而在近些年内被广泛研究,它是指使用生成式对抗网络及其改进版本并结合语义到视觉空间映射的方式来解决零次学习问题的一类方法。目前,零次学习中存在语义不足、语义鸿沟以及领域飘逸等问题,导致零次学习模型的精确率和泛化性始终处于较低水平,阻碍着零次学习的发展。因此,为了合理并有效地解决这些存在于零次学习中的问题,本论文将从语义特征增强和模型结构定义两大方面提出改进方法,主要包括以下工作:(1)论文提出了一种用于零次学习图像分类的基于层级结构分类的知识图谱,为数据集中各类别之间的关联关系提供了新的依据;(2)论文从语义特征增强的角度提出了一种新的基于交叉知识的零次学习模型。该方法通过交叉知识学习(Cross Knowledge Learning,CKL)机制使模型能够学习到更多相关的语义特征,显著地丰富了语义特征。同时,通过引入分类学正则化(Taxonomy Regularization,TR)项使模型生成泛化性更高的视觉特征来增加与未见类视觉特征的交集,显著地缓解了领域飘逸现象所引起的不利影响;(3)论文从模型结构定义的角度提出了一种基于多知识融合的生成式零次学习模型。该方法包含了一种新的多知识融合网络(Multi-Knowledge Fusion Network,MKFNet),它使用来自多个知识的语义特征进行训练来学习更多相关的语义信息,显著地丰富了语义特征以应对语义不足的挑战。同时,通过在网络中引入知识正则化(Knowledge Regularization,KR)项来增加与看不见类的交集以合成更高泛化性的视觉特征,显著地缓解了因领域飘逸现象而引起的不利影响;(4)我们对提出的方法在零次学习领域中的几个主要基准数据集上进行了大量的实验,并证明了本论文所提出的方法在零次学习任务下可实现目前最先进的性能。
基于深度学习的多QR码检测算法研究及嵌入式应用
这是一篇关于多QR码,目标检测,物联网,语义融合,嵌入式设备的论文, 主要内容为随着物联网和移动互联网的不断发展,作为互联网主要入口的二维条码,特别是QR码,具有识别速度快、占用空间小、数据密度大等优点,广泛应用在生活和工业生产的各个领域。而在一些典型的批量物联网标识应用场景,如仓储物流、生物医药试管检录等,多QR码识别的难点问题正逐渐成为一个新的研究热点。本文针对实际应用中嵌入式设备的多QR码识别进行了重点研究,主要研究内容和创新点如下:(1)针对当前多QR码检测方法存在实时性差的问题,提出一种基于轻量卷积网络的快速检测算法(Lightweight CNN-based Multi-QR Codes Detection Algorithm,LC-MQRDA)。LC-MQRDA首先对图像进行预处理,接着依据对象类别判定分析进行QR码精准小尺寸提取,再采用小尺寸单一任务权值的深度压缩方法得到轻量级的Compressed Mobile Net,最后依据此网络模型实现对多QR码的快速检测。实验结果表明,相较于目前新提出的多QR码检测方法,该方法拥有更加优异的检测性能,有利于嵌入式边缘硬件实现,在仓储运输、医疗健康等行业中的物联网标识实时采集有较好应用前景。(2)现有基于深度学习的多QR码检测器的模型参数量大、易受图像畸变影响,从而导致解码系统的低性能,针对该问题,提出了一种基于特征注意力融合的多QR码精准检测网络模型(Grayscale-sensitive QR Code Detection Network,GS-QRDNet)。GS-QRDNet首先通过多个卷积层组成骨干网络提取输入图像的高纬表征信息,并在特征金字塔网络结构中融合浅层和深层感受野的特征信息,接着基于特征注意力机制构建了一个灰级敏感网络,使用该网络去捕获语义信息丰富的多重特征图,从而进行特征融合操作,然后使用3个检测头部去进行QR码的定位检测和畸变参数预测,最后通过畸变参数对QR码进行畸变矫正。实验结果表明,GS-QRDNet在Bodunar公共数据集上的识别精准率和1分数分别为93.88%和0.92,能有效提高QR码解码器6%-12%的解码性能。(3)基于对多QR码检测深度学习算法的嵌入式应用研究,设计并实现了面向医疗操作人员的多QR码试管快速检录嵌入式系统,该系统的层次架构主要由感知显示层、数据对接层、应用表示层、信息存储层组成,能够实现QR码生成、信息存储、QR码识别、QR码信息修改、多QR码检测、多QR码跟踪、QR码管理、系统日志监控等功能。系统测试结果表明,该系统能够满足生物医药应用场景的赋码物品的快速检录登记的需求,并且系统运行稳定,数据响应及时,具有广阔的实际应用前景。
基于注意力与门控机制的中英文实体关系联合抽取方法研究
这是一篇关于实体关系联合抽取,门控机制,注意力机制,词信息,语义融合的论文, 主要内容为作为自然语言处理领域的一项关键任务,实体关系抽取受到越来越多的关注,其目的是从原始文本中获取结构化知识,得到<头实体、关系、尾实体>形式的三元组。提取的三元组被广泛用于知识图谱、智能搜索、电商推荐、问答系统等领域,有着重要的研究与应用价值。实体关系联合抽取利用实体和关系间紧密的信息交互,同时抽取实体以及实体对之间的关系,很好地缓解了流水线方法所存在的错误传播等问题。中英文由于语言之间的差异性,在实体关系抽取过程中所面临的问题也会不同。对于英文,一些实体关系抽取方法往往只是提取句子序列或语义信息,却没有很准确地捕捉到句子与关系之间的相互作用。对于中文而言,词信息比较关键,而一些方法常存在错误词信息引入的问题,影响了后续的实体关系抽取。同时,很少有方法对关系方向性进行判断,关系方向性判断对实体关系抽取方法的性能提升是有帮助的。而中英文共同面对的问题,那就是如果一句话中有多个关系三元组,多个三元组中的实体或实体对可能会存在共享的情况,进而存在抽取不完全的情况。针对以上不足,本文研究基于注意力与门控机制的中英文实体关系联合抽取方法。主要包含以下几个方面的工作:1、介绍与本文相关的理论基础。主要介绍激活函数、注意力机制、门控机制、卷积神经网络等深度学习方面的相关理论知识以及一些实体关系联合抽取的理论基础。2、给出一种基于注意力与门控机制的多层语义融合的英文实体关系联合抽取算法MSF＿AGM。为了更准确地捕捉句子和关系之间的相互作用,我们设计了一个UMIT单元,该单元将句子中所有的token依次与每个关系标签进行注意力计算,然后结合门控机制来更新所有token的向量表示;类似的,将所有关系标签依次与每个token与进行注意力计算,结合门控机制来得到关系标签向量的更新表示。然后,将UMIT单元堆叠多层,多轮更新token以及关系向量。最后,将每种关系类型下的句子表示单独解码,解码出每种关系下句子中存在的实体对。本算法使用端到端架构共享全部参数,通过序列标注的方式提取头尾实体,得到实体关系三元组。为了验证算法的有效性,进行了实验对比,实验结果表明,本文给出的MSF＿AGM算法比经典算法性能更好。该算法在NYT与Web NLG数据集上的F1值分别达到了86.0%与84.5%,与较好的经典算法PRGCLSTM相比,在两个数据集上的F1值分别高出了1.1%和3.7%。3、给出一种基于注意力与门控机制的词信息融入的中文实体关系联合抽取算法PR＿AGM。该算法在BERT提取字符特征信息的基础上,将不同分词工具得到的不同粒度的词信息通过注意力机制融入到字符特征中。同时通过注意力机制,将不同关系类型信息分别融入到句子表示中,再经过门控机制调节关系信息融入程度。接着,加入方向性预测,过滤掉错误实体对,以提升模型预测能力。在解码时,对不同关系类型下的句子向量表示,分别进行实体抽取,得到不同关系下句子中存在的实体对。为了验证算法的有效性,进行了实验对比,通过实验结果表明,本文给出的PR＿AGM算法比经典算法性能更好。在中文数据集上的查准率、召回率及F1值,该算法分别达到了80.9%、82.9%和81.7%,与效果较好的经典算法相比分别提高了1.4%、2.2%和1.6%。经过对比实验验证,在基于注意力与门控机制下,本文给出的多层语义融合的英文实体关系联合抽取算法MSF＿AGM重点关注句子与关系之间的相互作用,能较好应对英文语料中的实体重叠问题,有不错的性能改进。同时,本文给出的词信息融入的中文实体关系联合抽取算法PR＿AGM在对中文语料进行实体关系抽取时也有不错的性能提升,并且能减少错误词信息引入以及缓解实体重叠问题。从而,为自然语言的下游任务提供更好、更多帮助,可以推广应用到相关领域。
图文联合表征与检索研究及应用
这是一篇关于多模态,预训练,语义融合,可解释性,图文联合表征,图文检索系统的论文, 主要内容为图文联合表征是指对图像和文本信息进行联合语义表示。图像和文本是常见的两种模态,同时模态间的联合表征是支持下游任务的基础。因此图文联合表征是多模态领域最重要的研究课题之一。然而,由于图像文本之间存在信息粒度差异与语义匹配歧义,使得图文特征抽取和语义交互面临诸多困难。论文重点研究图文信息的特征抽取与语义交互,以提升图文检索的召回率,同时研究和实现了论文方法在工业系统中的应用。在图像文本信息嵌入方面,主要在信息嵌入层对图文表征进行优化。在图像侧提出一种动态极大极小池化网络,解决图文之间的信息粒度差异问题,得到图像嵌入向量。在文本侧采用门控递归单元进行编码,得到文本嵌入向量。最终通过计算图文嵌入向量的余弦距离表征图文相似性。此外,对图文信息嵌入的可解释性进行了研究。在图像文本语义融合方面,分别对联合嵌入层和信息嵌入层的图文信息进行融合。在联合嵌入层提出了一种深层语义融合方法,该方法首先在图像侧采用自底向上的注意力网络,文本侧采用简单递归单元(SRU)网络,然后在联合嵌入层采用双向注意力机制对图文高级语义进行融合。在信息嵌入层提出了一种浅层语义融合方法,该方法首先采用双向注意力机制进行浅层细粒度语义交互,并采用门控融合模块解决图文之间的语义匹配歧义问题。然后通过多层感知机直接输出图文匹配概率,避免了相似度计算造成的信息损耗。在多模态预训练联合语义表征方面,通过BERT网络对图像和文本原始信息直接进行建模,实现端到端的图文语义全面交互。在网络侧,多层Transformer对图文信息进行充分融合。在输入侧,采用线性编码加速图像特征抽取,实现准实时图文检索。此外,对工业电商数据集进行图文检索实验,同时提出一种基于用户历史搜索行为的多模召回模型,并构建亚马逊电商数据集进行实验。最后搭建并部署了云端图文检索系统,该系统搭载了论文所采用的所有图文检索算法,并提供以图搜图,以文搜图两种功能。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://bishedaima.com/lunwen/54320.html
