基于电商领域产品评论文本的细粒度情感分析
这是一篇关于细粒度情感分析,深度学习,迁移学习,Attention机制,k-means算法的论文, 主要内容为交互性在线电商平台运营过程中累积了大量携带情感信息的产品评论文本。如何对此类文本进行细粒度情感分析,准确识别出属性词和观点词并准确抽取其搭配关系,从而精确把控用户需求,为用户决策及产品推广提供支持,成为当前学术界与业界的研究热点之一。本文基于迁移学习与深度学习,围绕细粒度情感分析在底层特征建模、上下文信息融合、隐式观点词提取、情感极性判断等关键问题展开研究,并基于真实电商领域产品评论文本建立细粒度情感分析原型系统,为本文算法模型的实际应用提供了平台支撑。主要研究成果如下:(1)提出一种基于知识迁移和双向GRU+CRF的模型,用以解决属性词与观点词抽取任务中由于缺乏高质量标注语料,导致模型过度依赖于底层输入信息丰富度的问题。融入迁移知识作为模型的底层输入,为模型提供了更丰富的可学习特征,其抽取效果相比其它模型得到提升;(2)提出一种结合显式位置信息的Bi LSTM+Attention模型,把重要的相对位置信息作为底层输入的组成部分,在模型中融入注意力机制,有效减小了句子级别非正式文本的噪音权重,解决了显式属性-观点对提取任务中特征权重分配不合理且对重要位置信息利用不够充分,导致模型无法提取鲁棒特征的问题;(3)提出一种新型Bi LSTM+K-Attention的模型,针对隐式属性词抽取不够精准问题设计了新型K-Attention结构,在有效利用了k-means提供的先验知识的同时,能够学习到具有合理权值分配的表征,用于属性词类别的多分类,有效提高了隐式属性词抽取的准确度。同时针对隐式观点词无法得到有效识别这一问题,提出基于k-means情感聚类和语义相似度的算法,经实验验证了该算法的有效性及精准性;(4)提出一种基于情感词典与语义相似度的方法用以解决情感极性的判断问题。选取高质量的种子词并以此为基础对词典进行有效扩充,同时通过语义相似度计算解决了情感词典无法覆盖的情感词的情感极性的判断问题。该模型在很大程度上改善了通用情感词典领域针对性较差的现状,有较好的性能表现。综上,本文结合现实需求针对电商领域产品评论文本设计了一套完整的情感极性评判算法,为今后相关研究提供可借鉴内容。
基于深度学习的鱼类病斑图像分割方法研究
这是一篇关于深度学习,语义分割,Attention机制,黄颡鱼,鱼类病斑的论文, 主要内容为我国作为水产养殖大国,水产养殖业在我国国民经济中有着重要的地位,对增加国民经济收入,提高就业率,改善贫困状况,促进社会发展和保护生态环境等方面都有着重要的意义。在水产养殖中,鱼类养殖是其重要的组成部分,但在鱼类养殖中,由于养殖规模逐渐变大,养殖密度增高,很难调控鱼类在生长发育阶段的水质,再加上外部环境的影响,极易诱发各类传染性疾病,从而对水产养殖造成严重的经济损失。我国作为黄颡鱼养殖及研究大国,但在目前实际养殖过程中鱼类的疾病预防与监测多以人工为主,加之鱼类生存环境在水下,不易在第一时间检测到疾病的发生,从而错过最佳的治疗时期,导致损失增大。实现黄颡鱼养殖业智慧化发展,将有效降低养殖生产者的风险与成本。本文基于深度学习技术对黄颡鱼体表病斑图像分割进行研究,分析对比不同语义分割算法在鱼病斑图像分割上的性能,并针对黄颡鱼病斑分割设计了ESA-Attention U-Net网络,该网络在Attention U-Net的基础上进行改进,在原本的注意力机制上,融合了金字塔池化和自注意力机制,以将不同尺度的特征进行融合,同时通过加强注意力机制进一步提高了分割性能。试验结果表明,该模型可以更准确地分割图像中的病斑区域,具体的研究内容如下:(1)数据集采集与标注:主要通过对养殖黄颡鱼进行拍摄获取数据,其中包括患病黄颡鱼和健康黄颡鱼,再对数据进行整理筛选,对整理后的数据进行标注;(2)通过不同评估指标分析对比U-Net、Attention U-Net和Swin U-Net三种语义分割算法在黄颡鱼病斑数据集上的性能表现,选取综合性能最佳的网络,并作为后续改进优化对象;(3)由于Attention U-Net网络在黄颡鱼病斑分割上的较好表现,本研究基于Attention U-Net模型进行改进与优化,并将改进后的算法同原先模型进行对比分析;(4)基于改进模型的分割结果,得到图像中鱼体病斑区域占比,为在水产养殖中对鱼类病害的监测预警提供参考。
基于深度学习的要素级情感分析算法研究
这是一篇关于要素级情感分析,深度学习,自动标注,Attention机制,联合抽取的论文, 主要内容为随着互联网的迅猛发展和用户数的大规模增长,如何在大数据中提取人们的观点和情感倾向成为亟待研究和解决的问题。情感分析从本世纪被提出以来,就逐渐成为众多领域的研究热点,尤其是自然语言处理领域。情感分析有很多实际的应用,例如:产品定价、国际关系分析、银行系统风险监测等。近年来,随着电商平台的兴起,人们日渐习惯在购买商品后留下自己的评论,这些用户评价有助于其他用户更好地了解产品和做出购买决定,也为商户进行市场决策提供依据。如何从这些评论文本中自动提取并分析用户情感是一个重要的研究课题。情感分析任务存在不同的粒度,包括文档级、句子级和要素级。要素级情感分析比起文档级和句子级情感分析,能够得到更加准确和细节的信息,但同时也更加困难。本文研究基于深度学习的要素级情感分析算法。本文的主要研究内容如下:1.提出结合自动标注算法和深度学习的要素词和情感词自动抽取算法。为了解决缺乏大规模标注语料的问题,本文提出了结合自动标注算法和深度学习的要素级情感分析算法。通过自动标注算法为数据打上标签,解决训练数据缺乏标注的问题。并通过基于深度学习的联合模型,充分挖掘要素词和情感词之间的关系,充分捕捉文本的抽象语义信息。最终实现在缺乏标注的情况,通过将基于规则的自动标注方法和深度学习方法合理的结合,自动抽取要素词和情感词,并达到较好的结果。2.提出基于多层耦合注意力模型和(CMLA)和注意力机制(Attention)的要素词、情感词及其对应关系联合抽取算法。现有多种基于神经网络的联合抽取模型,比如CMLA(Coupled Multi-Layer Attentions)等可以实现要素词和情感词的联合抽取,却无法抽取它们之间的对应关系。也就无法了解要素词对应的情感词有哪些,为后续的情感分析带来困难。为了解决这个问题,文本提出了两种结合CMLA和Attention机制的深度学习模型,分别是CMLA+Attention和CMLA+Attention+Label Embedding模型。
基于深度学习的金融领域知识图谱构建研究
这是一篇关于文本分类,命名实体识别,关系抽取,预训练语言模型,深度学习,Attention机制,知识图谱的论文, 主要内容为知识图谱是一种以可视化的方式展示实体和实体间关系的技术。近些年,随着科学技术的不断发展和互联网数据量的激增,知识图谱研究方向逐渐从通用领域向专业领域扩展,各个领域都建立了特定领域的知识图谱。构建金融领域的知识图谱可以让人清楚地了解公司、行业、产品等实体之间的关系,还能够根据行业发展状况给出投资决策建议,同时为智能搜索、问答系统等上层应用提供技术支持。构建知识图谱需要获取大量数据,这些数据主要来源为互联网。为了从这些非结构化文本数据中提取出构建金融知识图谱所需的实体及实体间关系,本文主要进行了以下方面的研究:(1)为了解决数据集中存在大量冗余且与研究方向不相关的文本信息问题,自动获取金融方向正向数据,本文针对金融数据的分类特点对BERT模型(Bidirectional Encoder Representation from Transformers)中基于微调(Fine-tuning)和基于特征(Feature-based)两种方法进行改进,并与引入注意力机制的CNN和RNN模型进行比较,结果显示在文本分类任务中基于微调的BERT模型性能表现更优,F1值达到0.9687。(2)为了从非结构化文本中获取知识图谱构建过程中必需的实体信息,本文提出了一种以BERT预训练词向量为输入,融合Attention机制的Bi-LSTM和CRF模型,即BLa C模型(BERT-Bi-LSTM-attention-CRF)。将该模型与其他命名实体识别模型进行比较,F1值高达0.9301,证明了该模型在命名实体识别任务中的效果更好。(3)为了获取实体间的关系,本文提出了一种Bi-LSTM和注意力机制结合的关系抽取模型,即DA-Bi-LSTM模型(Dependency parsing-Attention-Bi-LSTM)。该模型在输入层上添加了位置信息和依存句法分析信息作为词向量的额外输入,F1值比其它模型中最好的实验结果高出2%,达到0.8189。通过实验证明,两种外部信息的添加和注意力机制的引入可以有效地提升模型的整体性能。(4)本文利用上述深度学习模型对文本信息进行抽取得到金融实体与实体间关系,并将其导入Neo4j图数据库,完成了知识单元的存储和金融领域知识图谱的绘制。
基于深度学习的中药材知识图谱构建与应用
这是一篇关于中药材,知识图谱,深度学习,命名实体识别,Attention机制的论文, 主要内容为中药有两千多年的历史,在中华民族的健康繁衍中发挥着重要作用。针对信息时代中药知识的非关联化和非结构化特征,本研究采用知识图谱技术来解决中药材数据的多源异构问题。在数据层,通过对中药专业书籍和网络数据等非结构化文本进行数据预处理,提取文本中的中药材实体,引入Attention机制改进BiLSTM+CRF命名实体识别模型,解决中药材文本长句的命名实体识别问题;在模式层,根据中药专业知识分类体系设计了中药材知识图谱概念模式。最后将其进行知识融合和知识表示,通过Neo4j图数据库实现中药材知识图谱的存储与可视化,设计并实现了中药材知识查询系统。主要工作包含以下三个方面:(1)进行中药材数据预处理,设计改进型命名实体识别模型。专业数据以经典教材《中药学》为基础,辅以中医药类专业网站“药素网”为补充。采用Python的Requests与Beautiful Soup爬虫模块抓取网站数据,使用YEDDA标注工具对源数据进行语料标注等预处理。将BiLSTM+CRF命名实体识别模型加入Attention机制,改进为六层命名实体识别模型,使模型识别评价指标F1值到达94.42%,比原模型提高了1.74个百分点,提高了命名实体识别任务精度。(2)构建了基于七类实体的中药材知识图谱,实现了数据可视化展示。传统中医药领域知识图谱以中药诊疗知识为主,该中药材知识图谱在“药物”“功效”“疾病”“药性”“类别”五类实体基础上,增加了“摘录古籍”“具体摘要”两种实体定义,设计了七类实体六类关系的中药材知识图谱概念模式,得到了21345个实体,将其存储在Neo4j图数据库中并进行可视化展示。(3)实现了基于知识图谱的中药材知识查询系统。该系统直接连接图数据库,用Cytoscape.js技术将知识图谱中的中药材知识进行可视化展示,将信息检索、知识导航和知识图谱可视化展示三者融为一体。本研究通过改进中药材知识图谱概念模式和命名实体识别模型等工作,增加了中药材摘录古籍和具体摘要实体的关联,让查询中药材知识有据可循,有助于中药领域知识图谱的进一步研究。
融合注意力机制的RNN会话推荐算法研究
这是一篇关于基于会话的推荐,循环神经网络,卷积神经网络,Attention机制,FM模型的论文, 主要内容为推荐系统是计算机算法领域的重要技术,在现今大数据时代的背景下,推荐系统在各个领域中的应用也越来越广泛,推荐系统也是许多互联网服务的核心环节,电商、新闻、短视频等领域,都离不开相关的推荐系统。推荐系统的核心是推荐算法,相较于基于流行度的推荐算法,千人千面的个性化推荐算法可以有效的提升用户的使用体验,同时为提供服务的商家带来明显的收益。基于会话的推荐场景是移动互联网里一个常见的推荐场景,用户在每次产生浏览行为时会生成一个会话,会话中常见的信息是用户的浏览和点击商品记录,推荐系统会根据这些信息,给正在浏览的用户生成推荐的商品列表。因为利用了用户的实时浏览记录,基于会话的推荐可以更好的捕捉用户短期内的行为偏好信息,同时还可以结合用户的长期历史记录来辅助训练模型,融合用户的长短期行为偏好共同进行推荐,进一步提升推荐结果的准确率。现有基于会话场景的主流推荐算法通常使用以长短期记忆网络或者门控循环单元为基本结构的循环神经网络来建模会话中的用户浏览记录,或是使用自然语言处理领域中的注意力机制来建模用户在会话内的短期行为记录,这些模型最初被设计用于提取文本内部词语之间的关联性信息,与实际的会话推荐场景存在一定的差异性。对于用户的长期历史点击记录,其内部商品之间存在着除顺序模式以外的多种序列模式,针对这一特性,本文设计了一种RCNN的网络结构来建模序列内部的多种序列模式,该模型利用多尺度的CNN网络提取序列内部商品的联合模式和跳跃模式,再利用RNN网络学习序列中的顺序模式,克服了依赖单一循环神经网络编码结构的局限性。对于用户的短期会话记录,为了更好的利用序列内部的相关性信息,本文提出了一种融合FM模型的注意力机制框架——AttentionFM模型。该模型将Transformer模型中的Self-Attention机制与点击率预估领域的经典模型FM模型相结合,利用FM模型中特征交叉的思想来计算会话内商品之间不同维度上的相关性信息,再将这些相关性信息组合起来。最后,为了解决短会话中商品序列长度较短,用户偏好信息不足的问题,本文将提取用户长期历史偏好的RCNN模型与提取会话内短期行为偏好的AttentionFM模型融合在统一的模型框架中,利用用户的长期历史信息来辅助模型的训练,提出了一种融合用户长短期行为偏好的混合推荐模型框架。为了验证本文提出算法的有效性,最后将提出的模型框架在两个公开数据集上与多种主流推荐算法进行了对比实验,实验结果表明本文提出的算法均在一定程度上提升了推荐系统的准确率,并且能有效的缩短模型的训练时间,提高推荐系统的推荐效率。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码向导 ，原文地址：https://bishedaima.com/lunwen/48259.html
