基于多特征融合和预训练BiLSTM＿CRF模型的中文命名实体识别研究
这是一篇关于命名实体识别,BERT预训练模型,长短时记忆神经网络,条件随机场,迁移学习的论文, 主要内容为命名实体识别(NER,Named Entity Recognition)致力于研究从海量非结构化文本高效提取结构化信息(有意义的名词)的一项自然语言处理(NLP,Natural Language Processing)领域的子任务。作为知识图谱、问答系统和机器阅读理解等高层NLP任务的基石,NER的准确率会直接影响下游任务的表现。由于中文结构相比英文更加复杂,且中文实体识别研究起步较晚,中文NER研究具备一定挑战。本文针对以下两个问题分别提出对应解决方案:一是对大多数专业领域,由于数据集规模小、质量低,命名实体识别效果不佳;二是传统NER方法中字向量的特征表征能力较弱,实体识别效果较差。对第一个问题,本文以医疗领域作为切入点,利用自行标注的糖尿病数据集,通过引入BERT预训练模型弥补语料库规模不足的问题。针对第二个问题,本文在模型的字嵌入阶段融入多个重要特征以增强字向量的表征能力。本文研究内容主要包括以下两部分。1.提出基于部首结构特征和拼音特征的BiLSTM-CRF模型。本文利用BiLSTM模型提取汉字部首的结构特征向量和汉字的拼音特征向量,通过将字向量与提取的特征向量横向拼接来实现特征增强。特征增强后的字向量既有效地融入字形和拼音两方面信息,又尽可能避免给模型引入冗余信息,为BiLSTM-CRF模型提供高质量的字向量。2.模型在基于部首结构特征和拼音特征的BiLSTM-CRF模型的网络结构基础上,引入BERT预训练模型,利用BERT模型提取字向量。BERT模型基于大规模通用语料训练得到,其输出的字向量不仅解决长句子依赖问题,还将目标任务需要的文本知识转移其中,为下游任务提供语义丰富的字向量。本文实证部分使用两个数据集:一是在自行标注的糖尿病数据集证实了基于部首结构和拼音特征的BiLSTM-CRF模型相比未融入特征的BiLSTM-CRF模型效果所有提升;二是利用NER领域公开的CCKS-2017数据集,将本文提出的融部首结构特征和拼音特征的BERT-BiLSTM-CRF模型和其它三种优秀模型做横向对比,实验结果表明本文提出的模型在召回率和F1值两个指标上均有提升。
基于知识图谱的设备故障智能问答系统设计研究
这是一篇关于设备故障,BERT预训练模型,命名实体识别,多项式朴素贝叶斯,智能问答系统的论文, 主要内容为在烟草生产与加工过程中,烟叶复烤是一道必不可少的工序。在生产过程中,机器设备的长时间使用会导致各种各样的故障,往往这些故障需要专业的维修人员进行处理。而实际维修过程需要花费大量时间,这就会导致生产停滞和成本增加。存储之后的维修数据也不方便后续的查找与使用。因此本文根据这些设备维修数据,结合知识图谱等相关技术,构建出基于设备故障的知识图谱。利用命名实体识别技术提取出设备故障数据中的实体,利用多项式朴素贝叶斯进行问句语义理解,最终构建出基于设备故障的智能问答系统。本文的主要研究内容如下:(1)在复烤设备领域采用BERT-Bi-LSTM-Attention-CRF模型完成命名实体识别。通过引入Attention注意力机制改进了BERT-Bi-LSTM-CRF模型。通过对比命名实体识别领域常用的模型,以及在不同数据集下进行实验,验证了BERT-BiLSTM-Attention-CRF模型在设备故障数据集的实体识别的有效性。并且对模型的超参数进行实验对比,得到在该实验下模型的最佳实验结果,其P值、R值和F1值分别达到了87.93%、91.79%和89.81%。(2)提出使用基于TF-IDF的多项式朴素贝叶斯模型对设备故障查询问句进行语义分类。根据设备故障实体及其关系和常见故障查询方式构建出设备故障问句数据集。同时引入了TF-IDF来改进多项式朴素贝叶斯模型。使用设备故障问句数据集来训练基于TF-IDF的多项式朴素贝叶斯模型,并将实验结果与在多项式朴素贝叶斯模型下训练的结果进行对比,验证了该模型的有效性。(3)构建出基于知识图谱的设备故障智能问答系统。利用Flask框架和Vue框架构建出问答系统的前后端系统,使用Axios进行前后端数据交互。在后端系统中,使用BERT-Bi-LSTM-Attention-CRF模型对问句进行实体识别,使用基于TFIDF的多项式朴素贝叶斯模型获取问句的查询意图,再将两者结合构建出Cypher语句,并到Neo4j图数据库中查询问题的答案,最终返回给前端页面,实现系统的实体识别和智能问答功能。随机构建测试集对系统功能进行测试,其中实体识别的准确率为92%,智能问答的准确率为90%。
基于深度学习的方面级情感分析及应用研究
这是一篇关于BERT-Bi-IAN模型,BERT预训练模型,方面级情感分析,红色旅游,深度学习的论文, 主要内容为在互联网的普及和5G网络的冲击下,我国网民规模日益剧增,随之出现了大量的数据平台和资源。比如电商平台上的用户喜好意见,旅游网站上的游客体验感受,这些都是无比珍贵的研究资料。准确获取评论文本中的有效信息,一方面可以为有关部门把握舆情动态并做进一步决策提供帮助,另一方面为潜在用户是否选择该产品、是否去往该目的地等提供决策参考。由此可见,发掘网络文本信息关键内容是一项非常有价值的任务。随着人们对深度学习的深入探索和情感分析技术的精益求精,研究发现,方面级情感分析可以更有针对性地对评价对象做情感倾向判断,提高情感分析的准确率。本文主要围绕方面级情感分析技术性能的提高及应用两个方面做研究,其主要内容如下:为增强情感分析模型的性能,本文建立了一种基于BERT预训练模型的交互式方面级情感分析模型(BERT-Bi-IAN)。其通过BERT预训练模型动态地表示评价对象和前后文,随后通过Bi-LSTM网络分别采集二者前向和后向的语义信息,将其输入交互注意力模块提取二者之间的交互关系,重构信息表示作为情感分析层的输入。将模型应用到Sem Eval-2014任务4数据集和Chinese review datasets数据集中,实验证明本文建立的模型有效提高了情感识别的准确率。在应用方面,本文爬取同程旅行等旅游网站上的有关红色旅游目的地的游客评论,对数据做适当的预处理并提取相关的评价方面词,最终获得方面级情感分析任务所需的数据集,利用BERT-Bi-IAN方面级情感分析模型对有标签的红色旅游数据集做训练测试,结果表明该模型的分类准确率达0.902,F1值达0.901,较其他几个经典模型的效果好。利用该模型并结合文本内容分析法对A省的红色旅游游客评论做分析。结果显示,游客对A省红色旅游的印象总体是积极的情感态度,对应的方面有景区导游、服务、风景等;消极情感态度的方面主要有门票价格、景区管理、人流量和性价比;中性情感倾向的主要表现为对红色旅游景点的陈述性表达和介绍。为进一步增强游客的积极情感态度,优化景区形象,针对该省红色旅游景点存在不足的方面提出了改进建议。
基于知识图谱的设备故障智能问答系统设计研究
这是一篇关于设备故障,BERT预训练模型,命名实体识别,多项式朴素贝叶斯,智能问答系统的论文, 主要内容为在烟草生产与加工过程中,烟叶复烤是一道必不可少的工序。在生产过程中,机器设备的长时间使用会导致各种各样的故障,往往这些故障需要专业的维修人员进行处理。而实际维修过程需要花费大量时间,这就会导致生产停滞和成本增加。存储之后的维修数据也不方便后续的查找与使用。因此本文根据这些设备维修数据,结合知识图谱等相关技术,构建出基于设备故障的知识图谱。利用命名实体识别技术提取出设备故障数据中的实体,利用多项式朴素贝叶斯进行问句语义理解,最终构建出基于设备故障的智能问答系统。本文的主要研究内容如下:(1)在复烤设备领域采用BERT-Bi-LSTM-Attention-CRF模型完成命名实体识别。通过引入Attention注意力机制改进了BERT-Bi-LSTM-CRF模型。通过对比命名实体识别领域常用的模型,以及在不同数据集下进行实验,验证了BERT-BiLSTM-Attention-CRF模型在设备故障数据集的实体识别的有效性。并且对模型的超参数进行实验对比,得到在该实验下模型的最佳实验结果,其P值、R值和F1值分别达到了87.93%、91.79%和89.81%。(2)提出使用基于TF-IDF的多项式朴素贝叶斯模型对设备故障查询问句进行语义分类。根据设备故障实体及其关系和常见故障查询方式构建出设备故障问句数据集。同时引入了TF-IDF来改进多项式朴素贝叶斯模型。使用设备故障问句数据集来训练基于TF-IDF的多项式朴素贝叶斯模型,并将实验结果与在多项式朴素贝叶斯模型下训练的结果进行对比,验证了该模型的有效性。(3)构建出基于知识图谱的设备故障智能问答系统。利用Flask框架和Vue框架构建出问答系统的前后端系统,使用Axios进行前后端数据交互。在后端系统中,使用BERT-Bi-LSTM-Attention-CRF模型对问句进行实体识别,使用基于TFIDF的多项式朴素贝叶斯模型获取问句的查询意图,再将两者结合构建出Cypher语句,并到Neo4j图数据库中查询问题的答案,最终返回给前端页面,实现系统的实体识别和智能问答功能。随机构建测试集对系统功能进行测试,其中实体识别的准确率为92%,智能问答的准确率为90%。
基于深度学习的事件抽取技术研究
这是一篇关于深度学习,事件抽取,BERT预训练模型,特征融合,图卷积神经网络,注意力机制,双向长短期记忆模型的论文, 主要内容为事件抽取是指在含有事件信息的非结构化文本中,自动检测并抽取出事件参与者、时间、地点等用户感兴趣的信息。事件抽取是其它高阶自然语言处理任务的基础,已被广泛用于知识图谱、文本自动摘要、文档检索、推荐系统和情感分析等领域。近年来深度学习模型在自然语言处理领域中表现卓越,基于深度学习的特征提取技术理论研究也变得更加成熟。本文就事件抽取任务中深度学习模型的应用问题展开深入研究,主要研究内容如下:(1)针对传统事件抽取过程出现的一词多义、特征提取不充分等问题,提出一种基于BERT预训练模型和多特征融合的事件抽取方法,将事件抽取过程分成两步:事件触发词抽取和事件元素抽取。在事件触发词抽取阶段,首先利用BERT预训练模型进行文本向量化表示;然后,融合卷积网络提取的词汇级别特征和图卷积网络提取的句子级别特征得到新的事件信息特征;最后将新的事件特征输入分类器,为事件句序列进行触发词标签预测,并利用条件随机场模型对预测标签进行约束。在事件元素抽取阶段,抽取过程与触发词抽取大致相同,唯一的区别是在融合词汇特征和句子特征时,需要加上触发词所代表的事件类型特征。在ACE2005英文数据集上进行实验验证,事件触发词分类任务和事件元素分类任务在测试集上的F1值分别为71.1%和56.4%。(2)从优化事件抽取过程的角度出发,提出无触发词的事件抽取思想,摒弃事件触发词位置的检测,利用组合标签策略将事件类型标签和事件元素角色标签重新组合成新的标签,利用Attention机制和Bi LSTM模型对事件进行新标签的序列标注,从而达到事件类型分类和事件元素的抽取目的。首先,利用BERT模型对文本进行向量化表示,然后利用Bi LSTM模型对事件序列进行双向编码,并引入注意力机制计算序列单词对事件特征的贡献度。通过单模型实现事件抽取任务,并采用Du EE中文数据集验证了提出方法的有效性。
基于深度学习的事件抽取技术研究
这是一篇关于深度学习,事件抽取,BERT预训练模型,特征融合,图卷积神经网络,注意力机制,双向长短期记忆模型的论文, 主要内容为事件抽取是指在含有事件信息的非结构化文本中,自动检测并抽取出事件参与者、时间、地点等用户感兴趣的信息。事件抽取是其它高阶自然语言处理任务的基础,已被广泛用于知识图谱、文本自动摘要、文档检索、推荐系统和情感分析等领域。近年来深度学习模型在自然语言处理领域中表现卓越,基于深度学习的特征提取技术理论研究也变得更加成熟。本文就事件抽取任务中深度学习模型的应用问题展开深入研究,主要研究内容如下:(1)针对传统事件抽取过程出现的一词多义、特征提取不充分等问题,提出一种基于BERT预训练模型和多特征融合的事件抽取方法,将事件抽取过程分成两步:事件触发词抽取和事件元素抽取。在事件触发词抽取阶段,首先利用BERT预训练模型进行文本向量化表示;然后,融合卷积网络提取的词汇级别特征和图卷积网络提取的句子级别特征得到新的事件信息特征;最后将新的事件特征输入分类器,为事件句序列进行触发词标签预测,并利用条件随机场模型对预测标签进行约束。在事件元素抽取阶段,抽取过程与触发词抽取大致相同,唯一的区别是在融合词汇特征和句子特征时,需要加上触发词所代表的事件类型特征。在ACE2005英文数据集上进行实验验证,事件触发词分类任务和事件元素分类任务在测试集上的F1值分别为71.1%和56.4%。(2)从优化事件抽取过程的角度出发,提出无触发词的事件抽取思想,摒弃事件触发词位置的检测,利用组合标签策略将事件类型标签和事件元素角色标签重新组合成新的标签,利用Attention机制和Bi LSTM模型对事件进行新标签的序列标注,从而达到事件类型分类和事件元素的抽取目的。首先,利用BERT模型对文本进行向量化表示,然后利用Bi LSTM模型对事件序列进行双向编码,并引入注意力机制计算序列单词对事件特征的贡献度。通过单模型实现事件抽取任务,并采用Du EE中文数据集验证了提出方法的有效性。
基于深度学习的事件抽取技术研究
这是一篇关于深度学习,事件抽取,BERT预训练模型,特征融合,图卷积神经网络,注意力机制,双向长短期记忆模型的论文, 主要内容为事件抽取是指在含有事件信息的非结构化文本中,自动检测并抽取出事件参与者、时间、地点等用户感兴趣的信息。事件抽取是其它高阶自然语言处理任务的基础,已被广泛用于知识图谱、文本自动摘要、文档检索、推荐系统和情感分析等领域。近年来深度学习模型在自然语言处理领域中表现卓越,基于深度学习的特征提取技术理论研究也变得更加成熟。本文就事件抽取任务中深度学习模型的应用问题展开深入研究,主要研究内容如下:(1)针对传统事件抽取过程出现的一词多义、特征提取不充分等问题,提出一种基于BERT预训练模型和多特征融合的事件抽取方法,将事件抽取过程分成两步:事件触发词抽取和事件元素抽取。在事件触发词抽取阶段,首先利用BERT预训练模型进行文本向量化表示;然后,融合卷积网络提取的词汇级别特征和图卷积网络提取的句子级别特征得到新的事件信息特征;最后将新的事件特征输入分类器,为事件句序列进行触发词标签预测,并利用条件随机场模型对预测标签进行约束。在事件元素抽取阶段,抽取过程与触发词抽取大致相同,唯一的区别是在融合词汇特征和句子特征时,需要加上触发词所代表的事件类型特征。在ACE2005英文数据集上进行实验验证,事件触发词分类任务和事件元素分类任务在测试集上的F1值分别为71.1%和56.4%。(2)从优化事件抽取过程的角度出发,提出无触发词的事件抽取思想,摒弃事件触发词位置的检测,利用组合标签策略将事件类型标签和事件元素角色标签重新组合成新的标签,利用Attention机制和Bi LSTM模型对事件进行新标签的序列标注,从而达到事件类型分类和事件元素的抽取目的。首先,利用BERT模型对文本进行向量化表示,然后利用Bi LSTM模型对事件序列进行双向编码,并引入注意力机制计算序列单词对事件特征的贡献度。通过单模型实现事件抽取任务,并采用Du EE中文数据集验证了提出方法的有效性。
基于深度学习的事件抽取技术研究
这是一篇关于深度学习,事件抽取,BERT预训练模型,特征融合,图卷积神经网络,注意力机制,双向长短期记忆模型的论文, 主要内容为事件抽取是指在含有事件信息的非结构化文本中,自动检测并抽取出事件参与者、时间、地点等用户感兴趣的信息。事件抽取是其它高阶自然语言处理任务的基础,已被广泛用于知识图谱、文本自动摘要、文档检索、推荐系统和情感分析等领域。近年来深度学习模型在自然语言处理领域中表现卓越,基于深度学习的特征提取技术理论研究也变得更加成熟。本文就事件抽取任务中深度学习模型的应用问题展开深入研究,主要研究内容如下:(1)针对传统事件抽取过程出现的一词多义、特征提取不充分等问题,提出一种基于BERT预训练模型和多特征融合的事件抽取方法,将事件抽取过程分成两步:事件触发词抽取和事件元素抽取。在事件触发词抽取阶段,首先利用BERT预训练模型进行文本向量化表示;然后,融合卷积网络提取的词汇级别特征和图卷积网络提取的句子级别特征得到新的事件信息特征;最后将新的事件特征输入分类器,为事件句序列进行触发词标签预测,并利用条件随机场模型对预测标签进行约束。在事件元素抽取阶段,抽取过程与触发词抽取大致相同,唯一的区别是在融合词汇特征和句子特征时,需要加上触发词所代表的事件类型特征。在ACE2005英文数据集上进行实验验证,事件触发词分类任务和事件元素分类任务在测试集上的F1值分别为71.1%和56.4%。(2)从优化事件抽取过程的角度出发,提出无触发词的事件抽取思想,摒弃事件触发词位置的检测,利用组合标签策略将事件类型标签和事件元素角色标签重新组合成新的标签,利用Attention机制和Bi LSTM模型对事件进行新标签的序列标注,从而达到事件类型分类和事件元素的抽取目的。首先,利用BERT模型对文本进行向量化表示,然后利用Bi LSTM模型对事件序列进行双向编码,并引入注意力机制计算序列单词对事件特征的贡献度。通过单模型实现事件抽取任务,并采用Du EE中文数据集验证了提出方法的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设小屋 ，原文地址：https://bishedaima.com/lunwen/52446.html
