基于深度学习的开放关系抽取研究
这是一篇关于开放关系抽取,BERT,梯形网络,图卷积网络,注意力机制,Louvain的论文, 主要内容为关系抽取是自然语言处理中的一项基础任务,支撑着信息检索、知识图谱构建等下游任务。然而,传统的关系抽取通常是封闭的,无法抽取出文本中的新型关系。因此,开放关系抽取(Open Relation Extraction,Open RE)作为一种改善方式被提出,旨在从开放域语料库中抽取关系事实,且无需预定义关系类型,其任务设定相较于限定关系抽取而言则具有不可替代的优势。为了更好地抽取开放关系,实现自动化抽取文本中的事实知识,本文采用深度学习方法主要做了以下工作:首先,针对现有基于聚类的开放关系抽取方法通常采用无监督模式,忽视了监督学习的优势,研究了基于无监督集成聚类的开放关系抽取方法。该方法将无监督集成学习与基于信息度量的多步聚类算法相结合自主创建高质量伪标签,并以此作为监督信息改进关系特征的学习,从而引导聚类过程获得更好的标签质量,最后通过多次迭代聚类,有效发现文本中的关系类型。在Few Rel和NYT-FB数据集上的实验结果表明,该方法优于其他主流的Open RE模型,F1值分别达到了65.2%和67.1%。然后,针对现有方法只考虑了句子实例本身的信息,而忽略了实例间的关系知识,研究了基于交叉注意力融合的图卷积自编码器方法。具体来说,提出了新的关系表示嵌入方案,使用实体的类型特征来加强表示的丰富性。其次,提出并行学习句子实例本身和句子之间的语义相似度两种特征的机制,并采用注意力机制做交叉融合和传播更新。最后,采用Louvain算法这一更为高效和自动化的算法来形成关系类型。多项实验的结果表明了所提方法的有效性和先进性。最后,从现实应用出发,实现开放关系抽取原型系统的开发,对所提出的开放关系抽取模型进行封装,采用B/S架构模式进行系统设计,使用Easy UI+Spring Boot+Mysql技术进行系统开发,从而将开放关系抽取任务结果可视化。
基于深度学习的开放关系抽取研究
这是一篇关于开放关系抽取,BERT,梯形网络,图卷积网络,注意力机制,Louvain的论文, 主要内容为关系抽取是自然语言处理中的一项基础任务,支撑着信息检索、知识图谱构建等下游任务。然而,传统的关系抽取通常是封闭的,无法抽取出文本中的新型关系。因此,开放关系抽取(Open Relation Extraction,Open RE)作为一种改善方式被提出,旨在从开放域语料库中抽取关系事实,且无需预定义关系类型,其任务设定相较于限定关系抽取而言则具有不可替代的优势。为了更好地抽取开放关系,实现自动化抽取文本中的事实知识,本文采用深度学习方法主要做了以下工作:首先,针对现有基于聚类的开放关系抽取方法通常采用无监督模式,忽视了监督学习的优势,研究了基于无监督集成聚类的开放关系抽取方法。该方法将无监督集成学习与基于信息度量的多步聚类算法相结合自主创建高质量伪标签,并以此作为监督信息改进关系特征的学习,从而引导聚类过程获得更好的标签质量,最后通过多次迭代聚类,有效发现文本中的关系类型。在Few Rel和NYT-FB数据集上的实验结果表明,该方法优于其他主流的Open RE模型,F1值分别达到了65.2%和67.1%。然后,针对现有方法只考虑了句子实例本身的信息,而忽略了实例间的关系知识,研究了基于交叉注意力融合的图卷积自编码器方法。具体来说,提出了新的关系表示嵌入方案,使用实体的类型特征来加强表示的丰富性。其次,提出并行学习句子实例本身和句子之间的语义相似度两种特征的机制,并采用注意力机制做交叉融合和传播更新。最后,采用Louvain算法这一更为高效和自动化的算法来形成关系类型。多项实验的结果表明了所提方法的有效性和先进性。最后,从现实应用出发,实现开放关系抽取原型系统的开发,对所提出的开放关系抽取模型进行封装,采用B/S架构模式进行系统设计,使用Easy UI+Spring Boot+Mysql技术进行系统开发,从而将开放关系抽取任务结果可视化。
基于深度学习的开放关系抽取研究
这是一篇关于开放关系抽取,BERT,梯形网络,图卷积网络,注意力机制,Louvain的论文, 主要内容为关系抽取是自然语言处理中的一项基础任务,支撑着信息检索、知识图谱构建等下游任务。然而,传统的关系抽取通常是封闭的,无法抽取出文本中的新型关系。因此,开放关系抽取(Open Relation Extraction,Open RE)作为一种改善方式被提出,旨在从开放域语料库中抽取关系事实,且无需预定义关系类型,其任务设定相较于限定关系抽取而言则具有不可替代的优势。为了更好地抽取开放关系,实现自动化抽取文本中的事实知识,本文采用深度学习方法主要做了以下工作:首先,针对现有基于聚类的开放关系抽取方法通常采用无监督模式,忽视了监督学习的优势,研究了基于无监督集成聚类的开放关系抽取方法。该方法将无监督集成学习与基于信息度量的多步聚类算法相结合自主创建高质量伪标签,并以此作为监督信息改进关系特征的学习,从而引导聚类过程获得更好的标签质量,最后通过多次迭代聚类,有效发现文本中的关系类型。在Few Rel和NYT-FB数据集上的实验结果表明,该方法优于其他主流的Open RE模型,F1值分别达到了65.2%和67.1%。然后,针对现有方法只考虑了句子实例本身的信息,而忽略了实例间的关系知识,研究了基于交叉注意力融合的图卷积自编码器方法。具体来说,提出了新的关系表示嵌入方案,使用实体的类型特征来加强表示的丰富性。其次,提出并行学习句子实例本身和句子之间的语义相似度两种特征的机制,并采用注意力机制做交叉融合和传播更新。最后,采用Louvain算法这一更为高效和自动化的算法来形成关系类型。多项实验的结果表明了所提方法的有效性和先进性。最后,从现实应用出发,实现开放关系抽取原型系统的开发,对所提出的开放关系抽取模型进行封装,采用B/S架构模式进行系统设计,使用Easy UI+Spring Boot+Mysql技术进行系统开发,从而将开放关系抽取任务结果可视化。
基于深度学习的开放关系抽取研究
这是一篇关于开放关系抽取,BERT,梯形网络,图卷积网络,注意力机制,Louvain的论文, 主要内容为关系抽取是自然语言处理中的一项基础任务,支撑着信息检索、知识图谱构建等下游任务。然而,传统的关系抽取通常是封闭的,无法抽取出文本中的新型关系。因此,开放关系抽取(Open Relation Extraction,Open RE)作为一种改善方式被提出,旨在从开放域语料库中抽取关系事实,且无需预定义关系类型,其任务设定相较于限定关系抽取而言则具有不可替代的优势。为了更好地抽取开放关系,实现自动化抽取文本中的事实知识,本文采用深度学习方法主要做了以下工作:首先,针对现有基于聚类的开放关系抽取方法通常采用无监督模式,忽视了监督学习的优势,研究了基于无监督集成聚类的开放关系抽取方法。该方法将无监督集成学习与基于信息度量的多步聚类算法相结合自主创建高质量伪标签,并以此作为监督信息改进关系特征的学习,从而引导聚类过程获得更好的标签质量,最后通过多次迭代聚类,有效发现文本中的关系类型。在Few Rel和NYT-FB数据集上的实验结果表明,该方法优于其他主流的Open RE模型,F1值分别达到了65.2%和67.1%。然后,针对现有方法只考虑了句子实例本身的信息,而忽略了实例间的关系知识,研究了基于交叉注意力融合的图卷积自编码器方法。具体来说,提出了新的关系表示嵌入方案,使用实体的类型特征来加强表示的丰富性。其次,提出并行学习句子实例本身和句子之间的语义相似度两种特征的机制,并采用注意力机制做交叉融合和传播更新。最后,采用Louvain算法这一更为高效和自动化的算法来形成关系类型。多项实验的结果表明了所提方法的有效性和先进性。最后,从现实应用出发,实现开放关系抽取原型系统的开发,对所提出的开放关系抽取模型进行封装,采用B/S架构模式进行系统设计,使用Easy UI+Spring Boot+Mysql技术进行系统开发,从而将开放关系抽取任务结果可视化。
基于BERT剪枝模型的开放关系抽取研究
这是一篇关于开放关系抽取,聚类,对比学习,多头注意力机制,剪枝模型的论文, 主要内容为关系抽取是自然语言处理的一个重要分支,在网络搜索、知识库构建和问题回答等任务中具有实际意义。传统关系抽取指从非结构化文本中识别出一对实体概念及联系,其中它的关系类型是限定的,当针对新领域时,数据需要重新标注,耗时且繁琐。因此近年来,研究者们致力于探索开放关系抽取这一领域。论文研究了基于BERT剪枝模型进行开放关系抽取的问题,主要研究内容与创新点如下:(1)针对目前大多数开放关系抽取模型聚类生成的关系伪标签质量不高的问题,提出基于优化伪标签的开放关系抽取模型。模型首先对训练集中预定义的关系及其现有的标记实例进行有监督的预训练,实现非线性映射优化,通过该映射将高维实体对表示转换为面向关系的表示,以提高伪标签的质量。其次,设计一种无监督的对比学习方法对无标签数据进行增强,使得相同类别的实体聚类效果更好。最后,使用有监督和无监督数据联合训练模型迭代实体对表示。在两个公开的开放关系抽取数据集Few Rel(FewShot Relation Classification Dataset)和TACRED(TAC Relation Extraction Dataset)上评估了提出的方法。实验结果表明,该方法在三个聚类性能指标上的得分优于目前大部分的先进方法。(2)针对BERT(Bidirectional Encoder Representations from Transformers)预训练模型难以部署到计算受限的设备中的问题,提出基于BERT迭代权重剪枝的开放关系抽取模型。首先,探究了BERT模型的多头注意力机制,分析了不同注意力层和不同注意力头的权重侧重点以及对整体模型性能的贡献。同时通过实验评估和分析了不同注意力层对语法分析的重要性。其次,提出一种新的迭代剪枝方法,该方法利用注意力权重修剪和模型知识蒸馏生成具有高稀疏率的BERT预训练语言模型。在开放关系抽取数据集Few Rel和TACRED上分别进行随机剪枝、分层剪枝和迭代剪枝实验。实验结果表明,剪枝得到的模型能够在获得高稀疏度的同时实现最小化精度损失。(3)围绕文章研究的关系抽取模型,设计并实现开放关系抽取系统平台。该平台基于Py Torch和目前流行的前后端开发技术实现数据集管理、关系抽取和关系可视化等功能。首先,在该系统中可以展示目前平台所具有的数据集及其数据及大小、关系种类等具体信息,并且用户可以根据要求上传新的数据集实现扩展。其次,用户可以通过关系抽取功能,选择对应数据集与开放关系抽取模型进行关系抽取演示。最后,关系抽取所生成的实体关系三元组信息,通过构建知识图谱实现可视化展示。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://bishedaima.com/lunwen/56131.html
