基于路径挖掘的常识推理技术研究与实现

这是一篇关于自然语言处理,问答系统,预训练模型,常识推理,知识抽取的论文, 主要内容为基于机器学习的智能模型在出行、消费、医疗等领域已经有了广泛的应用,对人们的生活、学习以及工作都产生了深远影响,这都得益于人工智能的三大支柱算法、算力、数据的飞速发展。当人类思考问题时,会结合问题相关的空间关系、因果关系、科学事实和社会习俗常识等背景知识来分析问题,这类知识对人类来说微不足道,但是目前的人工智能模型仍然无法获取,近年来大量的研究开始尝试向智能模型中融入常识知识,常识推理问答成为了人工智能领域中新兴的研究方向,相比于传统的问答方法,常识推理问答不提供背景知识,面临着证据不足、语义复杂、知识推理等难题。为了解决常识推理问答任务中的挑战和难题,本论文的主要研究工作如下:(1)提出了一种扩充背景知识证据的常识推理问答方法。通过对常识问答数据集Commonsense QA以及现有知识库的常识相关性分析,提出了一种在知识图谱Concept Net中基于关系的知识三元组选择算法,结合网络爬虫爬取的维基词典解释信息来共同构建高质量背景知识,利用预训练模型ALBERT来提取复杂的文本语义特征,最后使用了一种基于Attention权重和的向量推理方法,对完整的常识推理问答系统进行建模,并通过对比实验验证了模型的常识推理能力。(2)提出了一种两阶段微调预训练模型的关系抽取方法。为了进一步改善词典知识,将对文本知识的降噪提纯规约为关系抽取任务,首先设计了关系相似性实验一阶段微调让ALBERT学习到关系类型与其文本结构之间的隐藏关系,然后再利用带关系类型标签的数据集来二阶段微调ALBERT以完成关系抽取任务,最后通过消融实验验证了关系相似性实验以及预训练模型能够有效完成关系抽取任务。(3)提出了一种基于关系抽取模型的知识路径挖掘方法。为了能够充分挖掘出词典中丰富的常识性知识来建立问题与选项之间的联系,本文探索了关系抽取模型迁移到Commonsense QA数据集以及维基词典中的应用方法,为常识推理模型提供更加精确知识的同时让背景知识更加丰富,最后设计对比实验验证了路径挖掘能够有效提升问答模型的常识推理能力。

面向常识性问题的答案获取算法研究与实现

这是一篇关于答案获取,常识推理,常识问答,深度学习,知识图谱的论文, 主要内容为随着互联网相关技术及其应用的快速发展,网络已成为用户获取信息的主要渠道之一。海量的信息为人们的生活带来诸多便利,但也对信息的有效获取提出新的挑战。在此背景下,问答系统可根据用户的问题直接给出相关信息,极大提升获取信息的效率。由于常识性问题的特征决定答案获取算法难以通过检索等直接方式获得所需的深层次信息,所以其必须具备深度挖掘隐式信息的能力才能有效解决此类问题。因此,使用隐式证据与隐式关系等隐式信息,有助于算法从实体关联层面入手,获得更准确的答案。但现有方法在充分利用隐式信息方面仍然存在以下问题:第一,由于大多数方法对于知识的理解仍停留在语义层面,导致其缺乏隐式常识证据推理能力,无法根据已有显式知识通过推理获得解决此类问题所需的隐式证据信息;第二,由于大多数方法基于较为简单的检索模型实现,往往仅通过直接使用从知识图谱中获得的显式关系解决此类问题,因而导致其缺乏对隐式关系和深层次相关路径的挖掘能力。针对上述问题,本文兼顾考虑隐式证据和隐式关系,深入研究面向常识性问题的答案获取算法。首先,对于现有方法缺乏隐式常识证据推理能力的问题,提出一种基于知识增强的生成式常识证据推理算法KGCRA(Knowledge-Augmented Generative Commonsense Reasoning Algorithm),通过获取隐式证据提升证据的覆盖面。在此基础上,对于现有方法缺乏隐式关系与深层次路径探索的问题,提出基于图推理关系网络GRRN(Graph Reasoning Relations Network)的常识性问题答案获取算法,探索更深层次的隐式信息。最后基于以上算法,设计并实现面向常识性问题的答案获取原型系统,验证算法的应用能力。本文的主要工作如下:(1)针对目前已有方法因对知识的理解停留在语义层面,而普遍缺乏隐式证据推理能力的问题,本文提出一种基于知识增强的生成式常识证据推理算法KGCRA,用于生成符合常识的隐式证据信息。该算法首先通过文本编码器发现关键词间的隐式关联;接着利用知识增强的图编码器利用隐式知识推理图当中的隐式常识信息,更新对应节点的表示;最后通过文本解码器和知识增强的图解码器以及多头注意力机制融合来自文本和知识的隐式特征,生成新的隐式证据信息。(2)针对目前已有方法因普遍基于检索模型实现,而忽视知识源中隐式关系的问题,本文提出一种基于GRRN的常识性问题答案获取算法捕捉深度的隐式关系,从而进一步实现对更深层次隐式信息的获取与探究。该算法首先从问题和选项当中的关键词入手,使用路径证据聚合器、图证据聚合器和文本证据聚合器分别聚合来自路径、图以及文本的隐式关系,探索实体之间的隐式关联;最后使用融合技术将上述隐式关系与隐式证据信息进行二次融合,通过决策层获得最后选择的答案。(3)结合上述深度学习算法研究,本文设计并实现面向常识性问题的答案获取原型系统。该系统由接入模块、注册中心模块、业务服务模块和持久化模块组成。其中,业务模块当中的推理子模块调用本文的KGCRA算法实现隐式证据推理,生成新的隐式证据;答案获取子模块调用本文基于GRRN的答案获取算法实现隐式关系的探索,并完成最终的答案获取任务。最后,对系统进行页面的展示,验证系统功能的可用性及有效性。

基于预训练模型和知识增强的常识推理研究

这是一篇关于常识推理,预训练模型,知识增强,图神经网络的论文, 主要内容为在日常沟通中,当人们回答问题时,往往会有意识或无意识地利用自己掌握的常识知识或背景知识,而对于计算机而言,能够理解并利用自然文本中的这种常识知识是其能实现语义理解和高质量推理的基础。而当前领先的自然语言处理技术获得这种常识知识一般包括2种途径:一是基于在大型无标注文本上的预训练,使模型获得隐性的、不可解释的常识知识,并编码在模型参数中;二是通过明确的外部知识库,向模型进行知识增强,同时增强模型的可解释性与鲁棒性。因此,本论文通过从两种异构知识源中提取具有不同侧重点的知识,使用不同的知识注入方式,探究不同的知识增强方法对预训练模型常识推理性能的影响。目前的各种预训练语言模型尽管在各种自然语言处理任务中可以取得很好的效果,但是预训练模型学习到的行为往往依赖于简单的、有时甚至是虚假的模式来提供回答问题的“捷径”,而不是依靠强大而结构化的推理,也就是说预训练模型在语义理解上还不够深入。另一方面,因为预训练模型不能天然地对图数据结构进行建模,所以仅使用预训练模型无法很好地处理诸如知识图谱等结构化数据中概念间的复杂关系信息,进而无法充分利用其中的结构化知识。由于预训练模型的以上局限性,本文在常识推理数据集Commonsense QA上展开实验,尝试将Concept Net知识图谱和英文维基百科两种来源的常识知识信息与预训练模型融合,提升模型的常识推理性能。而对于从Concept Net提取出的图结构知识,在使用预训练模型进行编码的基础上,还进一步使用图神经网络为其图结构中的关系信息进行深度特征提取,进一步提升模型的常识推理和语义理解能力。故本文的主要研究工作可以概括为以下3个方面:(1)在不注入外部知识的情况下,对比了BERT、Ro BERTa、ALBERT等不同规模、不同优化手段的预训练语言模型在预训练阶段获得的隐性常识知识在常识推理上的性能。(2)利用自定义的知识提取方法,从Concept Net知识图谱中提取自然文本形式的三元组知识;从英文维基百科xml文件中提取各种概念的摘要,形成摘要句子库,然后利用BM25信息检索算法,从摘要句子库中提取描述性外部知识。针对两种不同的知识类型,设计了不同的知识注入方式,对比不同注入方式对预训练模型性能的影响。进一步地,设计了两种融合输入方式对两种异构知识进行融合,对比两种方式的差异,以及对比关系性知识或描述性知识等单一知识类型而言的优劣。(3)从Concept Net知识图谱中,基于路径长度为2以内的提取方法获取概念间的知识子图,然后基于知识子图提供的证据提升常识推理性能。接着,基于知识子图构造自定义的三元组结构图,并使用图卷积网络对三元组结构图的节点特征信息以及结构信息进行深度编码,从而获得更深层次的抽象特征表示,最后利用图注意力算法聚合节点表示形成图级表示,进而进行输出和预测。实验证明,这种更深层次的特征表示能够充分捕捉知识图谱中的信息,进一步提升了模型的常识推理性能。本文研究的实验成果与创新点可以总结为以下3个方面:(1)在注入单一知识源方面:无论是关系性知识还是描述性知识的注入,与不注入知识的baseline相比,模型的准确率均有显著提升。其中关系性知识的引入提升了2.8%的准确率,描述性知识引入中的“全句检索”和“概念检索”两种方式分别提升了2.4%和2.0%,这充分证明了知识增强对于模型常识推理性能提升的有效性和必要性。(2)在融合两种异构知识方面:融合三元组和“全句检索”的方式达到了最优,比baseline模型提升了3.8%的表现,而融合三元组和“概念检索”的方式虽然比融合“全句检索”低了0.5%,但均高于了单一知识源的表现,这说明了关系性和描述性的两种异构知识互为重要补充,二者融合能够进一步提升模型的表现。(3)在基于图结构的推理方面:利用路径为2以内提取的知识子图进行推理,比利用单一三元组的效果好0.7%;在从知识子图转换为自定义的三元组结构图后,利用经典的图卷积网络和图注意力对其进行深度编码后进行预测输出,实现了81.2%的准确率,比仅使用知识子图提升了1.4%,充分论证了使用图神经网络算法编码复杂图结构进行知识增强的有效性。

基于路径挖掘的常识推理技术研究与实现

这是一篇关于自然语言处理,问答系统,预训练模型,常识推理,知识抽取的论文, 主要内容为基于机器学习的智能模型在出行、消费、医疗等领域已经有了广泛的应用,对人们的生活、学习以及工作都产生了深远影响,这都得益于人工智能的三大支柱算法、算力、数据的飞速发展。当人类思考问题时,会结合问题相关的空间关系、因果关系、科学事实和社会习俗常识等背景知识来分析问题,这类知识对人类来说微不足道,但是目前的人工智能模型仍然无法获取,近年来大量的研究开始尝试向智能模型中融入常识知识,常识推理问答成为了人工智能领域中新兴的研究方向,相比于传统的问答方法,常识推理问答不提供背景知识,面临着证据不足、语义复杂、知识推理等难题。为了解决常识推理问答任务中的挑战和难题,本论文的主要研究工作如下:(1)提出了一种扩充背景知识证据的常识推理问答方法。通过对常识问答数据集Commonsense QA以及现有知识库的常识相关性分析,提出了一种在知识图谱Concept Net中基于关系的知识三元组选择算法,结合网络爬虫爬取的维基词典解释信息来共同构建高质量背景知识,利用预训练模型ALBERT来提取复杂的文本语义特征,最后使用了一种基于Attention权重和的向量推理方法,对完整的常识推理问答系统进行建模,并通过对比实验验证了模型的常识推理能力。(2)提出了一种两阶段微调预训练模型的关系抽取方法。为了进一步改善词典知识,将对文本知识的降噪提纯规约为关系抽取任务,首先设计了关系相似性实验一阶段微调让ALBERT学习到关系类型与其文本结构之间的隐藏关系,然后再利用带关系类型标签的数据集来二阶段微调ALBERT以完成关系抽取任务,最后通过消融实验验证了关系相似性实验以及预训练模型能够有效完成关系抽取任务。(3)提出了一种基于关系抽取模型的知识路径挖掘方法。为了能够充分挖掘出词典中丰富的常识性知识来建立问题与选项之间的联系,本文探索了关系抽取模型迁移到Commonsense QA数据集以及维基词典中的应用方法,为常识推理模型提供更加精确知识的同时让背景知识更加丰富,最后设计对比实验验证了路径挖掘能够有效提升问答模型的常识推理能力。

基于预训练模型和知识增强的常识推理研究

这是一篇关于常识推理,预训练模型,知识增强,图神经网络的论文, 主要内容为在日常沟通中,当人们回答问题时,往往会有意识或无意识地利用自己掌握的常识知识或背景知识,而对于计算机而言,能够理解并利用自然文本中的这种常识知识是其能实现语义理解和高质量推理的基础。而当前领先的自然语言处理技术获得这种常识知识一般包括2种途径:一是基于在大型无标注文本上的预训练,使模型获得隐性的、不可解释的常识知识,并编码在模型参数中;二是通过明确的外部知识库,向模型进行知识增强,同时增强模型的可解释性与鲁棒性。因此,本论文通过从两种异构知识源中提取具有不同侧重点的知识,使用不同的知识注入方式,探究不同的知识增强方法对预训练模型常识推理性能的影响。目前的各种预训练语言模型尽管在各种自然语言处理任务中可以取得很好的效果,但是预训练模型学习到的行为往往依赖于简单的、有时甚至是虚假的模式来提供回答问题的“捷径”,而不是依靠强大而结构化的推理,也就是说预训练模型在语义理解上还不够深入。另一方面,因为预训练模型不能天然地对图数据结构进行建模,所以仅使用预训练模型无法很好地处理诸如知识图谱等结构化数据中概念间的复杂关系信息,进而无法充分利用其中的结构化知识。由于预训练模型的以上局限性,本文在常识推理数据集Commonsense QA上展开实验,尝试将Concept Net知识图谱和英文维基百科两种来源的常识知识信息与预训练模型融合,提升模型的常识推理性能。而对于从Concept Net提取出的图结构知识,在使用预训练模型进行编码的基础上,还进一步使用图神经网络为其图结构中的关系信息进行深度特征提取,进一步提升模型的常识推理和语义理解能力。故本文的主要研究工作可以概括为以下3个方面:(1)在不注入外部知识的情况下,对比了BERT、Ro BERTa、ALBERT等不同规模、不同优化手段的预训练语言模型在预训练阶段获得的隐性常识知识在常识推理上的性能。(2)利用自定义的知识提取方法,从Concept Net知识图谱中提取自然文本形式的三元组知识;从英文维基百科xml文件中提取各种概念的摘要,形成摘要句子库,然后利用BM25信息检索算法,从摘要句子库中提取描述性外部知识。针对两种不同的知识类型,设计了不同的知识注入方式,对比不同注入方式对预训练模型性能的影响。进一步地,设计了两种融合输入方式对两种异构知识进行融合,对比两种方式的差异,以及对比关系性知识或描述性知识等单一知识类型而言的优劣。(3)从Concept Net知识图谱中,基于路径长度为2以内的提取方法获取概念间的知识子图,然后基于知识子图提供的证据提升常识推理性能。接着,基于知识子图构造自定义的三元组结构图,并使用图卷积网络对三元组结构图的节点特征信息以及结构信息进行深度编码,从而获得更深层次的抽象特征表示,最后利用图注意力算法聚合节点表示形成图级表示,进而进行输出和预测。实验证明,这种更深层次的特征表示能够充分捕捉知识图谱中的信息,进一步提升了模型的常识推理性能。本文研究的实验成果与创新点可以总结为以下3个方面:(1)在注入单一知识源方面:无论是关系性知识还是描述性知识的注入,与不注入知识的baseline相比,模型的准确率均有显著提升。其中关系性知识的引入提升了2.8%的准确率,描述性知识引入中的“全句检索”和“概念检索”两种方式分别提升了2.4%和2.0%,这充分证明了知识增强对于模型常识推理性能提升的有效性和必要性。(2)在融合两种异构知识方面:融合三元组和“全句检索”的方式达到了最优,比baseline模型提升了3.8%的表现,而融合三元组和“概念检索”的方式虽然比融合“全句检索”低了0.5%,但均高于了单一知识源的表现,这说明了关系性和描述性的两种异构知识互为重要补充,二者融合能够进一步提升模型的表现。(3)在基于图结构的推理方面:利用路径为2以内提取的知识子图进行推理,比利用单一三元组的效果好0.7%;在从知识子图转换为自定义的三元组结构图后,利用经典的图卷积网络和图注意力对其进行深度编码后进行预测输出,实现了81.2%的准确率,比仅使用知识子图提升了1.4%,充分论证了使用图神经网络算法编码复杂图结构进行知识增强的有效性。

基于预训练模型和知识增强的常识推理研究

这是一篇关于常识推理,预训练模型,知识增强,图神经网络的论文, 主要内容为在日常沟通中,当人们回答问题时,往往会有意识或无意识地利用自己掌握的常识知识或背景知识,而对于计算机而言,能够理解并利用自然文本中的这种常识知识是其能实现语义理解和高质量推理的基础。而当前领先的自然语言处理技术获得这种常识知识一般包括2种途径:一是基于在大型无标注文本上的预训练,使模型获得隐性的、不可解释的常识知识,并编码在模型参数中;二是通过明确的外部知识库,向模型进行知识增强,同时增强模型的可解释性与鲁棒性。因此,本论文通过从两种异构知识源中提取具有不同侧重点的知识,使用不同的知识注入方式,探究不同的知识增强方法对预训练模型常识推理性能的影响。目前的各种预训练语言模型尽管在各种自然语言处理任务中可以取得很好的效果,但是预训练模型学习到的行为往往依赖于简单的、有时甚至是虚假的模式来提供回答问题的“捷径”,而不是依靠强大而结构化的推理,也就是说预训练模型在语义理解上还不够深入。另一方面,因为预训练模型不能天然地对图数据结构进行建模,所以仅使用预训练模型无法很好地处理诸如知识图谱等结构化数据中概念间的复杂关系信息,进而无法充分利用其中的结构化知识。由于预训练模型的以上局限性,本文在常识推理数据集Commonsense QA上展开实验,尝试将Concept Net知识图谱和英文维基百科两种来源的常识知识信息与预训练模型融合,提升模型的常识推理性能。而对于从Concept Net提取出的图结构知识,在使用预训练模型进行编码的基础上,还进一步使用图神经网络为其图结构中的关系信息进行深度特征提取,进一步提升模型的常识推理和语义理解能力。故本文的主要研究工作可以概括为以下3个方面:(1)在不注入外部知识的情况下,对比了BERT、Ro BERTa、ALBERT等不同规模、不同优化手段的预训练语言模型在预训练阶段获得的隐性常识知识在常识推理上的性能。(2)利用自定义的知识提取方法,从Concept Net知识图谱中提取自然文本形式的三元组知识;从英文维基百科xml文件中提取各种概念的摘要,形成摘要句子库,然后利用BM25信息检索算法,从摘要句子库中提取描述性外部知识。针对两种不同的知识类型,设计了不同的知识注入方式,对比不同注入方式对预训练模型性能的影响。进一步地,设计了两种融合输入方式对两种异构知识进行融合,对比两种方式的差异,以及对比关系性知识或描述性知识等单一知识类型而言的优劣。(3)从Concept Net知识图谱中,基于路径长度为2以内的提取方法获取概念间的知识子图,然后基于知识子图提供的证据提升常识推理性能。接着,基于知识子图构造自定义的三元组结构图,并使用图卷积网络对三元组结构图的节点特征信息以及结构信息进行深度编码,从而获得更深层次的抽象特征表示,最后利用图注意力算法聚合节点表示形成图级表示,进而进行输出和预测。实验证明,这种更深层次的特征表示能够充分捕捉知识图谱中的信息,进一步提升了模型的常识推理性能。本文研究的实验成果与创新点可以总结为以下3个方面:(1)在注入单一知识源方面:无论是关系性知识还是描述性知识的注入,与不注入知识的baseline相比,模型的准确率均有显著提升。其中关系性知识的引入提升了2.8%的准确率,描述性知识引入中的“全句检索”和“概念检索”两种方式分别提升了2.4%和2.0%,这充分证明了知识增强对于模型常识推理性能提升的有效性和必要性。(2)在融合两种异构知识方面:融合三元组和“全句检索”的方式达到了最优,比baseline模型提升了3.8%的表现,而融合三元组和“概念检索”的方式虽然比融合“全句检索”低了0.5%,但均高于了单一知识源的表现,这说明了关系性和描述性的两种异构知识互为重要补充,二者融合能够进一步提升模型的表现。(3)在基于图结构的推理方面:利用路径为2以内提取的知识子图进行推理,比利用单一三元组的效果好0.7%;在从知识子图转换为自定义的三元组结构图后,利用经典的图卷积网络和图注意力对其进行深度编码后进行预测输出,实现了81.2%的准确率,比仅使用知识子图提升了1.4%,充分论证了使用图神经网络算法编码复杂图结构进行知识增强的有效性。