面向常识性问题的答案获取算法研究与实现
这是一篇关于答案获取,常识推理,常识问答,深度学习,知识图谱的论文, 主要内容为随着互联网相关技术及其应用的快速发展,网络已成为用户获取信息的主要渠道之一。海量的信息为人们的生活带来诸多便利,但也对信息的有效获取提出新的挑战。在此背景下,问答系统可根据用户的问题直接给出相关信息,极大提升获取信息的效率。由于常识性问题的特征决定答案获取算法难以通过检索等直接方式获得所需的深层次信息,所以其必须具备深度挖掘隐式信息的能力才能有效解决此类问题。因此,使用隐式证据与隐式关系等隐式信息,有助于算法从实体关联层面入手,获得更准确的答案。但现有方法在充分利用隐式信息方面仍然存在以下问题:第一,由于大多数方法对于知识的理解仍停留在语义层面,导致其缺乏隐式常识证据推理能力,无法根据已有显式知识通过推理获得解决此类问题所需的隐式证据信息;第二,由于大多数方法基于较为简单的检索模型实现,往往仅通过直接使用从知识图谱中获得的显式关系解决此类问题,因而导致其缺乏对隐式关系和深层次相关路径的挖掘能力。针对上述问题,本文兼顾考虑隐式证据和隐式关系,深入研究面向常识性问题的答案获取算法。首先,对于现有方法缺乏隐式常识证据推理能力的问题,提出一种基于知识增强的生成式常识证据推理算法KGCRA(Knowledge-Augmented Generative Commonsense Reasoning Algorithm),通过获取隐式证据提升证据的覆盖面。在此基础上,对于现有方法缺乏隐式关系与深层次路径探索的问题,提出基于图推理关系网络GRRN(Graph Reasoning Relations Network)的常识性问题答案获取算法,探索更深层次的隐式信息。最后基于以上算法,设计并实现面向常识性问题的答案获取原型系统,验证算法的应用能力。本文的主要工作如下:(1)针对目前已有方法因对知识的理解停留在语义层面,而普遍缺乏隐式证据推理能力的问题,本文提出一种基于知识增强的生成式常识证据推理算法KGCRA,用于生成符合常识的隐式证据信息。该算法首先通过文本编码器发现关键词间的隐式关联;接着利用知识增强的图编码器利用隐式知识推理图当中的隐式常识信息,更新对应节点的表示;最后通过文本解码器和知识增强的图解码器以及多头注意力机制融合来自文本和知识的隐式特征,生成新的隐式证据信息。(2)针对目前已有方法因普遍基于检索模型实现,而忽视知识源中隐式关系的问题,本文提出一种基于GRRN的常识性问题答案获取算法捕捉深度的隐式关系,从而进一步实现对更深层次隐式信息的获取与探究。该算法首先从问题和选项当中的关键词入手,使用路径证据聚合器、图证据聚合器和文本证据聚合器分别聚合来自路径、图以及文本的隐式关系,探索实体之间的隐式关联;最后使用融合技术将上述隐式关系与隐式证据信息进行二次融合,通过决策层获得最后选择的答案。(3)结合上述深度学习算法研究,本文设计并实现面向常识性问题的答案获取原型系统。该系统由接入模块、注册中心模块、业务服务模块和持久化模块组成。其中,业务模块当中的推理子模块调用本文的KGCRA算法实现隐式证据推理,生成新的隐式证据;答案获取子模块调用本文基于GRRN的答案获取算法实现隐式关系的探索,并完成最终的答案获取任务。最后,对系统进行页面的展示,验证系统功能的可用性及有效性。
融合外部知识的常识问答关键技术研究
这是一篇关于常识问答,知识图谱,预训练语言模型,图神经网络,提示学习的论文, 主要内容为当人类回答问题时,他们会利用关于空间关系、因果关系、科学事实和社会习俗等的常识知识。这些知识对人类来说微不足道,但仍然超出了当前问答系统的能力范围。与给定上下文篇章的问答任务不同,常识问答任务通常只有单独的问题而没有任何上下文语境,这就需要模型检索到与问题相关的常识知识并利用知识进行逻辑推理才能给出答案。因此如何检索到合适的常识知识以及将这些知识融入模型进行推理以解决常识问答任务成为了最近的研究热点。本文通过调研现有融合外部知识模型的优缺点,从融合结构化知识、融合文本知识和融合预训练语言模型中的隐式知识三个方面来解决常识问答任务。(1)融合结构化知识的常识问答技术研究。现有的方法使用预训练语言模型和图神经网络分别对问句上下文和知识图谱中的子图进行建模。然而这两种模式之间有限的交互可能会影响模型正确理解问句与知识之间的关系。本文提出了一种在语言模型和图神经网络之间进行细粒度信息融合和多层联合推理的模型,它不仅能对知识子图中的噪声节点进行动态剪枝,而且弥合了两种信息模态之间的差距。实验结果证明了我们的方法优于当前融合结构化知识的方法。(2)融合文本知识的常识问答技术研究。虽然常识知识图谱可以显式给出实体之间的结构性关联信息,但是我们必须要为知识图谱设计额外的结构对它进行建模,而且知识图谱的三元组形式缺乏丰富的上下文描述信息,语言模型可能很难理解实体的确切含义。因此,本文提出了一个融合多源文本知识的常识问答模型。在该模型中,通过知识到文本的转化算法,将结构化的图谱知识转化为文本,并利用词典释义为图谱实体提供上下文信息。实验证明这两种知识的引入都提高了模型在常识问答任务上的表现。(3)融合预训练语言模型中隐式知识的常识问答技术研究。先前的方法通过检索外部知识库来获取相关知识,然后在特定任务上以监督方式微调预训练语言模型。但是许多任务缺乏具有足够覆盖范围的适当知识库,而且监督微调的模型很难快速迁移到新的任务上。因此,本文提出了一种基于多阶段提示的无监督常识问答框架,使用预训练语言模型作为常识知识的来源,仅使用单个语言模型即可生成需要的常识知识以及问题对应的答案。该框架不依赖于特定的模型和任务,灵活且易于迁移到其他常识推理任务。
融合外部知识的常识问答关键技术研究
这是一篇关于常识问答,知识图谱,预训练语言模型,图神经网络,提示学习的论文, 主要内容为当人类回答问题时,他们会利用关于空间关系、因果关系、科学事实和社会习俗等的常识知识。这些知识对人类来说微不足道,但仍然超出了当前问答系统的能力范围。与给定上下文篇章的问答任务不同,常识问答任务通常只有单独的问题而没有任何上下文语境,这就需要模型检索到与问题相关的常识知识并利用知识进行逻辑推理才能给出答案。因此如何检索到合适的常识知识以及将这些知识融入模型进行推理以解决常识问答任务成为了最近的研究热点。本文通过调研现有融合外部知识模型的优缺点,从融合结构化知识、融合文本知识和融合预训练语言模型中的隐式知识三个方面来解决常识问答任务。(1)融合结构化知识的常识问答技术研究。现有的方法使用预训练语言模型和图神经网络分别对问句上下文和知识图谱中的子图进行建模。然而这两种模式之间有限的交互可能会影响模型正确理解问句与知识之间的关系。本文提出了一种在语言模型和图神经网络之间进行细粒度信息融合和多层联合推理的模型,它不仅能对知识子图中的噪声节点进行动态剪枝,而且弥合了两种信息模态之间的差距。实验结果证明了我们的方法优于当前融合结构化知识的方法。(2)融合文本知识的常识问答技术研究。虽然常识知识图谱可以显式给出实体之间的结构性关联信息,但是我们必须要为知识图谱设计额外的结构对它进行建模,而且知识图谱的三元组形式缺乏丰富的上下文描述信息,语言模型可能很难理解实体的确切含义。因此,本文提出了一个融合多源文本知识的常识问答模型。在该模型中,通过知识到文本的转化算法,将结构化的图谱知识转化为文本,并利用词典释义为图谱实体提供上下文信息。实验证明这两种知识的引入都提高了模型在常识问答任务上的表现。(3)融合预训练语言模型中隐式知识的常识问答技术研究。先前的方法通过检索外部知识库来获取相关知识,然后在特定任务上以监督方式微调预训练语言模型。但是许多任务缺乏具有足够覆盖范围的适当知识库,而且监督微调的模型很难快速迁移到新的任务上。因此,本文提出了一种基于多阶段提示的无监督常识问答框架,使用预训练语言模型作为常识知识的来源,仅使用单个语言模型即可生成需要的常识知识以及问题对应的答案。该框架不依赖于特定的模型和任务,灵活且易于迁移到其他常识推理任务。
基于知识图谱的常识问答模型研究
这是一篇关于常识问答,知识图谱,注意力机制,变分自编码器的论文, 主要内容为常识问答是自然语言处理领域中极具应用价值的一项研究课题,旨在让机器针对所问问题模拟人类思考并给出正确答案,但因问题表述常常不包含背景常识,从而对传统机器学习方法提出了巨大挑战。随着深度学习技术的日益精进和研究成果的持续产出,常识问答已广泛应用于工业及商业领域,同时推动了诸如生物信息、智慧医疗、社会科学等交叉学科的进展,具有极高的学术研究和社会应用价值。虽然基于篇章或文段实现答案推理的传统问答模型在准确率指标上已经超越人类,但是,依赖于常识知识的问答任务仍是自然语言处理领域内的待解难题,也是评估机器是否真正具有推理能力的量尺之一。为提高问答模型的预测性能,确保预测答案的准确性及可靠性,本文针对常识问答任务特性,基于知识图谱开展了常识问答任务的研究。主要研究内容如下:(1)针对多背景知识融合问题,提出了一种上下文感知和知识增强的常识问答模型CAARK。首先使用随机游走的方式,获取常识知识图谱Concept Net中答案实体的两跳相关实体;继而融合给定问答文本生成增强问题并输入到预训练模型Ro BERTa;最终利用上下文感知注意力,强化问题与答案之间的语义表示。实验结果表明,在有效地引入外部知识后,CAARK模型在Commonsense QA 1.0数据集上有较好的表现,为解决常识问答问题提供了一种新范式。(2)针对知识图谱的稀疏性和噪声干扰问题,构建了一种融合预训练文本特征与统计特征的常识问答模型CAARK-AGN。该模型关注原始的词频和词分布信息,将TF-IDF值作为附加特征,选择性地增强外部知识特征。采用维基字典中匹配的实体释义,与知识图谱Concept Net共同作为外部知识,辅助模型选择正确答案。在答案推理过程中,应用注意力机制深度融合原始的语义表示向量和附加统计信息的输出向量,联合推理正确选项。实验结果表明,CAARK-AGN模型在Commonsense QA1.0数据集上的准确率有进一步提升。综上,本文提出的两种基于知识图谱的常识问答模型,在一定程度上缓解了传统机器问答模型缺乏背景知识的弊端,并能够有效地应对增加知识所造成的噪声干扰问题,在常识问答数据集上的实验结果,证实了模型架构的合理有效。本文所涉及的常识问答关键技术,可应用于智能客服、闲聊机器人等场景,也是视觉问答等多模态任务的基础,具有一定的理论意义和应用价值。
基于知识图谱的常识问答模型研究
这是一篇关于常识问答,知识图谱,注意力机制,变分自编码器的论文, 主要内容为常识问答是自然语言处理领域中极具应用价值的一项研究课题,旨在让机器针对所问问题模拟人类思考并给出正确答案,但因问题表述常常不包含背景常识,从而对传统机器学习方法提出了巨大挑战。随着深度学习技术的日益精进和研究成果的持续产出,常识问答已广泛应用于工业及商业领域,同时推动了诸如生物信息、智慧医疗、社会科学等交叉学科的进展,具有极高的学术研究和社会应用价值。虽然基于篇章或文段实现答案推理的传统问答模型在准确率指标上已经超越人类,但是,依赖于常识知识的问答任务仍是自然语言处理领域内的待解难题,也是评估机器是否真正具有推理能力的量尺之一。为提高问答模型的预测性能,确保预测答案的准确性及可靠性,本文针对常识问答任务特性,基于知识图谱开展了常识问答任务的研究。主要研究内容如下:(1)针对多背景知识融合问题,提出了一种上下文感知和知识增强的常识问答模型CAARK。首先使用随机游走的方式,获取常识知识图谱Concept Net中答案实体的两跳相关实体;继而融合给定问答文本生成增强问题并输入到预训练模型Ro BERTa;最终利用上下文感知注意力,强化问题与答案之间的语义表示。实验结果表明,在有效地引入外部知识后,CAARK模型在Commonsense QA 1.0数据集上有较好的表现,为解决常识问答问题提供了一种新范式。(2)针对知识图谱的稀疏性和噪声干扰问题,构建了一种融合预训练文本特征与统计特征的常识问答模型CAARK-AGN。该模型关注原始的词频和词分布信息,将TF-IDF值作为附加特征,选择性地增强外部知识特征。采用维基字典中匹配的实体释义,与知识图谱Concept Net共同作为外部知识,辅助模型选择正确答案。在答案推理过程中,应用注意力机制深度融合原始的语义表示向量和附加统计信息的输出向量,联合推理正确选项。实验结果表明,CAARK-AGN模型在Commonsense QA1.0数据集上的准确率有进一步提升。综上,本文提出的两种基于知识图谱的常识问答模型,在一定程度上缓解了传统机器问答模型缺乏背景知识的弊端,并能够有效地应对增加知识所造成的噪声干扰问题,在常识问答数据集上的实验结果,证实了模型架构的合理有效。本文所涉及的常识问答关键技术,可应用于智能客服、闲聊机器人等场景,也是视觉问答等多模态任务的基础,具有一定的理论意义和应用价值。
基于常识知识的多选式问答研究
这是一篇关于常识问答,知识图谱,对比学习,图神经网络,注意力机制的论文, 主要内容为随着移动互联网的飞速发展与普及,问答系统已在多个工业领域成功落地并取得了良好的经济收益与社会价值,而常识知识作为海量认知信息中的研究重点,在问答系统中的作用也在不断凸显,具有极大的研究前景。常识问答任务(Commonsense Question Answering,CQA)正是研究如何获取相关常识知识,并通过问题解析与知识推理,进而获取精准答案。本文重点聚焦于CQA任务在有监督和无监督场景下的研究。目前CQA任务存在以下问题亟待解决:在有监督场景下,目前的研究工作集中于优化和改进模型的知识推理策略,而忽视了知识覆盖面不足及知识噪声等问题,这会严重折损模型在知识推理阶段的性能而致使预测偏差。在无监督场景下,当前的多数研究方法着重于设计特定任务的手工规则以提升知识的生成质量,因而导致知识类型受限并且模型框架的自适应迁移能力较弱。故本文针对以上挑战进行了探索与研究,并将具体工作总结如下:一、针对有监督CQA任务中的知识覆盖不足以及噪声问题,本文提出了一种基于知识增强的图对比学习模型(Knowledge Enhanced Graph Contrastive Learning,KE-GCL)。首先,该模型将问答对的实体上下文描述集成到当前知识子图以实现多源知识融合;随后,模型提出了一个自适应的带权采样策略以生成当前子图的增强视图,并同时完成正负图例的构建;最后,该模型通过关系边的散射与实体节点的信息聚集以完成知识图谱的更新与推理。二、针对无监督CQA任务中的迁移及自适应能力弱的问题,本文设计了一种基于通用提示模版的知识生成模型(Prompt-based Knowledge Generation Network,PKGN)。首先,该模型通过 Dropout增强策略进行无监督的对比学习,以捕获问题之间的细微差异并学到更好的问题表征;接着,PKGN模型通过带指令的模版提示以生成问题相关的知识描述;最后,该模型利用文本匹配模型完成知识推理与答案预测。本文在 CommonsenseQA、OpenbookQA、SocialIQA 等三个常识问答数据集上开展了大量的实验。通过定量分析和定性对比,验证了KE-GCL和PKGN模型在有监督和无监督方向的可行性与有效性。实验结果表明,本文所提出的常识问答模型在有监督和无监督两个方向均优于当前的基线方法,且具备较好的鲁棒性与泛化能力。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设港湾 ，原文地址：https://bishedaima.com/lunwen/54618.html
